遠東集團內流傳一個說法，形容遠紡副董事長楊明德像小學老師，博學、樂於分享知識，遠紡總經理席家宜像法官，精明、擅長分折掌握，大老闆徐旭東則像上帝，永遠忙碌，讓祂的子民很難找到。
徐旭東有九個兄弟姐妹，大妹妹徐近芳已經過世，小他四個月出生的大房弟弟徐旭時，原本在亞泥擔任副董事長，在徐旭東被父親徐有庠欽點為亞泥董事長後，選擇將手中遠東集團持股全數出清，遠走美國，自己從事投資，做快樂的有錢人。
徐旭時的親弟弟、徐家最小的么弟徐旭九，同樣選擇遠離集團事業，在香港、大陸經商，兩個不同房的弟弟不碰家族事業，讓徐旭東能夠一統江山。至於留在遠東集團內的妹妹、妹夫和弟弟們，檯面上都臣服於徐旭東的領導，但兩個具備挑戰舅子實力的妹夫，都曾有過挑戰徐旭東的經驗。
孝順寬厚 家族山頭陰影仍在
徐旭東之所以能在眾兄弟中出頭，主要原因，據說是因為他非常孝順。父親徐有庠在世時，每次開董事會前，徐旭東都會先檢查父親要坐的椅子是否穩固，這些對細節的用心，讓他贏得父親的信任。相較同父異母的弟弟徐旭時，雖然書念得比徐旭東好（徐旭時是航太博士，徐旭東則只有商學碩士），在公司管理上，能與員工打成一片，又孚眾望的徐旭時，最終還是遠走他鄉，讓個性保守穩健的徐旭東獲得父親的親睞，成為集團掌門人。
徐旭東花了十六年時間，才從遠紡總經理到成為集團掌門人，這讓徐旭東對於決策權的掌握非常在意，遠東的中央集權管理模式，多少與此有關。儘管如此，由於母親徐朱士蘭還健在，作為家族共主、對長幼尊卑觀念甚強的徐旭東，對於長房弟妹們的經營缺失還是很能容忍。
其中，最明顯的就是對接掌遠百總經理達八年的徐荷芳，儘管遠百業績不斷滑落，眾多轉型方案不見效果，徐旭東不僅未對徐荷芳採取任何積極動作，甚至在遠紡調至遠百的專業經理人與徐荷芳發生衝突時，也任由徐荷芳以情緒化的方式處置這些專業經理人，並未干涉。
另外，曾在一九九五年以辭職迫使徐旭東釋出遠紡總經理一職的妹婿席家宜，近年對於集團的新事業包括遠東銀行、遠傳電信，都曾意圖插手經營。對於這位勇於挑戰董事長權威的外戚，徐旭東同樣相當容忍，但這種處置方式，卻讓專業經理人在面對家族山頭時，陷入左右為難的窘境。
徐旭東對家族成員如此包容，雖有重視家族的感情因素，不過，一位老臣分析，徐家成員個人持有集團股權的數量相當平均，應該也是徐旭東未強勢對待弟妹們的原因。以徐氏家族成員在遠紡的持股為例，徐旭東持股最多，也只占一．八％，其餘弟妹持股都在一％以上，至於主要控股都在基金會和關係企業手上，因此，家族和諧變成掌控經營權的關鍵變數。
遠東集團的兩位文武駙馬爺--遠傳副董事長楊明德（徐菊芳夫婿）、遠紡總經理席家宜（徐雪芳夫婿），身負管理重任，因為能力強，在集團內部人望頗高，對集團事業擴張各具貢獻，但他們與大舅子徐旭東之間的互動，卻各有不同。
楊明德像老師 是集團內的潤滑劑
徐旭東與兩位文武駙馬爺的差異，曾經有遠紡員工如此形容，楊明德與部屬互動，就像小學老師教學生，因為老師博學，學生只有聽的份。席家宜對員工的往來則像法官辦案，所有資料明明在手，還是要逼問員工，因為對員工有天生的不信任。
至於徐旭東和員工互動，則像上帝與祂的子民，總是神龍見首不見尾，子民很難遇見上帝，也猜不透上帝心中到底在想什麼。據說，徐旭東對員工這樣的比喻，聽完大笑，這則傳神的比喻因而在集團內廣為流傳。
至於兩位駙馬與徐旭東的互動，雖然爭權較勁消息不斷，卻也相安無事。楊明德在香港長大，語文能力超強，精通德、日、英語，還能說一些法文，學歷雖然只有台大化學系畢業，但博學多聞，吸收新知快速，在集團內算是頗具前瞻性的領導人。
楊明德在遠紡長期負責管理工廠，是深得徐有庠信任的左右手，早年企圖心旺盛，在徐旭東九四年升任集團董事長後，據說與連襟席家宜都有意爭取遠紡總經理的位子，然而由於管理工廠績效較不突出，徐有庠最後選擇由在遠紡長期負責化纖部門的席家宜出線。
儘管沒有坐上遠紡總經理寶座，楊明德轉而對元智大學、亞東醫院投入較多，因為與元智教授互動多，楊明德反而成為力荐遠東跨入電信事業發展的功臣，遠傳如今已是集團內最賺錢的企業，同時兼任遠傳副董事長的楊明德對遠東的轉型，可說是功不可沒。
這位較徐旭東年長的駙馬爺，管理部下不僅像老師待學生，重視細節，罵人據說也是凶得不得了。不過，近年因為腸胃道罹患重症，楊明德一度身邊隨時有護士伴隨。病癒之後的楊明德對員工變得隨和，不但對徐旭東已不具威脅，反而成為徐旭東在集團內的潤滑劑。
遠傳一些主管要向徐旭東建言，通常會先找這位副董商量，徐旭東的一些指示若是窒礙難行，楊明德也會居間協調。農曆年後公司開工，楊明德還會自己開著跑車前來與主管拜年，在遠傳，算是人緣不錯的長官。
席家宜像法官 不時挑戰上帝權威
做事精明、年齡又比徐旭東小五歲的席家宜，則是徐旭東長期的挑戰者。席家宜與徐旭東一樣出身美國哥倫比亞大學，只是徐旭東念經濟，席家宜則是電腦碩士。在管理上，兩人雖然都很精明，但席家宜重視數字，懂得「抓大放小」的原則，因此做起主管，不像徐旭東那麼累。
不過，對待員工被比喻成法官的席家宜，則不像徐旭東那般寬厚，會給員工很大的壓力。席家宜在遠紡長年主導化纖事業擴張，後來並推動遠紡與同業合資宏遠興業，目前擔任宏遠董事長，這也是遠東旗下上市公司中唯一非由徐旭東出任董事長的公司。
在岳父徐有庠眼中，席家宜與楊明德一文一武，都是戰將。八十四年席家宜從徐旭東手上接下遠紡總經理位子，讓楊明德轉而投向其他新事業，近年隨著遠傳獲利大增，據說楊明德不時會拿席家宜主導的遠紡觀音化纖投資案與遠傳投資效益相比，證明自己的前瞻性眼光。
對於新事業，席家宜原本寄情於遠東銀行的主導權。不過，因為董事長徐旭東全力支持花旗銀行出身的遠銀總經理洪信德，使得席家宜近兩年對遠銀的影響力逐漸下滑，近一年甚至連遠銀的公文已不再過問，席家宜在遠銀只剩光桿董事，還不如躋身遠銀三席常董之一的老臣王孝一。
對於遠紡轉投資的遠傳，席家宜不時對於公司的決策也會有意見，但因為有楊明德和徐旭東在，席家宜在這個賺錢企業也沒有著力點。在此情況下，席家宜把希望轉向中國市場，在此遠紡找到了極大的發揮空間，從上游的化纖、中游的染整、織布、到下游的成衣，在席家宜主導下，遠紡全力衝刺大陸市場。
席家宜在中國市場找到事業的春天，徐旭東暫時沒了後顧之憂。近來雖然外傳席家宜健康出了問題，但遠東老臣透露，席家宜只是眼睛有些狀況，身體其實非常好。這位重視效率的妹夫未來是否會再次挑戰徐旭東的權威，外界都在觀察。
