最近我訪問安謀（ARM Holding）北美副總裁曾志光與神盾集團董事長羅森洲，談雙方在ARM based AI伺服器CPU晶片的合作案，內容觸及北美CSP（雲端服務）業者與輝達的競合關係，以及未來在資料中心產業將掀起何種戰爭，這些都是影響深遠的重大議題，其中又與矽智財IP產業與台灣IC設計業有密切關連，在此與大家分享一些心得。
先談輝達。輝達目前主導全球AI晶片及AI伺服器，可以說是接近獨占的絕對領先狀態，因此各大CSP業者如臉書、谷哥、亞馬遜、微軟等公司，除了採用輝達的軟硬體解決方案外，各家公司也都設計自己的AI晶片。不過，AI晶片與伺服器系統既複雜又困難，顯然目前大部分CSP業者的晶片效能，都與輝達有很大差距。
因此，這個市場需求的巨大缺口，便是安謀與神盾、安國公司合作案的緣由。
CSP業者想追趕輝達，到底困難與障礙為何？要解答此問題，可以先觀察IC設計架構近年來的轉變，尤其是三個階段的演變，就是其中的關鍵。
IC設計架構三階段演變 愈來愈複雜
分析IC晶片的設計演進，大約可以分成PC、手機、伺服器三個階段。最早1.0時代是PC產品，當時的設計架構，是一顆CPU加上南橋、北橋的晶片組設計，到了2.0的手機時代，則進入SoC（系統整合晶片），是以單一顆晶粒（Single Die）的設計方式生產。（下圖一）
.png)
▲圖片來源：神盾公司
所謂的Single Die，是將一顆CPU、一顆GPU，再加上記憶體（例如SRAM）、I/O、PCIe等，全部設計在單一顆晶粒上，並以同樣的製程技術生產，例如都用20奈米生產，因此，在台積電的晶圓廠內，這一顆把所有功能都整合在一起的同一顆晶粒（SoC），經過切割及封裝測試後，便可以送到鴻海這種手機組裝廠做最後生產出貨。
Single Die的設計模式，大約從40-45奈米開始，一直到20奈米時都是如此，蘋果手機的A5到A7晶片，就是大量採用這種SoC設計的例子。不過，當製程技術更進一步發展時， Single Die的設計，又開始遇到瓶頸。
到了3.0時代，就形成了多晶粒（Multi-Die）的設計方式，所謂的多晶粒設計，主因是CPU及GPU的功能要求愈來愈快，因此必須以更先進製程生產，例如5、4、3奈米，但是像記憶體的製程雖然也要升級，但速度進展沒那麼快，例如HBM用到10奈米即可。由於製程技術不同，不能以同一個製程技術上的同一顆晶粒生產，便有了Multi-Die的設計。
因此，Multi-Die的生產模式，就是CPU及GPU這種被稱為HPC（高速運算晶片）的晶片，在台積電下單生產，至於記憶體（例如HBM）則在海力士、美光或三星生產，這些個別生產的小晶片（chiplet），最後再用先進封裝（CoWoS）的方式包起來，出貨給伺服器業者做最後組裝出貨。
IC設計演變到3.0階段，也正是目前AI伺服器產業主要的發展模式。由於AI伺服器追求高算力，所以可能要用很多顆CPU及很多顆GPU，而且這些高速運算晶片又需要最先進製程技術，才能讓算力大幅提升。也因為AI伺服器目前追求高算力，也不像手機要求晶片一定要很輕薄短小，對晶片大小或是否省電都不是擺在最優先條件，因此整個晶片最後封裝起來變成一顆很大的系統晶片。
以目前輝達銷售的GB200 NVL72 Blackwell系統規格為例，就可以理解這樣的系統晶片到底有多龐大。這個系統總計用到36顆CPU、144顆GPU，另外還需要用到384GB的HBM，要把這些晶片都封裝起來，本身就已是一個龐然大物，難怪一台AI伺服器的體積如此巨大。
ARM的運算子系統計畫 讓客戶縮短開發時間
這裡還可以再談一下，AI伺服器與過去傳統伺服器的差別。過去傳統伺服器是以英特爾x86的CPU為主，但AI伺服器目前的CPU很多都採用ARM的架構開發，例如輝達和Ampere都是如此，甚至連英特爾晶圓代工事業（IFS）也已宣布，將代工基於Arm架構的晶片產品。
此外，因為AI伺服器大幅強化在GPU的使用量，輝達在GPU的發展已超過其他對手甚多，也讓輝達成為AI產業超強的競爭者。
因此，再回到CSP業者自行設計AI晶片的障礙。面對輝達的高度競爭，這些CSP業者會遇到的難題，就是因為系統太複雜，沒有那麼多人力與時間可以做那麼多事。
原任台灣安謀國際總裁，目前升任安謀北美副總裁的曾志光說，對於每家企業CEO來說，當系統愈來愈複雜，要如何安排人力，把有限的工程師放在哪些位置，才能突顯本身的競爭力與差異化，這是很重要的決策，也是勝負成敗的關鍵。
曾志光也描述，如今要設計一個AI晶片及伺服器系統架構時，會遇到哪些挑戰。對於以擁有300到1000位工程師的CSP業者來說，如果只是授權安謀的指令集，最快也要花三年才能做出第一顆CPU，之後要再花兩年時間做成子系統，最後再把旁邊的I/O及die to die都做好，可能就要花七年時間。
曾志光說，相信每位CEO都很難忍受七年的開發時間，這些客戶會希望ARM多做一點事，減少每一家CSP業者的負擔。因此，ARM便推出運算子系統（CSS）計畫，來解決客戶的挑戰。
所謂的運算子系統（CSS），就是因應客戶希望開發速度加快的需求，ARM就將多個IP整合成一個子系統後做販售，名為「Arm Neoverse 運算子系統（CSS）」，與過往只販售單個IP產品的作法不太相同。
也就是說，過去客戶都是向安謀買單一個IP，「例如客戶要CPU，就跟我買CPU的IP；需要CMN（晶片互聯技術），就跟我買CMN。」然而，作為子系統的CSS，則是將CPU和CMN整合好，做成一個「子系統IP」後再賣出去， 「它是一個整合好的IP，偏向半客製化，然後再讓客戶自己去改。」
因此，安謀直接將多個IP組合起來變成子系統，以如同「類公版」的方式出售，讓客戶省下組合IP的步驟，加速產品開發，省下開發成本。而過去提供單一IP的販售模式，也仍然會持續進行。
透過併購提升技術 神盾、安國積極搶攻AI伺服器
神盾集團董事長羅森洲說，在IC設計架構的三階段演變中，chiplet的3.0是IC設計架構的典範移轉，主要是將大晶片化整為零，單顆晶片本質上是IP的硬件化，再透過UCIe連接，以及先進封裝技術CoWoS將多顆硬件化的IP混合，搭配「樂高式」堆疊組件於單一基板上。（下圖二）
.png)
▲圖片來源：神盾公司
因此，在AI伺服器CPU晶片需求大增下，神盾集團積極搶攻AI伺服器CPU晶片市場，安國預計授權ARM最新一代CPU IP，神盾集團將追求成為全世界前幾家提供最新一代ARM based AI伺服器CPU晶片的廠商。
此外，神盾也規畫集結自家類比IP的優勢開發可複用I/O晶片，大幅節省開發時間，加速CSP產品進入市場的時間，也可降低開發成本。因此，除了先進製程IP及先進封裝設計服務外，AI伺服器CPU晶片及I/O晶片也將成為神盾集團未來發展的成長動能。
羅森洲指出，神盾有機會搶攻這塊市場，是因為先前併購乾瞻科技後，擁有UCIe這個強勢IP的能力，並專注於開發類比高速傳輸IP，至於安國也併購星河，著重於先進製程與先進封裝設計與投片服務，並預計規畫授權ARM最新一代CPU IP，透過神盾與安國之合作綜效積極搶攻AI伺服器市場。
從安謀與神盾、安國的合作案，可以理解半導體產業已出現的具體變化，同時也可窺知國際大廠的競合態勢，而在這個大趨勢演變中，台灣產業要如何搶攻這塊CSP業者崛起的機會，以及藉此搶到矽智財領域的新商機，的確很值得未來繼續關注。
