曾在輝達工作的陳俊傑,帶著一身絕活回到台灣創業,用自研軟體協助客戶將硬體效能最大化。
即使是在小裝置上,也能運作大語言模型,吸引美、日客戶上門,證明了台灣團隊也有「軟」實力。
一台與電視機上盒差不多大小的「電腦」,竟能在不連網情況下,運行像LLaMA 2這種擁有七百億個參數的大語言模型,生成文字、翻譯、對話,且不上雲端、保護資料安全,是讓不少企業心心念念的設備。不過,除了硬體的支援,軟體其實也扮演加速運算的關鍵角色,能幫助GPU(圖形處理器)發揮最大效能。如何讓軟體也到位,就是新創公司奎景運算的拿手絕活。
二○二○年,執行長陳俊傑成立奎景運算,同樣規格的硬體設備,只要搭配奎景的軟體,運算速度就是比別人更快,就算不連網也能運作AI模型,因此吸引需要處理機敏資料的美國政府機關、金融業者、日本百年製造大廠等國際客戶上門,創業第一年就小幅獲利。這家員工僅有二十人的新創,如何交出亮眼的成績?