裝置上生成式 AI 解決方案能透過將查詢和推論移至如PC與手機等邊緣裝置,讓開發人員和雲端服務供應商可提供更經濟實惠、更可靠和更有隱私的生成式 AI。高通和微軟宣布合作擴展AI功能,為消費者、企業端和工業用裝置等各種使用者帶來一流的AI體驗。
通技術公司於 Microsoft Build 2023 開發者大會展示在裝置上AI領域的一系列最新創新成果,包括展現在Snapdragon運算平台上運行的生成式 AI,以及開發人員為搭載Snapdragon的Windows 11 PC構建應用程式的新途徑。
高通技術公司產品管理資深副總裁Ziad Asghar表示:「要使生成式AI成為真正的主流,需要讓大部分推論在邊緣裝置上執行。我們一流的AI硬體和軟體能使開發人員充分利用我們強大的AI功能,在筆記型電腦、手機和其他搭載Snapdragon的裝置上提供令人驚豔的全新使用者體驗。」
AI的未來需同時包含裝置上AI和雲端AI。在裝置上運行 AI 應用程式可提升成本效益、隱私、個人化和降低延遲。Snapdragon平台搭載專用的高通AI引擎,相較於純粹在CPU或GPU上處理,能更有效率地處理 AI 工作負載,即使是在輕薄小巧的裝置上,也可以實現裝置上AI。
高通技術公司將在Microsoft Build開發者大會上展示並提供協助在新一代Windows 11 PC上開發生成式AI的工具。 Stable Diffusion是一款具有超過10億個參數、可從文本生成圖像的生成式AI模型,現在已能夠完全在裝置上運行。該公司表示未來的發展非常明確,再過幾個月就能在裝置上運行多達100億個參數的模型,包含大型語言模型(LLM)。為了強化高通AI疊層(Qualcomm AI Stack)並幫助開發人員打造新一代的裝置上AI體驗,高通也將在本屆Build開發者大會上首次公開高通AI引擎指引(Qualcomm AI Engine Direct)開發套件供大眾使用。搭配ONNX Runtime和高通AI疊層,現在可以在搭載Snapdragon 8cx Gen 3 AI引擎的Surface Pro 9 5G和聯想ThinkPad x13s上執行AI工作負載。
微軟Windows晶片與系統整合副總裁Pavan Davuluri表示:「雲端和裝置處理都必須將AI擴展到數量豐富的裝置和應用程式上。透過將微軟的雲端AI領導地位和Windows平台的功能與高通技術公司在裝置上AI方面的專業知識相結合,我們將加速生成式AI體驗的機會。」
此外,高通技術公司也將在本屆Build開發者大會上展示當熱門應用程式為Snapdragon進行原生編譯時能獲得顯著效能提升,並首度公布一個全新開發者入口網站,該網站將為開發Windows on Snapdragon使用的關鍵工具、資源和支援集中在一個易於使用的位置。
欲瞭解關於高通技術公司參與Microsoft Build開發者大會的更多資訊,請前往 https://build.microsoft.com/en-US/partners/24488a42-2828-4baf-8e10-28e51938ac6e?source=partners
關於美國高通公司
高通正在實現一個人與萬物智慧連結的世界。高通統一的技術藍圖讓我們能有效地擴展包括先進的連網能力、高效能低功耗運算、裝置上智慧等更多推動行動革新的技術,至新一代橫跨產業的連結智慧裝置。高通的創新以及我們的Snapdragon平台家族,為帶來更大的福祉,將協助實現雲端邊緣的融合、產業轉型、加速數位經濟以及革新我們體驗這個世界的方式。美國高通公司包括技術許可業務(QTL)和我們絕大部分的專利組合。高通技術公司(QTI)是美國高通公司的全資子公司,與其子公司一起營運我們所有的工程、研發活動以及所有產品和服務業務,其中包括半導體業務QCT。Snapdragon和高通品牌產品是高通技術公司和/其子公司的產品。高通專利技術經高通公司授權。