電腦螢幕中,虛擬角色的動作,和真人完全同步,甚至連講話時的嘴型,都一模一樣,即使任意變換虛擬角色外型、身處的場景,其動作、流暢度,也完全不受影響。
上述結合人工智慧(AI)與動作捕捉(Motion capture)的技術,來自一家名為「成境科技/RED PILL LAB」(下稱「成境科技」)的台灣新創公司。早在2019年初,成境科技便以其優異的技術能力,與亞馬遜(Amazon)等科技巨頭,同獲AR/VR市場調查領導機構Digi-Capital,評選為「2019 AR/VR/MR Leaders」。
在美工作5年 把自己當海綿吸收新知
成境科技創辦人暨執行長石千泓,當年赴美國卡內基美隆大學進修時,便利用暑假期間,在迪士尼實習。會寫程式、懂視覺模擬技術的他,於2007年取得學位後,就在迪士尼擔任助理設計師。
「當時我待的部門,負責設計全球的迪士尼,我們主要是做『還沒蓋完』的園區,只要透過虛擬實境技術,就可以看到園區環境,那個視覺非常逼真。」石千泓說。
在迪士尼工作逾2年後,石千泓轉職至遊戲開發商動視暴雪(Activision Blizzard),隸屬「中央科技」部門的他,主要負責技術指導。憶及迪士尼加上動視暴雪,共計約5年的美國工作經驗,石千泓形容,當時的自己,就像一塊海綿,不斷地在工作過程中,大量吸收專業技能。
返台後,石千泓進入壹傳媒在台灣成立的壹同樂動畫工作室(下稱壹動畫),引進他在美國學到的動作捕捉、遊戲引擎(Game-engine)和資料庫,除了為「動新聞」提供技術支援外,也從事技術開發與輸出。
在壹動畫工作期間,石千泓開始聚焦AI發展趨勢,並產生「把AI應用在動作捕捉上」的構想,進而醞釀出創業的念頭。
▲影音來源:RED PILL LAB YouTube頻道。
用AI強化動捕技術 費用更低、成效不打折
醞釀約2年後,石千泓決定離開壹動畫,和工作上的左右手都伯利(Dobry Todorov),以及連續創業家陳子龍等人,在2017年8月,創辦RED PILL LAB,並於隔年創立成境科技(RED PILL LAB公司登記在香港,成境科技則在台灣)。
「動作捕捉,是我們公司的專業。」石千泓以近30坪的室內空間為例指出,如果使用傳統動作捕捉設備,大概要裝設15台紅外線攝影機,「被捕捉者」還得穿上覆蓋70個追蹤點、外觀猶如潛水衣的「光學動捕裝」,若再加上軟體費用,整體開銷約需50萬美元。
相較之下,成境科技所提供的「6追蹤點AI動捕技術」,在同樣大小的空間中,只要用上4個雷射攝影機,「被捕捉者」穿戴6個傳感器(頭上、腰部、雙手、雙腳),就可達到與傳統動作捕捉設備相同的效果,且費用僅需2萬美元。
▲相較於傳統動捕技術,「6追蹤點AI動捕技術」,只要穿戴6個傳感器,搭配4個雷射攝影機,就可達到相同效果。
「差別在哪?我們(技術)背後的運算,都是AI運算。」石千泓說。
除了「6追蹤點AI動捕技術」外,成境科技還擁有「即時人工智慧聲音轉嘴型表情」,以及「即時無感測器AI人體動補」等建立在AI之上的核心技術。
石千泓解釋,「即時人工智慧聲音轉嘴型表情」技術,AI光是「聽」聲音(可涵蓋10多種語言),就知道虛擬角色的嘴型該怎麼動;而「即時無感測器AI人體動補」技術,連追蹤點都不用,只要透過筆記型電腦內建的攝影鏡頭,即可捕捉動作。
▲成境科技創立初期,便加入輝達(NVIDIA)「新創公司Inception計畫」。石千泓和都伯利,於2019年,在洛杉磯和NVIDIA執行長黃仁勳(右)見面。(圖:石千泓提供)
疫情催生新產品 應用將擴及元宇宙、NFT領域
成境科技成立幾個月後,就獲得宏達電(HTC)投資、受邀加入輝達(NVIDIA)「新創公司Inception計畫」,其動捕技術,還被韓國放送公社(KBS)採用,並得到日本電影公司「東映動畫」簽訂AI共同開發合約。
於日本、南韓、美國、加拿大、中國、新加坡等多國,都有客戶的成境科技,在新冠肺炎疫情爆發後,便著手開發,可在無接觸、不必穿戴裝置的情況下,也能捕捉動作的技術,隨之誕生的硬體產品,便是搭配手機、平板等行動裝置使用的「RED PILL GO」。
自去年底以來,在台銷售超過50台的「RED PILL GO」,內建攝影機、麥克風,並配有AI晶片,可將捕捉到的動作、聲音、嘴型等資料,與網站上的虛擬角色連結,使之與真人動作、嘴型一致。
石千泓表示,未來,「RED PILL GO」還會推出軟體版,其應用將擴及元宇宙(metaverse)、非同質化代幣(NFT)等領域。
▲內建攝影機、麥克風,並配有AI晶片的RED PILL GO,體積約一罐礦泉水大小,便於攜帶、使用。
回顧從就業到創業的歷程,石千泓認為,可將之切分成「數個5年」,求學期間,先鍛鍊基本功;在美國工作5年,是吸收新知;壹動畫時期,學習如何經營與技術有關的生意;創業以來這5年,則是具體實踐。
至於未來5年,石千泓強調,「我現在擁有的資源,就是人工智慧,以及和NVIDIA等頂尖業者合作,讓成境科技可以繼續成長。希望以後一提到RED PILL,大家都知道,我們能提供讓真人來到虛擬世界,沒有任何負擔的技術。」
石千泓小檔案
現職:成境科技創辦人暨執行長
經歷:香港商壹同樂動畫工作室研發長、動視暴雪技術指導、迪士尼助理設計師
學歷:美國卡內基美隆大學電腦科學學院碩士