「元宇宙」一詞於去年底倏地竄紅,然此概念盛行於影視已近30年。從1993年的《超級戰警》、1999年的《駭客任務》,到2018年的《一級玩家》,我們從網路萌芽期即揣想的虛擬世界,在科技與疫情催化下,已逐步實現。這必然是一場人類的全新冒險,而我們是否已邁向新的未知而一去不回頭?科技又將如何型塑這個美麗新世界?
搞定傳輸、互動、數位資產
元宇宙美麗新世界誕生
大爆炸(Big Bang)造就真實宇宙的誕生,億萬年後的今天,代表虛擬世界的「元宇宙」(Metaverse)一詞,也在近期橫空出世:在虛擬空間參加演唱會、與地球另一端的夥伴協作開發新產品、不具實體的數位藝術創作以天價賣出、搶先在虛擬世界置產、投資⋯⋯在既有人生之外,開啟自己的「第二人生」,按照自己的想法過生活,聽起來很棒,但元宇宙究竟是什麼?在元宇宙的世界裡,我們是否能更方便的滿足想要與需要,甚至逆轉現實世界的遺憾呢?
元宇宙大爆炸 平台百花齊放
研究機構Gartner預測,2026年全球四分之一消費者每日將投入1小時在元宇宙,從事購物、社交、學習、工作等活動。元宇宙看似近在眼前,不過,元宇宙的確切定義,目前仍眾說紛紜,各有不同重點和切入角度。臉書(Facebook)創建了針對一般大眾的Horizon的VR社群服務、輝達(NVIDIA)則有工程師熱愛的Omniverse工業協作平台、Roblox遊戲為兒童玩家打造可體驗不同探險和角色的花花世界,創下每日活躍用戶近5,000萬人的紀錄。在國內,非同質化代幣(NFT)蔚為風潮,影視、網紅,甚至電視節目紛紛發行自己的NFT,藝術博覽會也躍上Decentraland網路虛擬平台。
綜上所述,工研院產業科技國際策略發展所給予元宇宙一個概括性的定義:是「數位共感的世界,以網實融合、數位經濟、數位科技為三大要件,而且受到下世代網路web 3.0、後疫新常態的網實融合需求、Z世代的數位原生特性、以及科技大廠致力打造新應用及新商業模式等推力而生。」
未來已來?傳輸、互動、數位資產先搞定
工研院資訊與通訊研究所副所長花凱龍則從技術角度切入,他指出,元宇宙的定義與界線相當模糊,究竟是全新的概念?或是集各種既有技術的舊酒裝新瓶?無論如何,在臉書創辦人祖克柏登高一呼下,元宇宙能見度陡然暴增,可將2021年視為「元宇宙元年」,「但若要架構出完整的元宇宙,恐怕還有許多任務必須完成。」
花凱龍表示,在元宇宙發展初期,必須到位的基礎建設包括:網路通連、人工智慧的運算能力、大數據(BigData)的處理能力、物聯網、虛擬實境及區塊鏈技術等。「就目前科技發展的程度,這些技術已經為元宇宙墊鋪了不錯的發展基礎,」他也坦言,若要進階到終極的元宇宙體驗,還需要進一步的生化技術,例如腦機介面,用來解讀人體動作時的腦波變化,讓人腦與裝置直接互動,才有辦法實現如電影《一級玩家》一般,華麗繽紛、感官擬真,且可任意切換的虛擬境界。」
以科技層次來看,元宇宙目前仍有許多門檻必須跨越。花凱龍說,首先是理想的傳輸環境,「電影場景中的元宇宙可瞬間移動,一眨眼就可以從臺灣到美國,總不能等個10秒才讓畫面慢慢成形,」所以從現在的5G到未來的6G、7G等無線通訊,都必須承載巨量的圖像、演算等資料、確保低延遲傳輸。
從人機互動到腦機互動 達成終極沉浸
「第二是人機互動,人的姿態及感官如何被掌握的更理想,虛擬世界的感受才能忠實地傳達,」花凱龍指出,動作及五感是科技大廠和新創致力研發的方向,例如臉書先前收購的Oculus,就開發出手部追蹤功能,據稱能夠辨識手語手勢,並支援抓握功能,提供更具沉浸感的體驗;同時,以純熟的AI進行人體骨架分析也是必要,才能拆解舉手投足的動作及行為,並即時應對。
至於眼耳鼻舌等感官,理論上也能用科技做到對應,但是迄今發展較為成熟的,僅有視覺和聽覺。觸覺還在發展初期,雖有壓力手套等技術,但要區分出輕撫及重擊,還有很大空間。現階段的人工嗅覺選擇,也相當有限,已有新創公司及先進實驗室打造出電子鼻及數位香氣,但受限於多元性與真實世界仍有落差;至於味覺的擬真,未來則可能透過刺激腦部,讓人以為吃到特定食物。
數位資產技術 促進新商模
元宇宙的第三個要素是數位資產技術,包括區塊鏈、NFT、智慧合約及版稅自動分潤機制等,才能促成數位文化及數位資產的發展,增加價值並促進交易。
工研院產科國際所分析師林研詩指出,「新型態的數位交易必須創建開放、公平、安全的創作者經濟,才能打造Z世代追求的稀缺體驗。」她舉例,不論是藝術界、消費品牌或科技軟硬體廠,都在積極搶進元宇宙的數位資產商機。以天價賣出虛擬球鞋的新創公司RTFKT Studios在去年底被Nike收購;2021年度,佳士德拍賣公司售出的NFT加密藝術品已超過100件,成交總額達1.5億美元,其中75%買家都是首次參與佳士德拍賣;而佳士德去年拍出的最高價單件NFT藝術品也創下6,900萬美元的天價。
數位資產活絡了元宇宙經濟,大廠也搶進。今年美國消費性電子展(CES 2022)中,以軟硬體模組作為元宇宙入口的新創公司Atomic Form,便展示了可直接連結區塊鏈及NFT服務的顯示器,標榜「From Wallet to Wall,無縫整合你的NFT資產」;三星推出具備NFT瀏覽器及市場整合器的電視機,讓消費者欣賞數位創作的同時,可立即下單購買。
有資產便有流通問題,未來跨宇宙的互通,也是必須克服的障礙。林研詩進一步說明,目前已有多重元宇宙出現,未來若牽涉資產或商業行為,必須在各宇宙間達到一定程度的通用,開放資料庫的共通結構及標準、共用服務都是未來待解決的議題。
元宇宙應用 大廠搶結盟
影視作品裡的元宇宙固然還有不短的距離,但相關應用早已在你我身邊。例如:美國遊戲大廠Linden Lab的「第二人生」遊戲,從2003發行PC版迄今,讓玩家創造分身在虛擬世界活出另一種人生,被視為「元祖級的元宇宙」。迄今已實現的元宇宙應用,包括遊戲、醫療、工廠數位分身、智慧城市及各種沉浸式體驗,運用了既有軟硬體技術如:顯示、感測、高速運算晶片、建模軟體、渲染引擎、人機互動軟體、3D掃瞄、影像及語音運算法則、自然語言處理等。以這些軟硬技術為底,再透過既有社群如臉書、Roblox、虛擬娛樂平台Wave等借力使力,想體驗元宇宙現在就可以辦到。
由於軟硬技術及社群均已粗具基礎,臉書一喊出元宇宙,資源豐沛的科技巨擘立刻跟上腳步,展開元宇宙相關的結盟,像是三星就與亞洲最大元宇宙平台Naver Z合作推出ZEPETO,使用者可在其中以創新家電布置專屬虛擬空間;通訊大廠高通(Qualcomm)則與微軟合作開發AR晶片,用於微軟AR智慧眼鏡,優化元宇宙的視覺體驗;韓國現代汽車則挾生產製造專業,與遊戲引擎大廠Unity合作「元宇宙數位分身工廠」。
工研院多年耕耘元宇宙基礎建設
在臺灣,和元宇宙相關的研發也在持續進行。花凱龍表示,工研院在元宇宙的基礎建設,如底層網路通訊、VR顯示解析度、人工智慧、虛擬訓練等,均已耕耘多年。近期工研院在高雄亞灣園區舉辦全球首創的「5G+MR無人機電競賽」,參與競技的飛手,戴上頭盔即能在混合實境(MR)一較高下;再如「5G+4K沉浸式展演」技術,則可透過演算法分析,擷取賽事直播的最佳視角,讓遠距觀賽宛如親臨,還可在賽事場地空曠處,建構虛擬廣告或提供即時賽事資訊,提升轉播的附加價值。
元宇宙科技仍處現在進行式,相關商機已經浮出台面,臺灣廠商應如何掌握?花凱龍指出,國內產業擅長科技硬體及整合,在製造業的元宇宙應用,如數位雙生技術,已有相當程度的進展,反而是行銷、品牌、互動等,是元宇宙更值得開發的領域。當下一波科技浪潮走向網實融合的 「Phygital」(Physical+Digital)世界,演化出由數位與實體共感所建構的全新生態系時,更多價值將來自「軟商機」,除了資通訊的軟硬整合外,應用服務、內容產製、數位匯流平台等,會是更龐大的發展空間,美麗新世界將就此展開。
工業級元宇宙
數位雙生、遠距協作應用最夯
儘管元宇宙欲達成的虛擬互動體驗仍近乎科幻場景,但在工業應用上卻已取得真實進展。隨著數位雙生技術日益成熟,元宇宙的沉浸式體驗,對製造業及供應鏈管理效能提升極具價值;而工業場域因數位化程度高、場域封閉,基礎建設條件更佳,元宇宙已先在工業應用上發熱發光。
元宇宙在消費應用尚未全面爆發,工業應用已經先行;集邦科技(TrendForce)預估,工業元宇宙將帶動全球智慧製造大幅成長,2025年市場規模可望突破5,400億美元,2021至2025年平均複合成長率為15.35%。
事實上,工業元宇宙的應用已存在多年,例如工業4.0提出的「數位雙生」(Digital Twin)概念,打造實體工廠的虛擬分身,用於新產品開發、預防性維修、布建新產線前的優化模擬等,相關案例不勝枚舉:包括西門子的數位雙生平台協助機械業改善零件損耗、波音公司打造客機的「模擬分身」來驗證新引擎效能、疫情期間半導體設備業者透過混合實境(MR)技術,協助客戶遠端裝機,還能遠端排除障礙⋯產業已累積不少元宇宙經驗。
架構完整工業 元宇宙仍需創新研發
更近期的案例則包括,韓國現代汽車於今年1月宣布與遊戲引擎公司Unity合作,共同開發元宇宙工廠的應用平台,是工業界向遊戲產業取經的典範;BMW以輝達的Omniverse模擬平台,打造出全數位的虛擬工廠,從研發到生產都可以先模擬,估計可提升30%生產規畫的效率;百威英博集團(AB InBev)為釀酒廠及供應鏈開發了完整的數位模型,甚至建立虛擬的「數位人員」來測試工作流程是否合乎人體工學,規畫最具效率的配置。
工業元宇宙的前景看好,不過,要架構出完整的工業元宇宙仍需更多的創新研發,例如5G、Wi-Fi 6等先進通訊技術;機器視覺、3D建模、人機互動系統等軟體能量;協作機器人、無人巡檢機、混合實境裝置等硬體;此外,工業元宇宙讓企業有更多資料曝露在數位環境下,因此對資安要求更為嚴格,進一步將帶動工業級資安技術的發展。
國內針對工業元宇宙的研發仍在積極進行中,工研院於2022年工具機展中也發表相關成果,其中以「AR加工助手」及「零信任智慧機上盒」(ZT SMB)最受囑目。
AR加工助手 宛如專家親臨
工程師遠端協作,是元宇宙最快實現的應用之一。受到疫情衝擊,國內機械廠商的交機驗收成了一大難題,人員無法前往客戶端確保機台運作正常,並進行教育訓練。工研院開發的「AR加工助手」,透過擴增實境(AR)可視化,讓現場人員透過平板或AR穿戴裝置,取得機台的數位資料,即時尋求遠端專家的協助。
工研院智慧機械科技中心組長羅佐良指出,「AR加工助手」真正達到遠距協同工程,讓機台虛擬影像與現場實體畫面疊合,同時提供相關資訊,在「雲端」快速運算分析後,透過5G通訊串流到「地端」,資訊傳輸順暢不延遲。目前已有國內工具機廠導入電腦數值控制(CNC)設備,讓遠端客戶能與臺灣原廠同步串流資訊;另有面板大廠導入組裝線,做為教育訓練之用,新進人員在現場操作機台時,也可在「AR加工助手」上看到每個工作細節的相關數據,例如工件夾取角度、加工軸的負載及溫度等,教育訓練成效大大加分。
零信任智慧機上盒 為資安層層把關
無論通訊網路如何發達,資安問題始終是魔道鬥法,相生相剋。現在進入元宇宙時代,人們工作、生活與網路更密不可分,資安認證將更形重要。工研院取得美國專利公司授權「資安零信任(ZT)機制」,並將其導入既有資安機上盒,形成防護匣道,使用者進入工廠的任一設備或單位,都須層層把關,每次都要重新認證。
羅佐良表示,現行資安防護架構是在內外網之間做出區隔,缺點是只要通過虛擬私有網路(VPN)認證進入內網,即暢通無阻,換言之,一旦員工帳密遭竊,即出現資安破口。工研院的「安全聯網零信任智慧機上盒」,扮演內網的資安匣道口,建構多重認證的元宇宙資安環境。企業可依據自身需求,彈性規畫寬鬆至嚴謹的資安政策,例如每個廠房僅設置一個匣道口,這適合僅收集單純生產數據的環境;若須整合感測資料,傳輸速率較高,即可在每部機台上設置零信任機上盒。採用零信任智慧機上盒,存取任何資料均須認證且留下紀錄,可增加駭客的破解門檻,減少營業秘密損害。
工業元宇宙未來要進一步發展,除軟硬體及維運成本外,供應鏈夥伴接受度、廠商間的數位落差等障礙也有待克服,好消息是隨著疫後彈性生產與分散製造趨勢,將驅動更多新服務與新解決方案,工業元宇宙勢必將為製造業,樹立全新里程碑。
打開虛擬世界大門
元宇宙應用發威!
就像智慧手機徹底改變了傳統的行動電話,元宇宙的出現,也將顛覆現在的網路世界。登入元宇宙大門,迎接你的是多采多姿的虛擬國度,使用者在裡面工作、運動、看表演,打破空間阻隔與朋友歡聚,猶如第二人生。工研院結合MR、5G、AI等技術,緊扣元宇宙概念,提前為產業布局元宇宙商機。
虛擬替身現身!打造個人元宇宙
「這是我嗎?」站在螢幕前,驚喜發現年輕版的自己,以3D虛擬人物的形象現身,對著他揮揮手,螢幕中的「小人」也對著自己揮揮手。工研院研發的「互動時光機」,運用即時感測和肢體辨識等技術,打造出個人元宇宙,使用者可在虛擬世界中與3D虛擬人物互動,體驗過往美好時光。
現在的元宇宙技術,往往都需要配戴AR、VR裝置,才能進入虛擬世界,「有沒有可能不需要任何裝置,就能直接進入虛擬世界?」透過三大技術能量,研發實現了這個願望。首先在顯示器上裝設3D感測器,即時辨識使用者的肢體、骨架,找出33個關節點座標,再和虛擬替身相互連結,使用者只要變換動作,虛擬人物也隨之改變。
而虛擬人物的臉部表情,則透過AI影像處理,將真實人物的臉部特徵做轉換,可變老、變年輕甚至變形,達到跨時、跨域改變人物特徵的效果。在成像上,團隊希望虛擬人物呈現3D立體效果,而不只是在顯示器上的平面圖像,因此透過數學運算的方式,讓成像有3D立體效果,看來更加擬真。
這項技術最大的價值,就是不需透過任何穿戴式裝置,就能進入元宇宙世界,有助未來元宇宙的發展和創新。預計在今年下半年,「互動時光機」的核心技術將於高雄衛武營中化身其他互動裝置,讓民眾實際體驗。
除了消費應用外,這項技術也能應用在產業上,像是設備維修的教育訓練。有些產業因為危險性跟特定地域性,或是因為疫情關係無法親臨現場時,就能透過這項技術再搭配感測手套,使用者在虛擬世界中抓取物品,也有真實回饋的感覺,好像真的在組裝或維修東西,工研院已和半導體、鋼鐵、機械、軌道業合作,延伸元宇宙的產業價值。
虛實結合 開創娛樂五感新體驗
操控夾爪、夾取娃娃,如此熟悉的夾娃娃體驗,背景卻不是夾娃娃機台,而是在一片虛擬農場中上演。這是工研院與資策會合作推出的「MR夾娃娃機—快樂農場」,將混合實境(MR)技術與實體夾娃娃機結合,民眾只要戴上MR眼鏡,就能進入元宇宙虛實物件的遊戲世界中,自由互動體驗、挑戰闖關任務。
「MR夾娃娃機—快樂農場」是研發團隊與遊戲業者共同建立的虛實混合示範驗證,以及MR互動娛樂的遊戲,去年底於高雄駁二展出。為了連結虛實世界,團隊一開始先在夾娃娃機內放置實體標記,再運用六自由度空間定位,讓虛擬娃娃對應至實體標記,透過結合虛實物件,增強虛擬場域的真實沉浸感。
在遊戲中,玩家可依照難易度,選擇3種不同關卡,愈快完成任務就獲勝。玩家戴上MR眼鏡,看到虛擬農場的草地、樹木、小屋與流水等景色,接著透過3D虛實疊合定位,利用手套感測與手指彎曲偵測,控制虛擬娃娃機夾爪的移動與開合,利用震動回饋來模擬抓取物體的碰撞,擬真度可達90%以上,更利用聲源與攝影機間的相對位置與距離,模擬或合成出虛擬融合的3D空間聲響,創造更逼真的闖關效果。
受疫情衝擊,這兩年許多展會取消或延期,不少業者順勢整合線下與線上的AR、VR、MR沉浸式體驗,帶動產業跨域整合從上到下游的關鍵技術。像是此次研發的觸覺感測與回饋手套,以及協助廠商開發出下世代MR眼鏡,不但讓民眾體驗創新應用技術的樂趣及便利,也為未來的消費娛樂市場開拓更多商機。
全球首創!5G MR無人機電競飆速登場
「三、二、一,比賽開始!」一架架透著螢光色的無人機,靈敏穿梭在色彩奪目的賽道中,急速轉彎、穿越障礙,展現最酷炫華麗的飛行特技,你來我往、戰況激烈。這是2021年於高雄亞灣AIoT創新園區登場的「5G MR夜光LED無人機競速高手挑戰賽」,完美示範精彩刺激的虛實整合視覺體驗。
不管是高空拍攝、緊急救災,無人機早已被廣泛使用,但在5G時代中,「競技無人機」(Drone Race)已被視為下一個熱門運動賽事,在電競娛樂領域大展身手。在經濟部技術處科專計畫支持下,工研院攜手仁寶、飛競鬥士開發全球首創的5G MR無人機電競系統,此次競技無人機的創新應用,除仰賴5G專網系統外,也需搭配高速定位、低延遲傳輸、即時渲染運算等軟硬整合技術,展現商業潛力。
與過去無人機競速比賽不同的是,選手配戴「第一人稱視角(First Person View;FPV)智慧眼鏡」,宛如坐在駕駛艙內開飛機,可提供選手更好的沉浸感;賽道上除了有實物關卡外,還有在MR眼鏡中才看得見的虛擬障礙物,增加比賽刺激度。透過5G高速、低延遲的即時傳輸,在超過百公里時速下,觀眾也能看到超清晰的畫質轉播,享受零秒差的精彩賽事。
4D環景隨選隨換 解鎖世界鐵馬地圖
在元宇宙的世界中,科技讓運動變得更有趣。工研院研發的「沉浸式騎訓技術」,將4D環景技術融入騎踏運動中,藉由模擬不同景觀,使用者可從日月潭環湖轉換至日本櫻花大道,再騎到綠意盎然的歐洲森林公園,完成許多破風手解鎖世界各地鐵馬地圖的心願。
不同於目前市面上類似的虛擬騎乘訓練,「沉浸式騎訓技術」運用全視覺辨識技術,不須穿戴任何裝置,騎乘體驗更加舒服,不受實體世界天氣影響,也沒有競速的安全疑慮。系統同時會詳細記錄健康資訊,讓使用者即刻觀看健身成果,目前這項技術同樣也和YYsports和救國團合作,導入健身場域。
工研院緊扣元宇宙的概念,以科技加值,將枯燥運動變得活潑生動,除了激發大眾對健康與運動的興趣之外,也期盼透過科技及數據的幫助,達到更好的健身效果,以創新應用引導運動產業快速發展,帶動新一波的活力健身潮。
虛擬投手陪練 揮棒打擊更有臨場感
喜歡打棒球的人對打擊場的發球機都不陌生,但如果想隨時隨地都有人陪練該怎麼辦?工研院開發的「智慧棒球訓練系統」,就透過360度沉浸式虛擬場景的方式,模擬投手投球多變球路,讓揮棒練習更有臨場感。
這項技術由一群愛好打棒球的工程師共同發想,透過虛實整合技術,當使用者戴上MR頭戴裝置後,就能看見虛擬世界中的投手投球而來,此時真實的球體也在同時投出,讓使用者揮棒打擊;這項技術也結合人體姿態深度攝影技術,即時提供揮棒姿勢等調整資訊,提供專業球員的培訓服務。
本技術最大特色在於,研發團隊導入物聯網技術,改善發球機機構,只需在平板電腦上點選,就能模擬曲球、滑球、伸卡球等球路、球速,無須手動來調整發球機,有效提升操練效率,補足傳統訓練的臨場感。目前「智慧棒球訓練系統」已更成功吸引寶成國際集團旗下的運動服務平台YYsports和救國團,導入健身場域,為打擊運動增添樂趣。
VR 360營造嶄新沉浸式劇場展演
在未來的元宇宙時代中,藝術展演也有更獨特的沉浸式體驗。早在2020年底,經濟部技術處便率先攜手工研院和國家兩廳院,發表臺灣第一齣導入5G、VR 360攝影及多視角即時隨選互動技術的示範展演劇《萬花鏡》。
從觀眾戴上VR裝置觀看8K 360度動畫開始,接著利用視訊串流技術將4K高畫質直播到第二現場,觀眾可用平板任意選擇劇中角色觀賞,共感主角的心境變化,以及那種心中有話卻說不出口的矛盾情結;最後再將觀眾拉回真實劇場內,演員穿梭其中,大結局就在劇場內上演。
這是科技與劇場藝術跨領域的新嘗試,由兩廳院負責專案整合、舞台設計與表演藝術;工研院匯集明泰、仁寶、廣達等臺灣廠商,建置全國產化的5G專網,為需要大頻寬傳輸的8K VR 360影片,提供穩定的網路品質,同時也備妥VR頭盔等軟硬體設備;劇本則由對科技素有涉獵的新銳導演莊知耕,運用5G、VR、多視角等特性量身設計。
在5G加持下,即使如8K高畫質影像,也能做到僅0.4秒的低延遲,打造身歷其境的感受。互動科技讓展演跳脫過往的設計思維,產生新的觀演模式,觀眾可切換觀賞視角,不再受制於導演單一視角,打破觀劇的時間與空間限制,運用科技與表演者互動,創造數位時代中嶄新的劇場敘事語彙。
想了解更多元宇宙趨勢,請看3月號工業技術與資訊月刊