你、我都曾使用過顯微鏡,但這台特別不一樣。結合罕見的近距離擴增實境技術,台大Scope+團隊開拓出一塊未來應用的新天地。
前一秒在手上還是標本,下一秒的鏡頭裡,蝴蝶的翅膀卻開始翩翩飛舞,然而將眼睛移開鏡頭,蝴蝶卻像什麼都沒有發生般,靜靜地躺在顯微鏡底下。
在台灣大學德田館五○五實驗室裡,一台外表看似3D印表機,上頭卻裝了個Oculus Rift顯示器,還放了兩個工業級相機,好像小學生胡亂搭湊的古怪機器──Scope+,就是讓蝴蝶瞬間重生的祕密。
在Oculus、宏達電、索尼掀起的虛擬實境(VR)熱潮如野火般燒向全球時,微軟HoloLens開始出貨的消息,則是再次帶起市場對擴增實境(AR)的關注。事實上,擴增實境的開發難度要比虛擬實境高得多,商機卻也更大。而就在台灣的台大校園內,一個擴增實境界的明日之星Scope+,已經在學術界嶄露頭角。
醫生愛寫程式 跨界讀資工
Scope+,是這台古怪機器的名字,也是開發這台機器的團隊名稱。去年三月成軍,Scope+先是在SIGGRAPH(計算機圖形學頂級年度會議)的AR/VR競賽入圍全球前十強,後來又在人機互動與使用者介面設計領域最頂尖的國際會議UIST上,獲得UIST Best Demo 2015。這座冠軍,意味的是Scope+擊敗了包括迪士尼研究中心、微軟研究院、韓國科學技術院、日本產業綜合研究所等十多個國際頂尖研究機構。
「最強的是麻省理工學院(MIT)多媒體實驗室。」Scope+專案負責人黃宇軒說:「能打敗他們是我們意想不到的!」
今年三十六歲的黃宇軒是Scope+的發起者,更是團隊中的靈魂人物,而有趣的是,他目前除了是台大資工博士候選人,同時還是一位眼科執業醫師。
其實早在小學三年級,黃宇軒就已經展現出對資訊的興趣,開始寫程式,而在就讀長庚醫學系大五那年,他和同學組隊參加全國Java程式設計競賽,和無線通訊軟體競賽,更一舉以醫療應用「掌心華陀」,和實境線上遊戲「幻境迷城」,接連拿下亞軍和冠軍。
「那個年代,連『新創』是什麼都不知道。」黃宇軒說,當時還沒想到要把得獎的作品進一步朝商業化發展下去,「如果是現在的氛圍,當時可能就去創業了。」他說。
不過他和資訊的緣分沒有因此中斷。進入眼科實習後,他發現這是一個相當高科技的科別,科裡至少有十三台以上不同類型的檢查儀器。但他也發現,不是所有儀器都能夠把資料送到PACS(醫療影像傳輸系統)。「這不解決,我們眼科會有很大瓶頸,速度沒辦法快。」有資訊底子的他,開始在台大協助眼科專用PACS系統的建置。
過程中他也發現,醫療領域在大眾想像中是一項高科技,實際應用上,卻與最先進的科技有一段距離。而當中最大的問題,來自溝通落差。「資訊人不懂醫師的需求,醫師卻也不知道怎麼幫助資訊人員做得更好。」發現自己有能力作為兩方橋樑的他,對相關醫療資訊系統工作的投入也愈來愈多。
「但做得愈多,(發現)有很多基礎的東西,是我們這種半途出家者缺乏的。」他說:「所以我才會想說,既然這樣,眼科(實習)結束後,再來進修,真正做一些高深的研究。」
而Scope+這個案子的原型,正是來自他當初就讀碩士班所提的研究計畫,一個可以幫助醫師進行術前訓練的輔助工具。
協助術前訓練 開發新工具
他解釋,在進行白內障手術的過程中,最關鍵也最困難的一個步驟,是要用一個非常細的鑷子,在水晶體表面撕出一個完美的圓圈。在過去,他們能夠依靠的只有醫師的經驗與手感,而他想要改變這樣的情形。
有趣的是,在研發過程中,他發現這項技術的應用,其實不只能用在手術練習,而是比他所預想的還要更廣得多。
想像幾個常見的情景,「解剖課上,當你切開一隻老鼠,想要找出心臟、血管、神經時,旁邊一定得擺著一本書,讓你不時能抬頭對照圖譜。可能老師還得不停地逐桌去親自引導學生。」
又或者,「進行電子零件組裝時,旁邊也需要一份電路圖,才能找出如何放置正確的電阻,和正確的腳位。」簡單來說,不論是生物、化學、電子,還是教育用途,這些使用顯微鏡工作的專業人士,總是得不斷重複這樣的動作:抬頭翻書、低頭看顯微鏡,接著再抬頭看書。
而Scope+可以做到的,就是把原本只存在紙本上的資訊,直接加到顯微鏡畫面裡,並且可以同步連網,讓顯微鏡不再只是獨立的一個工具。更進一步,甚至還能發展成專業引導工具,就像在進行手術練習時,醫師不再需要將視線移開顯微鏡,「(藉由擴增實境的即時反饋)我隨時可以知道對或不對。」黃宇軒說。
黃宇軒的指導教授認為,這項技術之所以能在UIST脫穎而出,最重要的是,「他們進入很微小的世界,是很近距離的。」他說,不同於目前市面上看到的擴增實境和虛擬實境主流應用,多是在電影、電玩這類大規模、遠距離的畫面,「Scope+開創的是一個很新奇的眼光,所以特別引人注意。」他認為,台灣要和既有的產業巨擘比拚娛樂市場很困難,但Scope+找到了新的切入點。
短距離擴增實境 超越前人
事實上,這也是黃宇軒相當引以為傲的部分,「過去在這麼短的距離做出AR是沒辦法的。」他說:「我們自己設計、自己製作顯微鏡核心模組,才能讓你在正確的視覺,看到真實世界的畫面,這是目前AR、VR都還無法做到的事情。」
他還記得,一開始啟動這個計畫時,幾乎找不到相關資料,「就算找到也沒辦法直接用。」他說,以相機這個關鍵零組件為例,他們需要的是提供機器視覺使用的工業等級產品,而他能做的,就是一個一個打電話給光學自動化檢測公會會員,找出最合適的產品 。
而且,要找出適合的零件難,要將軟硬體整合成系統更難。特別是他們在設計上,希望可以做到如同醫師實際執刀時,不須使用雙手,只要利用腳踏板就能進行顯微鏡方向和焦距控制的使用情境,「我們花很久時間才讓它動起來,超乎想像的久。」黃宇軒說。
第一個加入Scope+的台大資訊網路與多媒體研究所碩二生游子杰記得,當時為了趕上參賽截止時間,幾乎每天都忙到凌晨三、四點才離開,然後隔天一早又回到實驗室繼續趕工。而這樣的努力,最終讓他們獲得國際學術界的肯定。
幾次在國際會議做展示時,黃宇軒和他的團隊總是不免會被問及一個問題:「這個產品什麼時候要賣?」他說:「他們都覺得這東西好像已經很完整,快要上市了 。」但黃宇軒直言,這畢竟是一個學術研究計畫,不是以商業為目的開發的專案。
然而他也不否認,計畫開始的目的,就是希望Scope+最終能夠在市場上實際應用,只是他也強調,在此之前,「每一個部分都還要做到更好一點。」而開往下一代產品的引擎,已經啟動。
▲黃宇軒最初想做的,是協助醫師術前練習的工具,卻意外發現Scope+可以應用的領域比想像更多。如在顯微鏡底下,畫面中的蝴蝶,不再只是一個標本。(攝影/林育緯)