在今天看見明天
熱門: 美股 行事曆 年金 00891 房地產

大數據

大數據

大師輕鬆讀

名人專欄

2013-09-12 13:40

大數據狂潮震撼現在、衝擊未來,過去依賴專家經驗或領導者主觀判斷,將被資料導向的決策所取代。在大數據的世界,新型態的分析將造就一波新奇的見解和運用,重新塑造我們的生活、工作和思考方式。



分析大量資料,找出其中的相互關係,再根據這些相互關係做出預測,正是大數據的核心所在。 2009年發生的 H1N1禽流感病毒事件,就是說明運用大數據的好例子:

傳統上,美國疾病控制及預防中心追蹤病毒的方法,是蒐集醫師出診的資料,然後用 2 星期左右的時間完成圖表編製及公告。但 Google 提出了另一種完全不同的方法。它根據人們感冒時上 Google 搜尋治療方法的數據,藉此追蹤 H1N1的病毒傳播。接著又從 Google 過去和流行性感冒傳播的相關史料中,整理出有相互關係的搜尋用語。這使得衛生官員不用再花幾個星期等待美國疾病控制及預防中心的資料更新,便可以即時追蹤 H1N1的散播程度並且迅速提出因應之道。

繼數位革命後,大數據潮流再度顛覆我們的生活、經濟、社會、科學各層面,造成巨大轉變、勢不可擋的趨勢以及隨之而來的種種隱憂。但在不久的將來,當數據化更為普遍,我們一定會把它視為理所當然。

第 1 章 資料分析及運用的3項轉變

大數據的崛起將為社會對資訊的分析及運用方式,帶來 3 項根本轉變:

轉變 1 處理全部資料,不僅是樣本

人類一直期望利用資料來解決問題,但縱觀整個歷史,這始終是非常困難的事。傳統上來看,資料的蒐集、整理及解讀之所以困難,至少有 2 項非常顯而易見的理由: 

1世界上的資訊大多是類比,而非數位格式。 
2整理類比資訊然後加以分析是極其昂貴且耗時的工作。

解決這些困難的常見方式,是分析資料的隨機樣本然後做出推論,而不是分析全部的資料。抽樣法讓資料龐大的問題更好處理,但它本身卻也存在一些問題: 

1你必須確保取得真正隨機分布的樣本,才能夠代表整體。
2抽樣時,可能在不知不覺中萌生偏見,造成錯誤的預測。 3隨機抽樣無法取得資料中某些小團體或其他利基市場的偏好。

抽樣總是會模糊細節,但生活中真正有趣的事,其實通常發生在抽樣原本就會有的誤差範圍中。根據合理的推論,如果你分析全部的資料而非只限於樣本,你無論如何都會得到更優越的成果。

轉變 2 降低對精確度的要求

一旦你開始用大數據的角度思考,你就必須對自己的想法做些調整。其中之一是你必須停止追求精準或確實的測量結果,反而要坦然接受在大數據的現實世界中,難免會產生的不精確。

掌握大數據,有一個概略的方向,通常就已經令人滿意,而不需要知道每分每毫的現象。我們並不是完全放棄精確度;只是放棄對它的忠誠度。我們在微觀層級所喪失的正確性,將會從宏觀層級的見解中得到補償。

大數據強調的是全面性的資料庫和混亂程度,比起依賴少量資料和正確性,大數據幫助我們更貼近現實。

轉變 3 不求原因,只看模式

知道事情為何發生也許令人高興,但是對刺激銷售並不重要。所有產業的業務人員一直被告知,他們必須了解是什麼讓顧客做出選擇,要理解他們決策背後的原因。專業技巧和多年經驗一直受到高度重視。

大數據則指出了另一條更實用的方法。在不了解根本原因為何的狀況下,亞馬遜創新的推薦系統梳理出珍貴的相互關係。知道發生了什麼事,而不用知道發生原因就非常足夠了。

人類的天性就是想弄清楚事情發生的原因,但是在大數據的世界中,這點卻變得毫無幫助。更有價值的是辨認出資料中存在的相互關係。如果你先專注找出這些關係再加以利用,你就能得到一些非常有價值的見解。

第 2 章 即將發生的 3 項新興趨勢

在類比時代,資料的蒐集和分析異常昂貴且相當耗時。數位化已經在根本上扭轉了這種局勢,因此在不久的將來, 3 項新興趨勢將顯著成長:

趨勢 1 數據化將更普遍

大數據的核心信念之一是提出,巨大量體的資料有其特殊價值存在。有了這層認識,「數據化」就是要從沒人認為有任何價值的材料中發掘數據的過程。

當大數據的好處得到更多認可和重視時,更多現實世界的現象就會被數據化,或轉換成可以讓電腦分析的有用資料。最明顯的應用將是: 

■真實世界的度量指標──時間、距離、區域、音量和重量,現在都能以更高的正確性和精確性,進行度量及追蹤。 

■文字──谷歌和其他公司正努力將印刷書籍變成數據化內容,以供機器搜尋、索引和處理。 

■地點──在 1990 年代,價值數百美元的全球定位系統模組,如今可以花不到 1 美元大量生產。此外,無線科技也更為廣泛流傳、廣泛使用。

■互動──臉書在 2012年大約擁有 10 億用戶,意味僅只一家公司有辦法取得超過全世界 10% 人口的資料。但臉書資料能做的不只是追蹤 1000 億條友誼連結,對於信用記錄和未來各種商業的應用,都可能具有極大的價值。

趨勢 2 資料將成為關鍵資產

隨著大數據的應用,資料的價值正在改變。在數位時代,資料褪除它支援交易的角色,並且往往變成交易的商品本身。在大數據的世界,情況再度有了變化。資料的價值從原本的用途轉移為未來的可能用途。你可以對它進行很多不同的操作: 
■以不同的方式再次使用──一旦資料被電腦取得並儲存,就可以透過各式各樣的創新方法再次使用。完全在於企業如何看待資料。 

■和其他資料結合──網際網路上的「混搭」概念,是以新奇的方法結合兩種或多種資料來源,將是某些重大分析研究的前身,也正是大數據未來將促成的結果。 

■尋找新奇的用途或「廢物利用」──隨著科技進步,追蹤人們進行數位活動留下的蹤跡愈來愈容易,許多企業也更精於取得廢棄或二手資料,再透過其他方式使用。

在大數據的世界,了解愈多就愈有競爭優勢。資料可以形成強大的進入門檻。例如,假設有某個更好的 Google、更進步的臉書或是更聰明的亞馬遜出現,它必須奮力贏得注意,因為那些企業從他們既有顧客的互動中,已經蒐集到如此多的資料,它們可以精確了解顧客想要的是什麼。很難想像會有更好的科技或更好的經驗,足以抵銷這些市場龍頭早已蒐集到關於什麼最有效的龐大資料。

趨勢 3 分析將凌駕專業知識

大數據的價值鏈通常類似下方描述的一樣:
 
■握有大量資訊的資料持有者會試著從資料中萃取價值,但是他們有時會欠缺必要的技巧和專業知識。 

■資料專家就是擁有必要的專業知識和技術,可以執行複雜資料分析的企業。

■在大數據價值鏈中通常會出現的第三方,就是那些具有大數據心態的企業和個人,因此可以在其他人之前發現機會。這些個體或許沒有存取資料的管道或採取行動的必要技術,但是身為機靈的先驅行動家,他們會看到可以掌握價值的機會。

大數據產生的最大衝擊是資料導向的決策將可以用來強化或推翻人為的判斷。主題領域專家、實務專家和統計學家、資料分析師相形之下,將會喪失他們的部分光芒,後者將不受舊的做事方法制約,而讓資料發聲。這種新架構依靠的是資料的相互關係,而沒有預判或成見。

專家的影響力正在消退,不受舊的做事方法制約的統計學家及資料分析師將異軍突起。

第 3 章 大數據有何隱憂?

當大數據更加廣泛流傳時,將會產生一些社會必須解決的關鍵議題。這些議題中比較明顯的有:

議題 1 如何維護隱私?

大數據確實癱瘓了隱私。它含有大量的個人資料,並且允許私人生活中相當私密的細節被追溯。例如,「聰明的」電子測量計可能會用來推斷誰在家裡的車庫種植大麻。論及隱私權和人權時,大數據是全新的局面。

議題 2 我們可以因為人們的傾向處罰他嗎?

在電影《關鍵報告》所描繪的社會中,警察可以在人們犯罪之前就逮捕嫌犯,只因為這些嫌犯具有犯罪傾向。大數據將使根據模式和可能性預測未來個別行為得以實現,而不再只是科幻作品。這種狀況該如何處理呢?在重大犯罪之前就加以阻止聽起來十分誘人,但是這種方式會不會是一種危險的手段呢?

議題 3我們將成為資料的犧牲品嗎?

只依靠資料有時會帶來一些意外的後果。大家都熟知谷歌曾要求了解所有求職者的 SAT分數和他們大學畢業時的平均成績,再根據這些條件進行決定聘雇與否。在企業界具有穩當成功記錄但學歷資料並不耀眼的成熟經理人,會因為這種方式而被拒於門外。當內部研究證明大學成績和工作表現完全沒有任何相互關係之後,谷歌最後就改變了這項政策。

對於這些大數據可能產生的問題,解決方案目前還正在構思當中,但可能會包括以下這些要件: 

1不是去要求人們同意他們的資料可供使用,而是讓資料使用者對自己的所做所為負責──主要是因為資料的再次使用將會變得如此普遍。 

2社會必須重新調整它對於正義的認知──而法律也必須明確宣示人們只須為自己的實際行為負責,而不涉及傾向。 

3對演算法進行稽查將是必要的──將會需要一種新型態的專業人士,他們會接受訓練以便分析資料來源的正當性、選擇適合的分析工具和取得穩當的結果。

確保一個自由繁忙的市場為了大數據而演化是極為重要的,而適當的安全措施和系統也必須完成建置,以確保它實現。

延伸閱讀

川普上任後美債會暴跌?快換手高股息ETF?1個關鍵理由,她無懸念加碼美債:00878也難「保證配息」
川普上任後美債會暴跌?快換手高股息ETF?1個關鍵理由,她無懸念加碼美債:00878也難「保證配息」

2024-11-13

12強賽/韓國隊確定淘汰!韓媒轟「棒球恥辱日」:2023年WBC後另一場災難…直指問題出在這
12強賽/韓國隊確定淘汰!韓媒轟「棒球恥辱日」:2023年WBC後另一場災難…直指問題出在這

2024-11-18

不是0050、00878!ETF長期投資首選哪1檔?它鐵粉率最高「10個人就有4個定期定額買進」,存股TOP20一次看
不是0050、00878!ETF長期投資首選哪1檔?它鐵粉率最高「10個人就有4個定期定額買進」,存股TOP20一次看

2024-11-12

00878、0056、00919…146萬人都存它!這檔高息ETF優勢發酵中,達人教如何每季越領越多
00878、0056、00919…146萬人都存它!這檔高息ETF優勢發酵中,達人教如何每季越領越多

2024-11-12

00945B、00953B、00741B...美債慘兮兮,為何非投等債ETF創新高?5檔ETF大PK:這1檔票息率近8%
00945B、00953B、00741B...美債慘兮兮,為何非投等債ETF創新高?5檔ETF大PK:這1檔票息率近8%

2024-11-13