sponsored links

從大資料(Big Data)到全資料(Whole Data)

被譽為資訊界的傳奇人物、也曾獲得資訊科學領域中最高榮譽—圖靈獎(Turing Award)的美國資訊工程學家吉姆·格雷(Jim Gray),在其生前曾提出「科學典範」(Science Paradigm)的概念,他認為科學研究的演進,有以下四種典範[1],如圖1所示:

1.第一典範「科學實驗」:以記錄方式,呈現實驗結果,描述自然現象。

2.第二典範「理論推演」:發展理論,建立模型,歸納驗證。

3.第三典範「模擬模擬」:透過計算機,對複雜現象進行模擬。

4.第四典範「資料密集」:對資料進行探索(Data exploration),又稱eScience

大資料,就是屬於上述科學研究的第四典範(Paradigm)。

從大資料(Big Data)到全資料(Whole Data)


圖1 科學研究演進四典範 (圖形中的時間為2009年前的時間) 繪圖者:周晏汝

資料來源:修改自The Fourth Paradigm: Data-intensive Scientific Discovery (T. Hey, S. Tansley, and K. Tolle, 2009)

值得一提的是,第一典範其實是世界文明進步的開始,已存在約一千年,主要是人類以紀錄方式,描述自然現象、呈現實驗結果,而這也是人類知識得以累積的重要基礎;至於第二典範,則有一百年以上的歷史,大約是工業革命之後,人類大量投入基礎研究,科學研究為藉由發展理論、建立模型的歸納驗證方式。

第三典範「模擬模擬」與第四典範「資料密集」都是利用計算機來對資料進行處理。兩者之間的差異,在於第三典範「模擬模擬」會先釐清問題並確認假設,再利用資料進行分析與驗證。而第四典範「資料密集」,則是先有大資料,然後再透過分析,發現未知的理論。因此,第四典範的作法,不強調推論「因果」(cause and effect),而是強調發現「相關」(correlation)。這種思維則徹底顛覆了傳統的科學研究做法。

由於現有的營銷資料常被集中在各個企業或機構的「資料倉庫」內。這些資料可能有各種來源,各種不同格式,像是各種因為不同任務需要所蒐集而來的資料、統計報告和趨勢調查等。而資料探索(Data exploration)則是由資料科學家根據各方收集而來的資料,形成真實分析的一種資訊探索方式。

舉例來說,目前各式各樣混亂、毫無結構的人類活動痕跡,正由各種工具如抖音、微博、臉書、Instagram和Youtube記錄下來,而藉由探索性資料分析(Exploratory Data Analysis, EDA)這種視覺化和統計分析工具,找出其中的關連,正是大資料分析或營銷資料科學的基本精神所在。

此外,第四典範「資料密集」的研究概念,更強調以完整的資料來進行分析,只要資料是真實的,我們就能透過分析工具,瞭解資料背後的可能存在的各種行為,進而找出其行為模式。這個部分包涵兩個層次,一是資料蒐集時,不僅是「大」,而是「全」(意即真實且完整)。

其次,由於現行分析工具越來越強大,以前企業可能無法顧及末端的消費者(交易次數少、金額低),而只聚焦前端的顧客,現在拜大資料之賜,可以掌握「全部」的個別消費者的交易資料,企業甚至可以觀察到個別消費者的動態。

如果某一消費者的交易突然靜止好一段時間,企業就可以儘快推出一對一營銷,將此顧客設法保留在會員名單內,而非坐等令其流失。這也是從大資料(Big Data)到全資料(Whole Data)的基本概念。

作者:羅凱揚(臺灣科大兼任助理教授)、蘇宇暉(臺灣科大管研所博士生)、楊竣宇(廈門大學智慧財產權所博士生)



[1] The Fourth Paradigm: Data-intensive Scientific Discovery (T. Hey, S. Tansley, and K. Tolle, 2009)

分類: 健康
時間: 2021-10-20

相關文章

雞鴨鵝養殖,給大家介紹一種壽命長的網床,不需更換,成本也不高

雞鴨鵝養殖,給大家介紹一種壽命長的網床,不需更換,成本也不高
雞鴨鵝養殖,是更需要網床養殖的,因為雞鴨鵝的體型小,嬌氣,稍不注意就是得病,損失很大,網床養殖是最科學的,這樣的最大的好處是能和糞便分離,糞便中是含有很多病毒的,是雞生病的主要原因之一,網床養殖清理糞 ...

雙門轎跑+無框車門,捷尼賽思X Concept優雅精緻,還能帶你漂移

雙門轎跑+無框車門,捷尼賽思X Concept優雅精緻,還能帶你漂移
談及頂級跑車,大家第一印象往往都是邁凱倫.法拉利等歐洲資深廠家.畢竟在造車工藝方面,他們底蘊悠久,影響力也遍佈全球.但韓國在走上汽車化之路後發展迅猛,起亞和現代在世界範圍內都佔據可觀份額,競爭力不容忽 ...

維尼修斯的腳已開光,不僅創造了個人紀錄,而且還為皇馬打破歷史

維尼修斯的腳已開光,不僅創造了個人紀錄,而且還為皇馬打破歷史
對於皇馬來說梅斯塔利亞球場像極了他們的噩夢,在這個球場比賽,皇馬總是有吃不完的苦頭.凌晨的這場比賽依然如此,被對手先進一球后,直到最後時刻依靠相差13歲的"哥倆"才將比分逆轉.而本 ...

鵝糞能殺蛇,是否有科學道理?為什麼蛇會怕大鵝?

鵝糞能殺蛇,是否有科學道理?為什麼蛇會怕大鵝?
在我國農村,很多家庭都養過大白鵝這種家禽,這是因為大白鵝經濟價值極高而且特別好養.但除了賣錢以外,大白鵝還可以防蛇.我國古代的詩人蘇軾在<仇池筆記>曾這樣描述大白鵝:"鵝能警盜, ...

痛風不會無緣無故出現,尿酸高請注意避開痛風發作的十大誘因

痛風不會無緣無故出現,尿酸高請注意避開痛風發作的十大誘因
胡先生被痛醒了,這是一週前的事情:"大概是七天前凌晨兩點多,我的右腳突然疼得受不了,就是右腳的腳背一直疼,還腫得老大." 一夜沒睡也沒敢睡的胡先生好不容易捱到天亮,這才急匆匆地來醫 ...

那年,媽媽每天步行60多里彎上百次腰,撿鴨毛鵝毛供我讀書的故事

那年,媽媽每天步行60多里彎上百次腰,撿鴨毛鵝毛供我讀書的故事
#頭條故事挑戰賽# 田間被掄鋤追攆的"收債主" 那年,有個向爸爸討要升學費的13歲女生,穿著快斷邦的塑膠涼鞋在田埂上奔逃,身後幾根田埂外是怒火中燒,掄著鋤頭要砸死她這個" ...

肉鴨報價丨2021.9.24日毛鴨和鴨苗價格 毛鴨價格和 苗價穩定

肉鴨報價丨2021.9.24日毛鴨和鴨苗價格 毛鴨價格和 苗價穩定
需求鴨鵝藥.鴨鵝病諮詢的請掃碼加V聯絡我免費技術教你高效養殖 加個V,有備無患 執業獸醫為您解答 1.今日鴨苗(單位:元/羽) 廠家 價格 趨勢 益客(到戶) 1.97 0.00 新希望六和 1.95 ...

新家入住三年,關於硬裝、軟裝、家電,我總結出了這12個慘痛教訓

新家入住三年,關於硬裝、軟裝、家電,我總結出了這12個慘痛教訓
新家入住三年,關於硬裝.軟裝.家電,我總結出了這12個慘痛教訓 經歷過裝修的人,大概沒有幾個人能完美地避開所有的坑吧,不吹不擂,我自己也是入坑很深. 新房裝修前,我透過各種網路平臺檢視"裝修 ...

不加鹽的軟水機,是不是智商稅?

不加鹽的軟水機,是不是智商稅?
隨著全屋淨水的普及,中央軟水機走進了更多的家庭. 大家知道,軟水機需要定期加軟化鹽.然而近年來,市面上出現了一種號稱不需要加鹽的"無鹽軟水機",而且不會產生廢水.這是什麼原理? 不 ...

煮米飯,不要直接加水下鍋,牢記2竅門,大米香噴噴的,軟糯清甜

煮米飯,不要直接加水下鍋,牢記2竅門,大米香噴噴的,軟糯清甜
煮米飯,不要直接加水下鍋,牢記2竅門,大米香噴噴的,軟糯清甜 對於南方人來講,誰還不愛吃大米呢?每天餐桌上,必不可少的主食,那就是米飯了.相比較饅頭來說,我還是更喜歡吃米飯,這種香甜軟糯,越嚼越香的東 ...

Science Bulletin:崔傑組發表了深淺海軟甲綱動物比較病毒組學分析成果

Science Bulletin:崔傑組發表了深淺海軟甲綱動物比較病毒組學分析成果
2021年9月16日,中國科學院上海巴斯德研究所崔傑研究組在國際學術期刊<科學通報>(Science Bulletin)以Short Communication的形式線上發表了題為&quo ...

玉米地為什麼不適宜養鵝?適合養在哪裡?玉米地裡可以幹什麼?

玉米地為什麼不適宜養鵝?適合養在哪裡?玉米地裡可以幹什麼?
#三農高質量創作大賽#有人說,在玉米地裡養鵝很好,不但可以代替人工清除地裡的雜草,而且鵝還可以藉助玉米植株躲蔭,所屙出的糞便又是肥料,真是一舉兩得的好事.然而,對於在玉米地裡養鵝的問題,筆者多年前就親 ...

糯米粉最好吃的6種做法,步驟簡單,軟糯香甜,上桌孩子們搶著吃

糯米粉最好吃的6種做法,步驟簡單,軟糯香甜,上桌孩子們搶著吃
糯米又叫江米,是糯稻米去殼後的果實,它的顏色為乳白色,黏性較大,適合製造黏性的小吃,在江南一帶非常流行,把糯米浸泡以後,水磨打成漿水,再晾乾掰碎,就是我們常見的糯米粉了,像粽子.餈粑.炸糕.元宵.年糕 ...

痛風是吃出來的疾病嗎?適量食用七種食物讓吃出來的病吃回去

痛風是吃出來的疾病嗎?適量食用七種食物讓吃出來的病吃回去
痛風,是一種代謝性.晶體性.風溼免疫性疾病,痛風主要是嘌呤代謝異常所致.痛風的急性發作,是尿酸鹽結晶在關節.軟骨.滑膜沉積所引起的無菌性的炎症反應.痛風的發病基礎是高尿酸血癥,也就是說血尿酸濃度常常高 ...

又一甜寵劇將播,趙露思領銜主演,“茶藝大師”林有有客串

又一甜寵劇將播,趙露思領銜主演,“茶藝大師”林有有客串
趙露思從轉型到走紅,"土妞"or"甜妹兒" 一部小成本網劇<傳說中的陳芊芊>,使得主演趙露思徹底出圈.此後,她更是堅持走自己的路線,出演了<我 ...

最簡單的養生方法——睡前泡腳瞭解一下

最簡單的養生方法——睡前泡腳瞭解一下
足浴,俗稱泡腳,屬於中醫足療法內容之一,用熱水泡泡腳,既解乏,又利於睡眠.我國民間流傳許多洗腳健身的說法,如"睡前洗腳,強似用藥","熱水洗腳,如吃補藥"等等, ...

國慶出行,別再穿「旅遊鞋」了!這7款經典又百搭,關鍵還不磨腳

國慶出行,別再穿「旅遊鞋」了!這7款經典又百搭,關鍵還不磨腳
國慶小長假即將到來,不少小夥伴已經準備好旅行攻略迫不及待想出去遊玩了.而攻略裡面除了要準備好好看的衣服,鞋子的選擇也十分重要,一雙能夠滿足國慶七天樂的鞋,不在乎有多大牌,而是以百搭耐穿為主. 對於大多 ...

能壓住不關AVX512的i7 11700K!這款喬思伯水冷的秘訣是RGB水管?

能壓住不關AVX512的i7 11700K!這款喬思伯水冷的秘訣是RGB水管?
前言: 相信很多玩DIY的小夥伴都知道,11代處理器有一個讓人聞風喪膽的指令集--AVX512F,對於絕大多數正常使用者而言,這個指令集其實沒有太大作用:可是對於散熱器來說,這個指令集就是妥妥的&qu ...

養生達人都愛用艾葉泡腳?教你正確用艾葉泡腳,輕鬆收穫4大好處

養生達人都愛用艾葉泡腳?教你正確用艾葉泡腳,輕鬆收穫4大好處
一直以來,泡腳都備受養生達人們的喜愛.確實,泡腳能夠放鬆身心,也讓人更容易入睡,幫助提高睡眠質量.除了單純用溫熱水泡腳,很多人為了提高養生效果,還會加入各種各樣的材料,例如很多人喜歡用的艾葉. 那麼, ...

我的母親何永秀/趙程

我的母親何永秀/趙程
母親因意外離開我們已快30年了.許多年來,總是隱隱想寫一些關於她的回憶,但也只是偶爾想一下,因忙於生計和懶惰一直也就沒有動筆.今年清明,在外地做事沒有去先人們的墳頭上祭奠.掛紙.說來也怪這段時間就白天 ...