sponsored links

關於資料中臺與資料倉庫的區別,你需要知道這些

編輯導讀:“中臺”是前臺和後臺的連結點,將業務共同的工具和技術予以沉澱。而中臺細分下來也有很多類目,比如資料中臺,很多人不知道它和資料倉庫、商業分析有什麼區別。本文作者對此進行了分析,與你分享。

關於資料中臺與資料倉庫的區別,你需要知道這些


“中臺”這個概念,是相對於前臺和後臺而生,是前臺和後臺的連結點,將業務共同的工具和技術予以沉澱。相對於業務中臺來講,資料中臺跟企業的業務有較強的關聯性,是企業業務和資料的沉澱,如果在煙囪林立的各財務業務系統之上搭建共享的資料中臺,其不僅能降低重複建設和減少煙囪式協作的成本,也是企業差異化競爭優勢所在。

然而,當說到資料中臺這裡,很多人就有了疑問,以前沒有資料中臺這個概念時,企業不是也建設了資料倉庫、商業分析之類的東西嗎?對比這個有什麼區別?不就是換了個概念和馬甲嗎?

一、資料中臺與數倉的區別

首先可以先看看專業的資料中臺的白皮書是怎麼說的:資料中臺是一站式解決平臺,從資料整合、大資料計算、資料治理、資料工具、資料模型、資料應用、市場整合完整一套綜合解決方案及產品系列。

關於資料中臺與資料倉庫的區別,你需要知道這些


而資料倉庫平臺逐步從BI報表為主到分析為主、到預測為主、再到操作智慧為目標。資料倉庫系統的作用能實現跨業務條線、跨系統的資料整合,為管理分析和業務決策提供統一的資料支援。

但資料中臺從某個意義來說也屬於數倉的一種,都是要把資料抽進來建立一個數據倉庫。但是兩者的資料來源和建立數倉的目標以及資料應用的方向都存在很大差異。

首先,從資料來源來說,資料中臺的資料來源期望是全域資料包括業務資料庫,日誌資料,埋點資料,爬蟲資料,外部資料等。資料的來源可以是結構化資料或者非結構化的資料。而傳統數倉的資料來源主要是業務資料庫,資料格式也是以結構化資料為主。

資料中臺不單單指系統或者工具,而是一個職能部門,透過一系列平臺、工具、流程、規範來為整個組織提供資料資產管理和服務的職能部門。資料中臺負責全域資料採集、資料資產加工和管理、並向前臺業務部門和決策部門提供資料服務。所以,資料中臺的核心應該是資料資產管理和資料賦能,通俗的講就是資料彈藥庫。

1. 資料來源不同

資料中臺的資料來源期望是全域資料,包括:業務資料庫,日誌資料,埋點資料,爬蟲資料,外部資料等,資料的來源可以是結構化資料或者非結構化的資料。

而傳統數倉的資料來源主要是業務資料庫,資料格式是以結構化資料為主。

2. 建立的目標不同

目標是為了融合整個企業的全部資料,打通資料之間的隔閡,消除資料標準和口徑不一致的問題。

資料中臺通常會對來自多方面的的基礎資料進行清洗,按照主題域概念建立多個以事物為主的主題域。比如會員域,商品域,渠道域,門店主題域等等。

關於資料中臺與資料倉庫的區別,你需要知道這些


資料中臺遵循三個One的概念:One Data, One ID, One Service,就是說資料中臺不僅僅是匯聚企業各種資料,而且讓這些資料遵循相同的標準和口徑,對事物的標識能統一或者相互關聯,並且提供統一的資料服務介面。就像做菜一樣,按照標準化的菜名,先把所有可能用到的材料都準備好。

而傳統的數倉主要用來做BI的報表,目的性很單一,只抽取和清洗相關需要使用到的基礎資料,進行建倉,然後再用來做領域分析,有的時候可能因為新增一張報表,就要從底層到上層再做一次加工和處理。

3. 資料應用方面不同

建立在資料中臺上的資料應用不僅僅只是面向於BI報表,更多面向營銷推薦,使用者畫像,AI決策分析,風險評估等。這些應用的特點比較輕,容易快速開發出來,因為重要的資料分析工作在資料中臺已經完成並且沉澱,所以之前工作成果都能被多個應用共享。

關於資料中臺與資料倉庫的區別,你需要知道這些


而傳統的資料倉庫主要是面向報表或者高階視覺化,資料應用的建設一般是面對相對確定的主題內容,在諸如資料建模,進行資料追蹤與探查,深度挖掘層面存在較大的侷限性。

4. 依賴平臺不同

資料中臺一般都是建立在分散式計算平臺和儲存平臺,理論上可以無限擴充平臺的計算和儲存能力。

而多數的傳統數倉工具只是建立在傳統關係資料庫和單一伺服器部署的基礎上,一旦資料量變大,很容易出現儲存、效率、計算的問題,其後續擴充存在較大的成本和時間。

二、資料中臺經歷的階段

事實上,阿里巴巴很早便開始運用中臺模式滿足業務需求,並於 2015 年正式提出中臺戰略。中臺戰略的原理是將不同業務通用的工具和技術加以沉澱,成立專門的中臺部門,這樣新的業務需求可以不再重新設計,避免因重複的功能建設和維護造成資源浪費。

構建靈活、多變的組織機制和業務機制是阿里巴巴建立資料中臺的戰略核心。各行業的領頭企業也開始對資料中臺、數字化轉型進行積極探索,力求以資料智慧的方式實現生產經營的智慧化和精細化管理。

2018 年 8 月末,騰訊宣佈組織架構變革,成立技術委員會,未來將打造技術中臺。與此同時,京東、華為、美團等不同業務領域的網際網路公司均著手改革組織架構,積極打通資料平臺,構建資料中臺。至此,資料中臺由概念逐漸變為現實,資料智慧賦能業務,用更低的成本、更高的效率為使用者服務的模式逐漸被認可,資料中臺得到進一步發展,掀起了一波數字化轉型的浪潮。

而我們從阿里資料中臺發展歷程,可以看到大概經歷以下4個階段:

  • 資料庫階段,主要是OLTP(聯機事務處理)的需求;
  • 資料倉庫階段,OLAP(聯機分析處理)成為主要需求;
  • 資料平臺階段,主要解決BI和報表需求的技術問題;
  • 資料中臺階段,透過系統來對接OLTP(事務處理)和OLAP(報表分析)的需求,強調資料業務化的能力;

那麼,資料中臺這個階段有什麼特徵?

其顯著的特徵就是資料量的指數級增長,從PB邁向了EB級別。

這個數量級的變化主要來源於IOT(物聯網)的發展起來,帶動了檢視聲(影片、影象、聲音)資料的增長,這些資料需要視覺計算技術、影象解析的引擎+影片解析的引擎+音訊解析的引擎來轉換成結構化資料;來源於線下要想和線上一樣,透過資料來改善業務,就要和線上一樣能做到行為可監測,資料可收集,這是前提。

線下最大量的就是檢視聲資料,依靠IOT技術和演算法的進步,最終會透過智慧端來自動化獲取資料;要使用這些資料,光有視覺演算法和智慧端也不行,還要有云來儲存和處理這些資料,以及打通其他領域的資料。

綜合這個階段特徵,我們看到依靠傳統的資料倉庫方法已經全然不能滿足企業大資料量、非結構化、分散式儲存的需求。還需要基於IOT裝置收集資料、基於雲端儲存資料、基於AI演算法和雲計算進行應用。

未來的資料中臺,一定是AI驅動的資料中臺。

這個中臺包括計算平臺+演算法模型+智慧硬體,幫助企業去打通業務資料,最終建立線上線下觸達和服務消費者的能力。中臺不僅僅是系統,亦是一套方法論,中臺最重要的價值在於從“管理線上”到“業務線上”。真正做到“一切業務資料化,一切資料業務化”。

本文由 @國雲資料 原創釋出於人人都是產品經理。未經許可,禁止轉載。

題圖來自Unsplash,基於CC0協議。

分類: 科技
時間: 2021-09-16

相關文章

雲棲大會即將啟幕,阿里雲資料中臺分論壇重磅登場

雲棲大會即將啟幕,阿里雲資料中臺分論壇重磅登場
一年一度的科技盛會"雲棲大會"即將啟幕! 誕生於2009年的雲棲大會,歷經十三載發展,逐漸成為科技創新的風向標,見證了中國雲計算崛起,科技創新,和數字經濟的蓬勃發展. 去年,疫情讓 ...

為什麼搭建資料中臺

為什麼搭建資料中臺
我理解的資料中臺 21世紀什麼東西最重要,答案有很多,人才.科技.流量等.我想說的還有一種就是資料.之前鬧得沸沸揚揚的滴滴美國上市的事件,現在還沒平息,其原因就是資料的問題.現在國家也非常重視資料保護 ...

中臺不是萬能藥

中臺不是萬能藥
大家好,我是Tom哥~ 今天跟大家聊聊中臺,歡迎留言討論 中臺最早是由阿里巴巴推動在國內火起來的,早在2015年,馬雲帶領阿里多位高管拜訪芬蘭著名的遊戲公司Supercell,看到平均一款遊戲落地只需 ...

曠視科技高階副總裁顧亮:智慧建築各子系統要互通,內部資料要打通
"我們認為一座智慧化建築實際上是一個迷你型的智慧城市.這個迷你版智慧城市要有五個素養:智慧辦公.智慧服務.智慧運營.智慧生活.超級大腦",近日在介紹曠視科技佈局城市物聯網思路時,曠 ...

抗美援朝傷亡資料統計:中美有20萬差距,怎樣才算美軍傷亡名單?

抗美援朝傷亡資料統計:中美有20萬差距,怎樣才算美軍傷亡名單?
抗美援朝傷亡資料統計:中美有20萬差距,怎樣才算美軍傷亡名單? 在如今的時代,中美之間的關係是世界上最重要的雙邊關係之一.中國和美國在國際中的地位是舉足輕重的,對世界的影響有目共睹.因此,近年來各個國 ...

招商租賃:資料治理平臺夯實數字化基礎
北京產業網際網路既肩負著再造數字經濟萬億級產業叢集的重要使命,也承擔著促進數字經濟與實體經濟融合應用的重要任務.為此,北京軟體和資訊服務業協會在<數字經濟應用場景-案例說>欄目中重磅推出產 ...

阿里研究院副院長安筱鵬:一文講透數字化的8個關鍵問題

阿里研究院副院長安筱鵬:一文講透數字化的8個關鍵問題
"寧可轉型升級死,絕不因循守舊活",這是廣聯達董事長刁志中振聾發聵的一句話.某種程度上,這代表了不少正在探索數字化轉型的企業家的真實心聲. 一場巨大的變革正在進行中:"數 ...

為什麼說資料管理的下一步是 DataOps
根據信通院資料,2019 年,我國資料產量總規模為 3.9ZB,同比增加 29.3%,佔全球資料總產量(42 ZB)的 9.3%.而 IDC 中國預測,2025 年中國大資料產生量有望增長至 48.6 ...

36氪首發 | SCRM服務商「群脈科技」獲兩輪合計近億元融資,將進一步拓展行業解決方案
作者 | 詠儀 編輯 | 蘇建勳 36氪獲悉,「群脈科技」正式宣佈近期連續獲得兩輪融資,金額合計近億元,最新一輪由興富資本領投. 截止到2021年3月,網際網路使用者數量11.62億,僅比2020年規 ...

7000字長文乾貨分享!華為數字化轉型與資料管理實踐

7000字長文乾貨分享!華為數字化轉型與資料管理實踐
本文涉及的完整資料PDF已幫你備好,可移步文末獲取 2017年華為提出了企業的新願景:"即把數字世界帶入每個人.每個家庭.每個組織,構建萬物互聯的智慧世界".同時, 華為公司提出了 ...

泛華:數字化觸發建築裝飾行業六大變革
在全球新一輪技術革命的推動下,特別是網際網路.大資料.雲計算.區塊鏈等數字科技的創新,正引發一系列產業跨越式革命,並重構生產關係和生產力.泛華集團建設有限公司(以下簡稱"泛華")認 ...

櫥電“合體”,德意智家在5G+AIoT科技新時代大有可為

櫥電“合體”,德意智家在5G+AIoT科技新時代大有可為
9月9日,德意集團召開新聞釋出會,宣佈旗下德意電器和麗博家居兩大實體板塊正式"合體",聚合全新"德意智家"品牌,以櫥櫃和廚電一體化發展之勢,全面進軍智慧家居領域 ...

一文從0到1掌握使用者畫像知識體系

一文從0到1掌握使用者畫像知識體系
一.初識使用者畫像 1. 使用者畫像 隨著使用者的一切行為資料可以被企業追蹤到,企業的關注點日益聚焦在如何利用大資料為經營分析和精準營銷服務:而要做精細化運營,首先要建立本企業的使用者畫像. 提到使用 ...

數字 綠色 融合——從中國質量獎榜單讀懂三個“訊號”
新華社杭州9月18日電 題:數字 綠色 融合--從中國質量獎榜單讀懂三個"訊號" 新華社記者屈凌燕.馬劍.魏一駿 在16至17日舉辦的中國質量(杭州)大會上,第四屆中國質量獎評選結 ...

“資料驅動,智造轉型”大健康產業鏈數字化轉型論壇舉辦
9月16-19日,2021中國工業網際網路大會暨粵港澳大灣區數字經濟大會在廣州琶洲舉行.大會以"數字驅動智造未來"為主題,聚焦製造業數字化轉型,搭建高階合作交流平臺,匯聚政產學研各 ...

淺議衛星通訊在油氣行業數字化轉型中的作用

淺議衛星通訊在油氣行業數字化轉型中的作用
從任正非去"挖煤"說起, 淺議衛星通訊在油氣行業數字化轉型中的作用 文 | 任佳熙 前言: 近期華為總裁任正非下礦534米再次成為熱搜,從第一座5G煤礦到"煤礦軍團&qu ...

工業網際網路技術中博會上“秀肌肉”助推大灣區產業“數字躍升”

工業網際網路技術中博會上“秀肌肉”助推大灣區產業“數字躍升”
中博會展覽現場 作者 樹根互聯 供圖 中新網廣東新聞9月18日電 (王堅)"2021中國工業網際網路大會暨粵港澳大灣區數字經濟大會"於16日至19日在廣州舉辦.該大會圍繞廣東20大 ...

中後臺產品設計難點:電商資料報表

中後臺產品設計難點:電商資料報表
電商系統同樣離不開資料報表.我前面分享了2篇,關於資料中臺.大資料平臺搭建. 你可以檢視 中後臺難點:大資料平臺產品設計關鍵點 中後臺案例拆解:資料中臺產品搭建關鍵設計 ▲ 電商大資料報表 上圖的銷售 ...

資料安全鐵幕落下 金融機構加速技術合規探索
本報記者 李暉 北京報道 隨著<資料安全法>正式施行以及<個人資訊保護法>的即將落地,針對資料安全領域的約束措施逐步"就位".在此背景下,受益於" ...