一、數(shù)據(jù)中臺(tái)從何而來

在談?wù)摂?shù)據(jù)中臺(tái)之前，不妨先看一下大數(shù)據(jù)的發(fā)展歷史

有跡可循的大數(shù)據(jù)思想萌芽，可追溯至1974年，當(dāng)時(shí)有學(xué)者在論文中首次提出了“大數(shù)據(jù)集”的概念，但一直到1991年，Bill Inmon出版了《建立數(shù)據(jù)倉(cāng)庫(kù)》一書，才真正算是在大數(shù)據(jù)領(lǐng)域有了被廣泛接受的“數(shù)據(jù)倉(cāng)庫(kù)”定義。隨后，在20世紀(jì)初，數(shù)據(jù)處理量達(dá)到TB級(jí)的情況下，數(shù)據(jù)處理、展現(xiàn)應(yīng)用于業(yè)務(wù)帶來的提升，學(xué)界的廣泛認(rèn)同和商界的快速產(chǎn)品化，證明了數(shù)據(jù)倉(cāng)庫(kù)的歷史意義與價(jià)值。

2003年，可以被認(rèn)定是大數(shù)據(jù)的第一個(gè)重要里程碑，在這一年，Google公開了一系列其內(nèi)部實(shí)踐的“海量數(shù)據(jù)”處理技術(shù)，也就是我們常說的Google三駕馬車——基于冗余存儲(chǔ)機(jī)制的分布式文件系統(tǒng)GFS、用于搜索索引計(jì)算的并行處理框架MapReduce、高效數(shù)據(jù)存儲(chǔ)模型BigTable，隨后便促進(jìn)產(chǎn)生了大家更為熟知的分布式系統(tǒng)基礎(chǔ)架構(gòu)——Hadoop。

后面的歷史便不多說了，本文的目的畢竟不是為了科普大數(shù)據(jù)，從大數(shù)據(jù)發(fā)展的編年史，也許能看出一些端倪，為什么數(shù)據(jù)中臺(tái)會(huì)在短短數(shù)年內(nèi)從默默無聞到炙手可熱。從2011年開始，大數(shù)據(jù)的發(fā)展仿佛進(jìn)入了高速公路，無論是國(guó)際知名組織，還是國(guó)家層面，都將大數(shù)據(jù)上升到戰(zhàn)略級(jí)地位。伴隨地位的提升，大數(shù)據(jù)領(lǐng)域的研究在廣度和深度上都不斷得到拓展，從早期以硬件、網(wǎng)絡(luò)為主的單一領(lǐng)域分類，擴(kuò)展到平臺(tái)化及場(chǎng)景化的數(shù)據(jù)倉(cāng)庫(kù)、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)科學(xué)等多元的領(lǐng)域分類。與此同時(shí)，數(shù)據(jù)倉(cāng)庫(kù)的概念正在被外延——衍生出“大數(shù)據(jù)平臺(tái)”、“商業(yè)智能”以及“數(shù)據(jù)湖”的“邏輯數(shù)據(jù)倉(cāng)庫(kù)”概念，數(shù)據(jù)處理量從TB級(jí)躍升至PB級(jí)，開源的Hadoop生態(tài)正式開始商業(yè)化，數(shù)據(jù)中臺(tái)在這個(gè)時(shí)期脫穎而出，也似乎并不突兀。

不過，無論是數(shù)據(jù)倉(cāng)庫(kù)還是大數(shù)據(jù)平臺(tái)，商業(yè)智能還是數(shù)據(jù)湖，其發(fā)展似乎一直伴隨著一面看不見的墻，那便是關(guān)于大數(shù)據(jù)價(jià)值的探索。首先我們先看看在當(dāng)時(shí)國(guó)內(nèi)外大數(shù)據(jù)領(lǐng)域的主要玩家都在干什么。

 

Amazon、Google、Microsoft、Oralce均在自身強(qiáng)勢(shì)業(yè)務(wù)之上，開啟商業(yè)化的云計(jì)算和大數(shù)據(jù)服務(wù)；Informatica聚焦大數(shù)據(jù)領(lǐng)域，推進(jìn)其SAAS化的大數(shù)據(jù)產(chǎn)品及平臺(tái)；大數(shù)據(jù)新貴Palantir，則在其助力美國(guó)政府抓捕本拉登而一戰(zhàn)成名的大數(shù)據(jù)風(fēng)控及其第三方數(shù)據(jù)服務(wù)上，不斷拓展數(shù)據(jù)應(yīng)用的邊界；回到國(guó)內(nèi)，阿里云、騰訊云、電信天翼云、華為云等均在云計(jì)算及大數(shù)據(jù)領(lǐng)域投入了大量人力和物力。在這個(gè)大數(shù)據(jù)發(fā)展的黃金期，幾乎所有的高科技企業(yè)都在思考一個(gè)問題：

海量數(shù)據(jù)作為大多數(shù)企業(yè)發(fā)展不可避免的一個(gè)趨勢(shì)之后，企業(yè)該怎么去應(yīng)用這部分?jǐn)?shù)據(jù)資產(chǎn)，會(huì)對(duì)其商業(yè)產(chǎn)生什么影響，如何使數(shù)據(jù)對(duì)企業(yè)產(chǎn)生正面的推動(dòng)而不是成為企業(yè)的負(fù)擔(dān)。

作為國(guó)內(nèi)的主要大數(shù)據(jù)玩家，阿里在2015年時(shí)提出了“大中臺(tái)、小前臺(tái)”的戰(zhàn)略，奠定了其內(nèi)部發(fā)展數(shù)據(jù)中臺(tái)的基礎(chǔ)。其實(shí)這件事情毋需過多挑戰(zhàn)，國(guó)內(nèi)有很多廠商懷疑數(shù)據(jù)中臺(tái)的價(jià)值或者認(rèn)為其是“新瓶裝舊酒”，但作為阿里數(shù)據(jù)中臺(tái)內(nèi)部建設(shè)和對(duì)外商業(yè)化的親歷者，筆者確實(shí)見識(shí)了阿里內(nèi)部數(shù)據(jù)中臺(tái)對(duì)其生態(tài)帶來的巨大推動(dòng)作用，也見到過其在對(duì)外做數(shù)據(jù)中臺(tái)商業(yè)化輸出時(shí)遇到的水土不服，為什么會(huì)產(chǎn)生這種現(xiàn)象，透過現(xiàn)象看本質(zhì)，接下來我們就從多個(gè)角度來看。

二、數(shù)據(jù)中臺(tái)的多視角解讀

從去年甚至更早開始，很多企業(yè)，包括互聯(lián)網(wǎng)企業(yè)和傳統(tǒng)企業(yè)，開始紛紛的提數(shù)字化轉(zhuǎn)型并建設(shè)自己的中臺(tái)模式，那就帶來這樣一個(gè)問題，就是數(shù)據(jù)中臺(tái)該如何定義，或者說該怎么理解它，包括我也跟數(shù)十家企業(yè)的溝通交流過程中，聽到過他們很多這樣的困惑，比如說數(shù)據(jù)中臺(tái)它是不是一個(gè)數(shù)倉(cāng)，或者數(shù)據(jù)湖，它究竟是一個(gè)技術(shù)體系，還是一個(gè)具象的產(chǎn)品或應(yīng)用，有很多不同的理解。

我們可以先了解一下阿里對(duì)數(shù)據(jù)中臺(tái)的定義。

數(shù)據(jù)中臺(tái)是一套數(shù)據(jù)資產(chǎn)化和價(jià)值化體系。它致力于構(gòu)建既“準(zhǔn)”且“快”的“全”“統(tǒng)”“通”的“智能”大數(shù)據(jù)體系；它在數(shù)據(jù)賦能業(yè)務(wù)中形成業(yè)務(wù)模式，在推進(jìn)數(shù)字化轉(zhuǎn)型中實(shí)現(xiàn)價(jià)值。

不難看出，阿里的數(shù)據(jù)中臺(tái)主要核心將其定位為數(shù)據(jù)資產(chǎn)化和數(shù)據(jù)價(jià)值化，那么阿里究竟是怎么做的呢？

上圖是阿里數(shù)據(jù)中臺(tái)發(fā)展至今的一張全景圖，大家應(yīng)該在云棲大會(huì)等多個(gè)場(chǎng)合有看到過這張圖。阿里數(shù)據(jù)中臺(tái)的整體核心其實(shí)是位于中間的三層數(shù)據(jù)中心：垂直數(shù)據(jù)中心、公共數(shù)據(jù)中心和萃取數(shù)據(jù)中心。

• 垂直數(shù)據(jù)中心：阿里通過將包括淘寶、天貓、聚劃算、阿里媽媽廣告、優(yōu)酷土豆、高德等來自不同BU的數(shù)據(jù)進(jìn)行采集，在清洗和結(jié)構(gòu)化處理后形成垂直數(shù)據(jù)中心

• 公共數(shù)據(jù)中心：在垂直數(shù)據(jù)中心已采集數(shù)據(jù)作為原料的基礎(chǔ)之上，采用維度建模的方式，以業(yè)務(wù)過程作為粒度切分，處理成不因業(yè)務(wù)特別是組織架構(gòu)變動(dòng)而輕易推翻的數(shù)據(jù)中間層，由DWD明細(xì)層和DWS匯總層共同構(gòu)成

• 萃取數(shù)據(jù)中心：更進(jìn)一步以客觀業(yè)務(wù)實(shí)體（如人、貨、場(chǎng)、企業(yè)等）為對(duì)象，圍繞其建立起以統(tǒng)計(jì)指標(biāo)、標(biāo)簽、關(guān)系等數(shù)據(jù)為主的數(shù)據(jù)體系，作為直接面向業(yè)務(wù)的萃取數(shù)據(jù)中心

 

僅從這三層數(shù)據(jù)中心構(gòu)成的數(shù)據(jù)資產(chǎn)體系來看，阿里的架構(gòu)似乎并無太多先進(jìn)之處，除萃取數(shù)據(jù)中心外，垂直數(shù)據(jù)中心和公共數(shù)據(jù)中心都能在數(shù)倉(cāng)建模中找到其對(duì)應(yīng)的架構(gòu)，即便是萃取數(shù)據(jù)中心，在一些企業(yè)的商業(yè)智能或者大數(shù)據(jù)平臺(tái)層面也能找到相應(yīng)的雛形。所以，阿里數(shù)據(jù)中臺(tái)的核心競(jìng)爭(zhēng)力究竟是什么呢？

答案就是——“方法論”

阿里在建設(shè)自身數(shù)據(jù)中臺(tái)的同時(shí)，花大精力對(duì)其數(shù)據(jù)架構(gòu)、技術(shù)、流程、組織等實(shí)踐形成了一套完整的方法論，并作為其不斷迭代的指導(dǎo)性理論——OneData，其中包括OneModel（用于指導(dǎo)數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)開發(fā)的規(guī)范性方法論）、OneID（用于指導(dǎo)打破部門墻的數(shù)據(jù)連通，在業(yè)務(wù)對(duì)象層面形成直接面向業(yè)務(wù)的數(shù)據(jù)體系規(guī)范性方法論）和OneService（用于指導(dǎo)如何提供數(shù)據(jù)服務(wù)，包括質(zhì)量安全、資產(chǎn)管理、數(shù)據(jù)交換、組織協(xié)作等流程的規(guī)范性方法論）。

有了這套方法論，對(duì)于阿里來講，無論對(duì)其自身數(shù)據(jù)中臺(tái)建設(shè)，還是對(duì)外輸出解決方案，都提供了非常大的助力。

除了阿里，我們?cè)倏纯雌渌髽I(yè)是怎么做的。

無論是華為、OPPO為代表的高科技制造行業(yè)，還是網(wǎng)易、滴滴為代表的互聯(lián)網(wǎng)行業(yè)，都紛紛在自建或者提出了數(shù)據(jù)中臺(tái)的解決方案，但是我們又發(fā)現(xiàn)，每一家企業(yè)似乎對(duì)數(shù)據(jù)中臺(tái)都有自己不同的理解，這點(diǎn)從四家企業(yè)的數(shù)據(jù)中臺(tái)架構(gòu)圖就可以看出。

看到這里，是不是大家對(duì)數(shù)據(jù)中臺(tái)的定義又更模糊了呢。接下來，我們站在企業(yè)用戶的角度，從三個(gè)維度分析企業(yè)理解的或者說想要的數(shù)據(jù)中臺(tái)到底是什么樣子的。

1. 從管理視角看——為什么是數(shù)據(jù)中臺(tái)而不是數(shù)據(jù)XX

2. 從技術(shù)視角看——數(shù)據(jù)中臺(tái)與數(shù)倉(cāng)、數(shù)據(jù)湖到底有沒有本質(zhì)區(qū)別

3. 從業(yè)務(wù)視角看——企業(yè)需要什么樣子的數(shù)據(jù)中臺(tái)

 

1、從管理視角看——為什么是數(shù)據(jù)中臺(tái)而不是數(shù)據(jù)XX

站在企業(yè)用戶角度，尤其是中小企業(yè)老板，有一個(gè)非常關(guān)鍵的問題：“我到底需不需要數(shù)據(jù)中臺(tái)？”

當(dāng)商務(wù)同學(xué)費(fèi)盡心思約到了客戶老板，售前架構(gòu)師熬了幾個(gè)通宵準(zhǔn)備了長(zhǎng)篇大論的介紹材料，產(chǎn)品技術(shù)準(zhǔn)備數(shù)據(jù)和環(huán)境，搭建了完善的演示平臺(tái)，一切似乎都萬事俱備，但最后老板聽的昏昏欲睡，講完后拍拍手客套幾句，最后仍然不了了之。

相信很多toB的同學(xué)都遇到過吧，為什么會(huì)出現(xiàn)這種現(xiàn)象，因?yàn)榻^大多數(shù)的企業(yè)老板（尤其是傳統(tǒng)企業(yè)）一般不會(huì)關(guān)心你講的是信息化還是云化，是大數(shù)據(jù)還是AI。但是正視威脅，業(yè)務(wù)競(jìng)爭(zhēng)力的提升，以及通過機(jī)器長(zhǎng)期吸納業(yè)務(wù)專家的經(jīng)驗(yàn)來優(yōu)化人才結(jié)構(gòu)，最終形成一個(gè)有競(jìng)爭(zhēng)力的組織，這類戰(zhàn)略和組織的問題，老板一定關(guān)心。

很多老板都在喊數(shù)字化轉(zhuǎn)型，那么怎么轉(zhuǎn)，轉(zhuǎn)成什么樣？恐怕大多數(shù)的老板都回答不上來。

 

數(shù)字化企業(yè)是以客戶中心為基礎(chǔ)，以科技為引領(lǐng)，在統(tǒng)一愿景下建立了實(shí)時(shí)戰(zhàn)略機(jī)制和敏捷生態(tài)的生機(jī)型組織。

這段引用自ThoughtWorks對(duì)于數(shù)字化企業(yè)的定義，私以為非常準(zhǔn)確，在當(dāng)今互聯(lián)網(wǎng)時(shí)代，客戶是商業(yè)戰(zhàn)場(chǎng)的中心，而為了快速響應(yīng)客戶需求，必須依靠平臺(tái)化的力量才可以事半功倍。尤其是隨著互聯(lián)網(wǎng)巨頭以平臺(tái)的方式對(duì)各行各業(yè)帶來的巨大影響，越來越多的企業(yè)主有了這樣的危機(jī)意識(shí)：“自家企業(yè)要么平臺(tái)化，要么成為平臺(tái)的一部分”。

那么如何使自己的企業(yè)能夠適應(yīng)平臺(tái)化，在企業(yè)的數(shù)字化轉(zhuǎn)型中，客戶正在變得越來越重要，不斷快速響應(yīng)、探索、挖掘客戶的需求，才是企業(yè)得以生存和持續(xù)發(fā)展的關(guān)鍵因素。當(dāng)企業(yè)與客戶的觸點(diǎn)越來越多，可以利用的數(shù)據(jù)越來越豐富，傳統(tǒng)數(shù)倉(cāng)或數(shù)據(jù)平臺(tái)無法整合和打通擁有如此復(fù)雜業(yè)務(wù)邏輯的數(shù)據(jù)；企業(yè)傳統(tǒng)的前臺(tái)+后臺(tái)的架構(gòu)也已經(jīng)無法做到對(duì)業(yè)務(wù)的快速響應(yīng)；原有信息化系統(tǒng)與業(yè)務(wù)KPI脫節(jié)的現(xiàn)象也早已不能滿足數(shù)字化企業(yè)的管理需要。

數(shù)據(jù)中臺(tái)，在這個(gè)角度，正好與企業(yè)的需要不謀而合。

數(shù)據(jù)中臺(tái)是為前臺(tái)業(yè)務(wù)而生，它提供了一種數(shù)據(jù)與業(yè)務(wù)之間協(xié)作發(fā)生化學(xué)反應(yīng)的最佳模式。數(shù)據(jù)中臺(tái)形成可共享復(fù)用的數(shù)據(jù)資產(chǎn)，并且擁有與業(yè)務(wù)更近的關(guān)系（一般情況下的數(shù)據(jù)中臺(tái)是要扛業(yè)務(wù)KPI的），讓企業(yè)首次有了數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的能力，以及隨之帶來的對(duì)組織和人才結(jié)構(gòu)的優(yōu)化，這些才是數(shù)據(jù)中臺(tái)真正的競(jìng)爭(zhēng)力。

數(shù)據(jù)中臺(tái)是買不來的，雖然說離不開各種自研或采購(gòu)的工具平臺(tái)，但是，唯有管理者認(rèn)識(shí)到，只有建立一個(gè)數(shù)字化、敏捷化，擁有快速業(yè)務(wù)響應(yīng)能力的組織，才有資格進(jìn)入這場(chǎng)戰(zhàn)爭(zhēng)；做到尊重客戶，不惜調(diào)整自己顛覆自己來響應(yīng)客戶的企業(yè)，才能在這場(chǎng)以客戶為中心的商業(yè)戰(zhàn)爭(zhēng)中得以生存和發(fā)展；而擁有一個(gè)強(qiáng)大的，足以隨時(shí)快速和精準(zhǔn)提供源源不斷彈藥的數(shù)據(jù)中臺(tái)，才有可能贏得這場(chǎng)戰(zhàn)爭(zhēng)。

如果一個(gè)企業(yè)主沒有認(rèn)識(shí)到這一點(diǎn)，無論各大云計(jì)算或大數(shù)據(jù)廠商提供的產(chǎn)品多么智能，解決方案多么強(qiáng)大，都無法打通老板的心。

所以與其說是某某廠商提供了“數(shù)據(jù)中臺(tái)”，倒不如說是企業(yè)用戶自己命名了“數(shù)據(jù)中臺(tái)”。

2、從技術(shù)視角看——數(shù)據(jù)中臺(tái)與數(shù)倉(cāng)、數(shù)據(jù)湖到底有沒有本質(zhì)區(qū)別

特性	傳統(tǒng)數(shù)倉(cāng)	數(shù)據(jù)湖	數(shù)據(jù)中臺(tái)
數(shù)據(jù)	結(jié)構(gòu)化數(shù)據(jù)為主	結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)	結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)
Schema	設(shè)計(jì)在數(shù)據(jù)倉(cāng)庫(kù)實(shí)施之前（Schema-on-write）	寫入在分析時(shí)（Schema-on-read）	設(shè)計(jì)以邏輯模型進(jìn)行，在數(shù)據(jù)使用前寫入和處理數(shù)據(jù)（混合方式）
性價(jià)比	較高存儲(chǔ)成本	較低存儲(chǔ)成本	較低存儲(chǔ)成本
數(shù)據(jù) 質(zhì)量	可以作為重要事實(shí)依據(jù)的高度監(jiān)管數(shù)據(jù)	任何可以或無法進(jìn)行監(jiān)管的數(shù)據(jù)（如原始數(shù)據(jù)）	以業(yè)務(wù)為導(dǎo)向，任何可控制、可計(jì)量、可變現(xiàn)的數(shù)據(jù)（數(shù)據(jù)資產(chǎn)）
數(shù)據(jù) 加工 處理	以SQL、UDF為主，按需加工，主要處理離線數(shù)據(jù)	以SQL、UDF為主，按需加工，離線和實(shí)時(shí)數(shù)據(jù)均有	以數(shù)據(jù)模型為主，通過產(chǎn)品工具自動(dòng)化處理
數(shù)據(jù) 訪問 方式	通過標(biāo)準(zhǔn)化SQL或BI工具	標(biāo)準(zhǔn)化SQL、BI工具或大數(shù)據(jù)分析工具	標(biāo)準(zhǔn)化SQL、BI工具、大數(shù)據(jù)分析工具或者任何支持API對(duì)接方式的程序或系統(tǒng)
數(shù)據(jù) 資產(chǎn) 管理	無	無	有
數(shù)據(jù) 產(chǎn)品 開發(fā)	無	無	有
使用者	數(shù)據(jù)分析師	數(shù)據(jù)分析師、數(shù)據(jù)開發(fā)人員和數(shù)據(jù)科學(xué)家等專業(yè)人員	業(yè)務(wù)人員、專業(yè)人員

從技術(shù)視角看，數(shù)倉(cāng)、數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)的區(qū)別主要在于其數(shù)據(jù)加工處理、數(shù)據(jù)提供服務(wù)以及面向?qū)ο蠓矫娴母淖?。下面我們分別來看一下其之間的一些差異和對(duì)比。

先看數(shù)倉(cāng)和數(shù)據(jù)中臺(tái)，20多年前，數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)，當(dāng)時(shí)主要是應(yīng)用于大型商業(yè)企業(yè)，幫助其高管做分析和決策，其展現(xiàn)形式更多是以報(bào)表方式實(shí)現(xiàn)。傳統(tǒng)的數(shù)倉(cāng)還是以TD，Oracle，IBM/DB2等傳統(tǒng)數(shù)據(jù)庫(kù)為主, 由于受限于數(shù)據(jù)的處理能力，很少有EDW的數(shù)據(jù)容量超過1TB。

傳統(tǒng)數(shù)倉(cāng)的基本特性可以概括為是一個(gè)面向主題的、集成的、具有高度監(jiān)管性的一體化的用于支持管理人員決策的數(shù)據(jù)集合。

而數(shù)據(jù)中臺(tái)首先在體系架構(gòu)上與數(shù)倉(cāng)就有很大的不同，數(shù)據(jù)中臺(tái)是由多系統(tǒng)組成的，其計(jì)算和存儲(chǔ)平臺(tái)是建立在分布式系統(tǒng)之上，以滿足不同業(yè)務(wù)需求和高并發(fā)高擴(kuò)展性需求。除了計(jì)算和存儲(chǔ)平臺(tái)外，一般數(shù)據(jù)中臺(tái)還應(yīng)包含數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)建模、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)治理以及數(shù)據(jù)服務(wù)等多個(gè)組件，通過多個(gè)維度組件形成一整套方案。

再看數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)，數(shù)據(jù)湖的概念興起也是近幾年才出現(xiàn)，最早是在 2011 年由 Dan Woods 提出

數(shù)據(jù)湖是一個(gè)集中化存儲(chǔ)海量的、多個(gè)來源，多種類型數(shù)據(jù)，并可以對(duì)數(shù)據(jù)進(jìn)行快速加工，分析的平臺(tái)，本質(zhì)上是一套先進(jìn)的企業(yè)數(shù)據(jù)架構(gòu)。

數(shù)據(jù)湖的最初設(shè)計(jì)是為了作為數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)中轉(zhuǎn)區(qū)域，它的架構(gòu)和理念是把原先不存儲(chǔ)的基礎(chǔ)數(shù)據(jù)也存儲(chǔ)起來，匯總各個(gè)數(shù)據(jù)源的數(shù)據(jù)方便以后的數(shù)據(jù)分析和查詢，因此數(shù)據(jù)湖是以數(shù)據(jù)的聚集、加工為目的數(shù)據(jù)資源池。當(dāng)然后來的數(shù)據(jù)湖發(fā)展，也延伸出作為ETL和自助分析平臺(tái)為目的的數(shù)據(jù)湖，但是數(shù)據(jù)湖對(duì)比數(shù)據(jù)中臺(tái)仍有很多不足，比如說缺乏數(shù)據(jù)治理和元數(shù)據(jù)管理等。

不過，兩者更大的區(qū)別，還是在于其傳導(dǎo)的建設(shè)理念上，數(shù)據(jù)中臺(tái)強(qiáng)調(diào)方法論、組織和工具的建設(shè)，強(qiáng)調(diào)數(shù)據(jù)賦能業(yè)務(wù)，通過中臺(tái)模式更快更好的支持百花齊放的數(shù)據(jù)應(yīng)用建設(shè)。

那么，數(shù)據(jù)中臺(tái)、數(shù)倉(cāng)和數(shù)據(jù)湖究竟有沒有本質(zhì)上的區(qū)別呢？

其實(shí)它們并不是一個(gè)類型和維度的概念，沒有直接的可比性，對(duì)于現(xiàn)在數(shù)據(jù)中臺(tái)的一些批評(píng)和質(zhì)疑，其實(shí)在數(shù)據(jù)湖概念出來之時(shí)，也一樣有很多的質(zhì)疑，感興趣的同學(xué)可以看一下這篇文章："Are Data Lake Fake News?"。

說到底，三者都是為企業(yè)提供數(shù)據(jù)計(jì)算、存儲(chǔ)和應(yīng)用的平臺(tái)，最終各種平臺(tái)的目的都是要更好地服務(wù)于業(yè)務(wù)。數(shù)據(jù)中臺(tái)概念的產(chǎn)生，正是源于企業(yè)用戶對(duì)于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖更深層次的期望，企業(yè)用戶希望數(shù)據(jù)中臺(tái)距離業(yè)務(wù)更近，能更快速的響應(yīng)業(yè)務(wù)需求和滿足業(yè)務(wù)應(yīng)用。

3、從業(yè)務(wù)視角看——企業(yè)需要什么樣子的數(shù)據(jù)中臺(tái)

通過企業(yè)數(shù)據(jù)中臺(tái)項(xiàng)目招標(biāo)書，以及數(shù)據(jù)中臺(tái)研究報(bào)告，我將其中涉及業(yè)務(wù)需求部分，通過詞云熱度分析，可以看到企業(yè)對(duì)數(shù)據(jù)中臺(tái)建設(shè)的需求，主要是集中在以下幾個(gè)核心訴求上：

• 業(yè)務(wù)價(jià)值

• 數(shù)據(jù)服務(wù)

• 部門壁壘

• 生產(chǎn)力

• 統(tǒng)一數(shù)據(jù)資產(chǎn)

• 打通數(shù)據(jù)孤島

• 業(yè)務(wù)場(chǎng)景

• 賦能業(yè)務(wù)

• 數(shù)據(jù)管理

• 數(shù)據(jù)分析

• 精準(zhǔn)營(yíng)銷

• 智能算法

 

其中最常被提的便是提升業(yè)務(wù)價(jià)值、提供數(shù)據(jù)服務(wù)和打破部門壁壘，這也正代表了多數(shù)企業(yè)對(duì)數(shù)據(jù)中臺(tái)的真正需求：

1. 提升業(yè)務(wù)價(jià)值，一家企業(yè)往往在其領(lǐng)域耕耘了數(shù)年甚至數(shù)十年，這些有成有敗的業(yè)務(wù)經(jīng)驗(yàn)，如何通過數(shù)據(jù)的方式來指導(dǎo)企業(yè)在未來的業(yè)務(wù)中正確決策。數(shù)據(jù)中臺(tái)通過企業(yè)全域數(shù)據(jù)的整合和打通，沉淀企業(yè)數(shù)據(jù)形成數(shù)據(jù)業(yè)務(wù)模型，展現(xiàn)形式也許并不是特別重要，無論單純的數(shù)據(jù)形式或者報(bào)表形式，業(yè)務(wù)的邏輯或者故事才是最重要的，讓數(shù)據(jù)真正成為業(yè)務(wù)的驅(qū)動(dòng)力而不是冷冰冰的數(shù)字。

2. 提供數(shù)據(jù)服務(wù)，企業(yè)希望通過數(shù)據(jù)中臺(tái)，來建立起統(tǒng)一的數(shù)據(jù)服務(wù)出口，避免數(shù)據(jù)口徑不一致在業(yè)務(wù)上導(dǎo)致的決策失誤，這個(gè)數(shù)據(jù)服務(wù)應(yīng)該是多面手，既能讓不懂技術(shù)的業(yè)務(wù)人員能夠方便的通過數(shù)據(jù)服務(wù)獲取信息，也需要考慮到專業(yè)技術(shù)人員，滿足其在數(shù)據(jù)分析、挖掘、以及建設(shè)數(shù)據(jù)應(yīng)用的需要。

3. 打破部門壁壘，這個(gè)是每個(gè)企業(yè)都最為頭疼的難題了，大多數(shù)企業(yè)中，數(shù)據(jù)的產(chǎn)權(quán)是分布在不同的部門手里，擁有優(yōu)質(zhì)數(shù)據(jù)的部門不愿意分享，因?yàn)槠湔J(rèn)為別的部門數(shù)據(jù)對(duì)自己無甚助力，沒有優(yōu)質(zhì)數(shù)據(jù)的部門苦于無數(shù)據(jù)分享，但是卻是組織里最需數(shù)據(jù)共享的一方（先富帶動(dòng)后富，看來不僅在社會(huì)制度層面，在企業(yè)層面也是一個(gè)大難題）。數(shù)據(jù)中臺(tái)在技術(shù)層面，通過數(shù)據(jù)資產(chǎn)中心的建立，首先對(duì)于各部門持有數(shù)據(jù)進(jìn)行規(guī)范和治理，然后通過打通并對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行清晰的界定和量化，為管理提供了有效基礎(chǔ)去促進(jìn)各部門數(shù)據(jù)之間的共享，然后，就要祭出數(shù)據(jù)中臺(tái)的核心——方法論，或者說是管理規(guī)范也好，通過協(xié)作、激勵(lì)、懲罰等多手段并用，來實(shí)現(xiàn)數(shù)據(jù)的共享共榮。

 

三、小結(jié)

可以解答最初的問題了，數(shù)據(jù)中臺(tái)究竟是什么，或者說企業(yè)想要的數(shù)據(jù)中臺(tái)究竟是什么樣子的。數(shù)據(jù)中臺(tái)不是技術(shù)體系，也不是一個(gè)具象的產(chǎn)品工具，它沒有標(biāo)準(zhǔn)化的架構(gòu)，但是一個(gè)成功的數(shù)據(jù)中臺(tái)必然有其核心要素：

• 數(shù)據(jù)中臺(tái)不是純粹的技術(shù)定義，應(yīng)是管理+技術(shù)+業(yè)務(wù)的混合輸出

• 數(shù)據(jù)中臺(tái)應(yīng)該是數(shù)據(jù)資產(chǎn)的載體，提供基礎(chǔ)的計(jì)算和存儲(chǔ)平臺(tái)，使數(shù)據(jù)可存可查可復(fù)用可共享可變現(xiàn)

• 數(shù)據(jù)中臺(tái)存儲(chǔ)的每一筆數(shù)據(jù)都理應(yīng)有業(yè)務(wù)的價(jià)值，所以需要完善的數(shù)據(jù)治理體系對(duì)其進(jìn)行規(guī)范和管理

• 數(shù)據(jù)中臺(tái)應(yīng)提供友好、自動(dòng)化的工具來降低數(shù)據(jù)開發(fā)處理的門檻，讓業(yè)務(wù)專注于業(yè)務(wù)

• 數(shù)據(jù)中臺(tái)的持續(xù)演進(jìn)離不開數(shù)據(jù)運(yùn)營(yíng)，在數(shù)據(jù)資產(chǎn)管理層面需要為管理思路提供必要的基礎(chǔ)，如滿足ROI的衡量

• 數(shù)據(jù)中臺(tái)作為統(tǒng)一的數(shù)據(jù)出口，應(yīng)在數(shù)據(jù)服務(wù)及消費(fèi)的方式上滿足多種需要，并有盡量?jī)?yōu)秀的查詢性能

• 數(shù)據(jù)中臺(tái)對(duì)比平臺(tái)級(jí)系統(tǒng)建設(shè)更強(qiáng)調(diào)能力的輸出，應(yīng)有支撐數(shù)據(jù)探索、數(shù)據(jù)應(yīng)用開發(fā)、智能化算法的能力或服務(wù)

• 數(shù)據(jù)中臺(tái)需要與之配套的跨業(yè)務(wù)和技術(shù)的組織以及人才結(jié)構(gòu)，需要為業(yè)務(wù)主動(dòng)提供數(shù)據(jù)服務(wù)而非被動(dòng)的需求響應(yīng)

• 數(shù)據(jù)中臺(tái)需要指導(dǎo)方向的方法論，其建設(shè)和實(shí)施上不能再只是滿足建設(shè)起一套IT系統(tǒng)，搭建起指導(dǎo)方向和持續(xù)演進(jìn)的方法論才能事半功倍

 

最后，別再糾結(jié)我需要不需要數(shù)據(jù)中臺(tái)，我建設(shè)的是不是數(shù)據(jù)中臺(tái)，或者數(shù)據(jù)中臺(tái)這個(gè)概念和名字了，你建，或者不建，它都在那里，不來不去。