談談企業資料分析能力金字塔，你們處在哪一級？
今天分享一篇企業資料分析的“掃盲文”，涵蓋了企業做資料分析的底層基礎到戰略規劃，對於不瞭解資料分析的外行，也能一文讀懂！
全文6500字，讀完10分鐘！
寫這篇文章來源於兩個故事：
故事一：一位在網際網路行業做資料庫架構多年的朋友一起吃飯，問起我現在在做什麼，我說自己在做醫療方面的資料分析，朋友笑，說：你有很多資源啊，只要你能拿到電子病例的資料，就能分析很多東西了……我臉上的微笑表情瞬間僵化！
故事二：當時為內蒙一個企業做上游原材料供應商的資料管理項目，當時我們拿到的只是該企業小部分供應商的資料，下一階段計劃拿到其全國供應商的相關資料給該企業進行管理支援。有一天，我們的項目負責人很興奮，高興地對我說：後面我們拿到所有供應商的資料後，我們做的就是“真正的大數據”了，你要考慮一下後面的大數據分析如何做啊……我臉上的微笑再一次僵化！
大家覺得以上兩個故事如何？反正我當時內心是一萬頭羊駝奔過~~
類似的“外行人看熱鬧”的情況在我工作中碰到很多，很多企業老闆、客戶以及領導拿著資料”“畫藍圖”，但對企業資料分析的理解淺薄令人難以置信，以為有了資料就是萬能的，估計很多人都有同感。
所以也就萌生了寫這篇文章的想法，向不瞭解資料分析體系建設的朋友們解釋一下：資料分析到底都包括些什麼？從完成資料採集到做出資料產品，到底有多遠的路要走？
1、資料分析本身是一個過程
資料分析是企業的一種能力，資料分析本身是一個過程，資料分析的本質是一種思想。
企業利用這一過程將資料中的資訊提取出來，進行處理、識別、加工、呈現，最後成為指導企業經營管理的知識和智慧。因而，企業利用這一過程的成熟程度，決定了企業使用資料的有效程度。
在我看來，從拿到資料到將資料中的知識提煉成人類的智慧，這是一個很長的過程，有可能一年甚至幾年。
首先，想要分析資料你要獲取資料。獲取資料這個過程如果是線上還相對容易，如果是線下就非常複雜。
其次，得到資料之後，如何整理才能讓資料變成資訊，也是個“技術活”。這裡涉及到資料的清洗、整理、關聯等等問題。
再次，資料整理得到的資訊是海量的，需要經過加工、提取、抽象等操作，提煉成為各項知識被人腦理解、吸收。這個過程就涉及到各種分析方法的使用，而且這也是個隨著對業務認識的加深而逐漸複雜的過程，金融領域的風控模型、宏觀經濟領域的福利模型等等，都是發展多年並逐步演進的例子。
最後，人們在各個業務領域通過資料得到知識，在很多情況下可以重複應用在不同的領域，並與其他領域的知識相融合，形成新的生產生活方式。每個領域的知識內容如何相互融合，也是一個需要長期實踐和探索的過程。
做個簡單的比喻：
採集到的原始資料就像是一堆堆食材，沒有任何整合。資料處理的過程就是挑揀菜，把每種菜都挑揀開，再通過洗切使其成為可加工和食用的食材。
每種菜在在搭配上都有講究，比如怎麼配菜，餐桌上怎麼安排，冷菜，熱菜、炒菜、湯品等等。我們會按照圖紙（就是資料分析體系）將不同的菜品搭配。
一桌盛宴煮完後，怎麼吃就要看食客們的安排了~~
那麼，我們就來看看企業到底要做些什麼，才能完成從資料採集到智慧積累這一過程。
2、企業資料能力層級
企業的資料分析能力層級大概可以分為這麼7級：
可能有同行會對這個金字塔的層級不認同，而且大部分專家也認為這幾個部分是平級關係，不存在高低關係……我這裡這樣列出來只是為了說明“要做到每個層級的水平，該層級以下的內容都是支撐這些層級的必要條件”而已。
2.1 基礎IT系統
最底層的”基礎IT系統”是一切資料分析的基礎，因為它最重要的作用就是完成“資料採集”。
這裡主要指的就是我們各個企業在實際生產中使用的軟體系統及其配套的硬體裝置，如企業各業務系統，財務管理軟體，CRM系統；硬體裝置諸如醫院裡的醫學影像裝置和其他感測器、探測器等，這些系統解決了我們口中的“資料採集”問題，正是因為有了這些基礎的IT系統，才能將企業的所有一切數位化、可度量~~
解決了最基本的“資料採集”問題之後，是不是意味這我們就有資料了呢？
當然不是！從資料採集系統中拿到的資訊有這樣幾個特點：割裂的、碎片化的、無序的，它們必須經過處理之後才能用於使用，因而我們需要進入到下一個階段“資料集中管控與標準化”。
2.2 資料集中管控與標準化
在“資料集中管控與標準化”這一層級中，我們要實現的是打破資料壁壘，讓資料能夠正常地在企業內流動。這一階段的工作並不只是“資料集中”和“資料標準化”兩件事情，需要做的內容大概包括：
1、 資料清理
這個步驟解決的問題是將系統採集到的內容轉化為人類能夠理解的資料內容，主要有兩個方面：一是清理原始資料，使之完整、乾淨無雜質；二是將採集到的一些非結構化資料、編碼資訊轉化為人能看懂的文字、數字等資料。
2、 資料邏輯和資料結構的搭建
每個系統中的資料描述的都只是企業業務流程中的一部分，因此梳理業務流程，按照業務流程找到各個系統之間資料的銜接點，從而實現多領域資料的關聯。
第一步，根據業務邏輯，需要將資料分別劃分為多少類？每一類的欄位、緯度、統計週期等都是什麼樣的？每一類資料需要多少層彙總？……這些問題首先將資料從採集的清單分離出來，成為一個個資料體系；
第二步，在考慮資料關聯邏輯方面，需要考慮三個方面：
1） 關聯使用的“主鍵”需要在各個系統中實現統一，即在各個相關的系統中，對於同一內容的同一主鍵是相同的，例如：在電信系統中，使用者ID是個在所有相關係統中可以唯一標識使用者的主鍵，而非手機號碼；
2） 各個系統中資料的時間顆粒度統一才能保證主鍵關聯的有效使用，例如表格A是每日最新資料，表格B是每日資料，則使用時就要在時間上進行限制：表格A中的日期=表格B中最大日期，而且這種情況下，要想查詢A表中的歷史資料就無法查到；
3） 各類資料在業務上存在相互制約、相互影響的關係，這種關係也要在多系統的資料關聯中體現出來，例如行銷活動中的活動商品數量受到庫存商品數量的限制，在行銷活動執行過程中，每增加一單活動商品銷售量，庫存商品數就要進行相應的減少，若不做相應的觸發變更，多系統資料融合也會意義大減。
2.3 BI報表與資料視覺化
解決了資料關聯和標準化的問題之後，我們下一步要解決的問題是：如何能讓大家看到資料？
最簡單直接的方法是“BI報表”。對，就是按照日常業務使用習慣，構建各種表格，在表格中填寫大量的資料。有的企業是手工製作報表，有的企業使用報表製作軟體，有的企業則進入到了資料分析視覺化階段，通過BI等分析工具下放資料分析的權利，幫助業務快速取數快速出報表，甚至自主的做一些分析。
由報表工具FineReport[/url製作
[url=https://www.finereport.com/tw/products/trial]免費試用FineReport10.0>
從“基礎IT系統”到“BI報表及資料視覺化”，前三個層級從某些方面而言，都是完成資料分析和資料應用工作的基礎。對於一個企業來說，完成這三個層級的方式可以是手工形式的，也可以是本地系統化的，更可以是雲端化的，但是無論如何只有在一定程度上具備了上述三個層級的能力，才能說企業具有了使用資料指導營運、決策、管理等進行資料應用的基礎。
2.4 產品及營運分析
在我的理解中，所有的分析都是從日常的業務分析中開始的，因為筆者主要從事網際網路行業，且網際網路企業也是資料分析走在最前沿的，所以從此層級開始，產品與營運分析、精細化營運以及資料產品都是網際網路企業資料分析典型的，至於傳統行業，可以參考著看。
網際網路企業的資料分析最先是從產品和營運分析開始的，這一層級的主要作用有3個：
1、解決日常營運和監控需求；
2、深入分析使用者、市場、產品；
3、以分析結果指導產品和營運工作。
產品和營運分析，首先要滿足的就是日常資料的監控：高了？低了？為什麼高？為什麼低？資料的變動能否說明我們的產品和營運在往好的方向變化？如果變化是好的，我們如何繼續保持？如果是不好的，那是什麼原因造成的？如何改正？——這些是日常資料監控過程中，業務人員最常問的一些問題，解決這些問題是日常分析報告最主要的工作。
其次，當日常分析已經成為例行工作的一部分之後，企業的產品和業務人員就會發現簡單的日常分析無法解釋很多複雜的現象和問題，這就需要對使用者、產品、渠道、市場、需求等等方面進行深入的分析和研究。在這個過程中，很多針對具體業務情況的分析專題和資料模型應運而生，這些專題和模型幫助企業更好地認識我們的市場，撲捉客戶和潛在的商機。這其中最具代表性的例子就是“使用者畫像”。
2.5 精細化營運
在“產品和營運分析”層級中積累的分析思路和分析方法，大多是分散的、點狀的。在“精細化營運”這一層級，所有的分析不再相互孤立，而是更多地以一個實際業務場景為基礎，在該業務場景下從“如何感知識別”，到“如何篩選使用者”，再到“如何行銷配合”，從而實現該場景下全部過程的統籌管理。
基於不同產品階段、不同使用者處於的不同生命旅程節點，建立使用者畫像和會員體系。每個使用者畫像、會員體系，都需要有針對性地設計個性化、差異化的營運策略。每個營運策略，需要大量營運活動來支撐。營運人員需要明確，每個營運活動支撐的是什麼策略，需要通過哪些使用者觸點，實現效果最大化。後續，跟蹤這些觸點的效果回到底層資料。而資料，是搭建完善的使用者畫像和會員體系的基礎，反哺營運策略，形成一個完整的資料驅動營運閉環。當然，這一流程不能是靠手工來完成，一定是自動化的，人只是這一流程中起決策作用的節點而已。
更有甚者，將多個業務場景下的資料驅動過程進行組合，就形成了諸如“使用者生命週期管理”、“會員營運體系”這樣的資料應用集合（我這裡暫且把它們成為資料應用集合，其實這些內容每個都可以形成一個單獨的資料應用產品）。
如果企業中每個領域都能建設起來多個數據應用集合，那麼這些集合就基本能夠支撐其企業的主要執行管理工作。
2.6 資料產品
資料產品是企業資料能力建設的進化產物，是企業將內部資料價值變現的眾多方式中的一種。
實體行業的資料產品很多時候是因為企業內部的資料能力成長到一定階段，企業某些內部資料及分析方法已經具備了獨立變現的條件，因而被企業單獨拿出來作為一類產品提供到市場，從而形成我們所理解的資料產品。當然實體行業中出現的資料產品例項並不多。
在狹義的範疇裡，從使用使用者來看，可以是企業內部使用者，外部企業客戶，外部個人客戶等。從產品發展形態來看，從最初的報表型（如靜態報表、DashBoard、即席查詢），到多維分析型（OLAP等工具型資料產品），到定製服務型資料產品，再到智慧型資料產品、使能型資料產品等。
智慧型資料產品則會更多的將大數據的智慧性融入產品，並與決策邏輯結合起來，發揮作用。比如，你可以有一套傳統的會員行銷系統，允許你按自己的規則篩選目標使用者；而也可以在更智慧的資料產品中這樣來實現：輸入你的行銷目標及參數，比如要開展雙十一母嬰市場的促銷活動，系統可以基於以往海量資料計算出應該選擇什麼品類的商品，在什麼使用者群中，以什麼形式開展活動效果會更佳。
但是無論哪種產品形式，都必然離不開適當的商務模式，而必要的商務模式也是保證資料市場安全、高效運轉的必備條件。
我接觸的很多實體行業中的企業，有些可能剛剛完成資料採集和資料中心的建設工作，有些則連資料採集問題都沒有解決。但是我在接觸這些公司的企業負責人時，每個人都雄心勃勃地說自己的企業要在未來的一兩年內做出資料產品，完成資料價值的變現~~而當我問到：您知不知道從貴公司現在的資料情況做到資料產品，需要走過多少階段從而支撐您做成資料產品嗎？對方的回答也出奇地相似：所以我們需要找一個懂這方面的人來啊……！
emm...
3、傳統企業數位化
最後金字塔的頂層，數戰略，就再來閒聊幾句數位化。
數位化轉型這個概念這兩年很火，個人認為這就和當年大數據這個概念出來時一樣，內行人看還是有點大有點虛，對映到直接落地不知道要多少年時間。相對接地氣的概念就是資料化管理，也是當下很多企業正在實施的措施。
諸如企業的財務、銷售、市場等業務自身就帶有強烈的資料分析需求，領導也厭倦了檢視一沓沓報表，更希望看到結論化的資料。如果說運用到個人或是某一個問題的叫資料分析，那麼投入到企業的業務層面用於輔助管理產生效益的則可稱為資料化管理。
回顧若干年前，企業做資訊化總結起來就是實施ERP系統，財務系統，人力資源系統，客戶關係管理（CRM）系統等等。這些資訊化的項目有一個共同特點，就是把企業的組織架構，業務流程，營運模式等通過軟體系統的形式固化下來，這樣企業相關的員工，物料，裝置，資金等要素就圍繞固化好的軟體系統運轉。如果企業管理人員發現現有軟體系統不適用現在的業務，就會實施流程變革等措施來優化現有的軟體系統，所以資訊化更多的是支援業務。
企業實施資訊化後，企業相關的人，物料，裝置，資金等要素就圍繞固化好的軟體系統運轉，但是這些要素在企業日常營運過程中實際執行情況是怎樣的，企業並不十分清楚，企業並沒有一個系統能實時抓取並視覺化企業日常營運全景，比如客戶購買企業的產品和服務後的使用情況、市場的變化情況、工廠流水線的執行情況、供應鏈的運轉情況等。如果需要這些資料，大都需要通過人力來統計，做各種報表，費時費力，且不一定能保證資料的準確行。
數字（據）化就是要通過收集企業日常營運的資料，客戶使用產品服務的資料，市場行業，趨勢等等資料，形成企業日常營運的全景圖，反映到產品研發、服務流程改善、精準行銷、銷售模式升級、優化庫存等業務的改進上來。
第一階段：資料連線、採集、整理
資料是數位化的基礎，數位化轉型的第一步往往都是先進行資料連線。要分析什麼業務，分析的指標有哪些，需要的資料有哪些，當下已有哪些資料，哪些資料不足需要定向收集。
比如：
生產可以通過感測器等裝置收集生產環節的資料。
庫存可用過掃碼等手段來收集，以及後續物流運輸資料。
銷售可以通過改進業務流程，設定資料採集環節來收集資料。
行銷可以通過網站的埋點來收集使用者的行為資料。
……
資料採集的成本比較高，而且往往大動干戈。建議先做好數位化路線和場景的規劃，儘量自頂而下推導到底需要哪些資料及其採集技術，往往資料採集的難點不在於技術層面，而在於業務層面的推動。
採集到資料還只是第一步，後續需要有大量的工作保證資料質量，資料有問題分析再嚴謹都是空談。建議在數位化規劃階段，需要對全資料鏈路進行詳細設計，爭取做到幾個要點：
①多個系統相聯通，至少保證同一種資料在不同系統中是一致的；
②通過資料鏈路設計使得相鄰環節的資料可相互校驗；
③資料質量需融入日常營運管理流程。
然後是資料整合。採集到的資料往往都分佈在各業務系統內，但後續分析的時候往往會涉及多種業務的資料，比如財務+銷售，所以系統之間的資料壁壘要打通，避免資料孤島。
系統來看，就是從資料分析出發，向上要保證資料口徑的統一，避免資料對不上。向下要以分析為目的來搭建數倉和資料中心，讓資料整合—資料清洗—資料分析—視覺化都在一個平臺上進行。
在這個過程通常需要藉助BI平臺、數倉來搭建。
第二階段：資料分析與視覺化
資料連線完成後，下一步是基於業務需求分析和視覺化展示。分析分為歷史和當下資料按指標、業務歸類展示，生成報表、視覺化報告。涉及到具體問題比方說找到帶來80%營收的20%家優質代理商，則需要資料探勘技術來追蹤定位。
數位化成熟到一定程度，各個業務都應該有相應的視覺化模組，運用商務智慧BI系統或製造智慧MI系統，這是企業實現數字視覺化的重要工具。
感謝閲讀！FineReport提供最全免費功能版本，不用等待，直接點擊以下按鈕激活&下載！
免費試用FineReport10.0>
獲得帆軟最新動態：數據分析，報表實例，專業的人都在這裡！加入FineReport臉書粉絲團
相關文章：
什麼企業急需導入BI ？7大場景一看便知！
