如今,信息時代正逐步向資料時代轉變,資料演變得越來越重要,它可以反映出公司的經營情況,為公司的經營和決策提供準確的參考依據。而資料平台是連接資料和企業的中間件,可以將這些資料通過一定的規格,清晰地展示給企業領導。
客户介绍
對於企業搭建數據分析(data analysis)平台,青島航空資料架構師戰學超強調,建立資料平台要實現內部自下而上、自上而下的管理結合,只有獲得業務層、領導層的認可和支持才能實現資料運營的持續發展。
合作背景
資料平台其實就是將公司所有的資料,包括銷售資料、財務資料、客戶資料,還有一些行業資料,進行收集整理,按照一定的主題展示。比如財務分析的主題,會囊括一些財務相關的報表,包括公司的盈利分析、虧損點分析等等。通過對這些主題的分析和展示,去準確展示公司的經營情況,以及行業動態,從而為公司的經營提供比較準確的科學指導,進而實現持久的盈利。
資料平台會有一些原始資料,主要是銷售、財務等等及一些其他資料,還有一些行業資料,比如家電行業的商業資料。資料加工和資料展示方面,除了平常的日報、月報、年報等報表展示,還有對應的銷售趨勢分析,庫存預警以及產品個性化推薦。
如何搭建資料平台?
首要前提,公司要有自己的原始資料積累,並且要有資料生產系統,包括歷史資料的積累。
方法:自下而上與自上而下結合
「下」是指公司的技術團隊、業務團隊、銷售等等,以及業務部門和IT部門。「上」是指部門的領導以及公司的高層,讓IT團隊和業務團隊一起來推動這個事情,並與公司的領導層緊密地結合,上下一起參與到資料平台的搭建,只有這樣才能實現資料平台的持久發展。
搭建的過程,溝通很重要。
也許業務人員和IT團隊對於資料平台的搭建有自己的想法,也想通過資料來給公司去做一些事情,但是公司的領導層可能多的依賴於自身的經驗,不一定會去相信資料平台反饋的信息。得不到上層領導的支持,很容易導致搭建資料平台過程中的疲憊。
此外,上層領導可能希望去做一個資料平台的加工,將所有的資料做一個統一的整理和展示。但是傳接到IT團隊和業務部門時,在實際應用中並不是很重視,比如IT人員做的報表,並不是業務人員想要的,導致彼此之間溝通不暢,導致資料平台搭建緩慢。
原則:快速迭代
在建立資料平台時,可以不斷定一些目標,定一些主題,做成果展示,和業務人員以及領導分享,讓其參與評價和建議,不斷優化和改善,當相關人員都有參與感時,資料平台才會持久發展。
· 確定資料平台技術架構與確定分析主題並行。
· 快速迭代,緩解業務部門手動分析壓力。
· 先出報表,積累業務經驗建立模型進行分析並不斷改進。
· 注意技術准與業務知識準備,以備滯後的巨量數據分析平台和業務建模。
解决方案
架設全量DB是為了減輕直接讀取生產環境的資料壓力,並且統一資料類型,方便跨庫,跨資料庫和文件的查詢處理。
資料倉庫是資料平台必不可少的,但不是優先的。資料倉庫建立耗時費力,可以逐步進行。
根據公司實際情況劃分資料集市,並且根據業務規則結合自身經驗,建立起資料分析模型。
當ETL不足以支撐或是實時要求高SQL難以實現的時候,考慮Hadoop等分布式計算。
資料平台的搭建並不是一蹴而就的,需要循序漸進不斷快速迭代。同時也要有長遠眼光,盡量避免推到重構。此外一定要注意時間控制和里程碑建立。
資料源方面,青島航空有B2C的官網、運行控制系統、MIS系統、呼叫中心、OTA和OA平台。資料類型涵蓋Oracle、mysql、SqlServer、 Excel、TXT等,ETL工具採用Kettle,全量DB和資料倉庫以及資料集市採用MyOracle。
通過帆軟報表工具FineReport建立資料平台,採用資料倉庫建立+報表展示+業務建模同時並行。現階段主要定了兩大集市,建立了財務對賬和收益分析兩種模型。
案例展示
使用帆軟作為統一資料視覺化展示平台。
旅客分布圖可以更清晰的幫助規劃航線
銷售趨勢實時報表可以有效的預測公司的銷售,為公司其他部門提供準備依據。
通過對賬系統可以解決財務流水與各銷售介面的明細,快速有效的解決死賬,壞賬等問題。
利用Finereport動態報表與BI商業智慧工具的調度郵件功能監控簡訊平台的發送情況。
航班配餐系統(報表)管理公司航班乘客的配餐。
參考Finereport動態報表與BI商業智慧軟體提供的主題分析模塊結合公司的具體情況,與業務結合,高效的規劃,確定了公司的分析主題。