[討論] 巨量資料安全分析（理念篇）
一、引言
單純的防禦措施無法阻止蓄意的攻擊者，這已經是大家都認同的事實，應對挑戰業界有了諸多方面的探索和實踐，而其中最有趣的就非安全分析莫屬了，圍繞著安全分析展開，我們可以看到巨量資料、安全智能、情景感知、威脅情報、資料挖掘、視覺化等等，因為這些都是安全分析師手中的武器。
二、安全戰略思路的變化
壞的消息是，入侵總會發生，再強的防禦也難以做到禦敵於國門之外，攻擊者總會進入到你的網路中；那麼好消息就是入侵和破環是兩回事，雖然也存在入侵開始到實際損害發生之間時間窗口很短的情況，但是我們也還是看到，大多數入侵如果想達到目的，需要較長的時間，特別定向攻擊和APT攻擊。那麼如果安全團隊可以在攻擊者完成使命之前阻止其活動，就可以做到這點：我們有可能遭受入侵，但可能不會遭遇破環。
據此有效的戰略是儘可能多的進行實時防禦，來防止入侵的可能，同時配合積極的檢測（Hunting）與事件響應來避免出現破環，或者最大限度的減少破壞的影響。
由此我們知道，傳統的安全產品沒有過時，我們還是需要4A，需要防火牆、IDPs以及AV這些不同的產品，形成一定的防禦縱深，阻止隨機性的攻擊（通常追求機會，被選中往往是因為展現了易被利用的漏洞），並且延緩攻擊節奏，擴大檢測和響應的時間窗口。這是一切的基礎，如果沒有這一步，後續的檢測和響應也就缺少了根基，在現實中無法實施。
從這點上說，個人也不贊成將某些針對特定組織的攻擊都歸屬於APT範圍，如果它是一些傳統的安全措施就可以防範的。這可能誤導某些組織，在缺乏基本防護措施（產品、組織、制度等）的情況下，盲目的追新求異，達不到切實的安全效果。
三、以威脅為中心的安全理念
實時防禦是以漏洞為中心的，基於漏洞的簽名檢測機制有著較高的準確性，可以用以進行自動化的阻截。但當基於已知威脅的簽名機制不能檢測針對其的高級別威脅時，我們就需要轉化思路，因此積極的檢測和響應則是以威脅為中心，它不再強調單點的檢測，也不再單純的追求告警的精確性，它促使你從面上去著手，將若干的點關聯起來，以資料為驅動來解決問題。在整個過程中（資料收集、檢測、資料分析）都需要以威脅為中心，如果丟掉這個中心點，單純的追求資料的大而全，則必然達不到效果。以威脅為中心，用資料來驅動安全，是檢測APT類型威脅的有效手段。
需要強調的是，以威脅為中心聚焦在資料收集，但並不強調資料的大，而是價值的高，認為它是一個動態的、周期性的過程，隨著威脅的變化，以及分析能力的改變，資料收集的範圍將會產生變化的。
四、資料收集
古語言「磨刀不誤砍柴工」，這句諺語非常適合來描述資料收集的重要性。但如果我們單純的強調全量的資料，會是什麼樣子？通過簡單的資料計算，我們可以知道監控1G的資料流量，如果採用PCAP文件格式存儲完整的內容資料，那麼一天就需要大約10T的磁碟空間。如果我們要保留90天的資料，再考慮備份、資料索引等需要的空間，哪會是多少？如果你需要監控的網路流量不止1G，如果還需要考慮主機及業務應用的日誌？龐巨量資料的存儲和維護固然是問題，還需要考慮到當盲目收集資料之後，也許這些資料的命運是永遠躺在磁碟中，彷彿從不存在，更甚者還會給後續分析過程帶來混亂、不確定性和低效率。
因此明智的問題是「我從哪裡獲得所需要的資料？」，而不是「我需要對該資料提出什麼樣的問題？」Gartner在《Security Information and Event Management Futures and Big Data Analytics for Security》一文中也特別的強調「分析的意識和探索資料的慾望」，認為這才是巨量資料安全中最關鍵的成功標準，首先學會問問題，而不是盲目收集資料或者是急於建立一套Hadoop巨量資料平台。
五、資料種類
以威脅為中心進行資料收據，自然包括威脅情報的收集，在之前的《小議威脅情報》中已有涉及，後續有時間也會就如何建立組織的威脅情報平台整理自己的觀點和大家共同討論，這裡不再多言，而專註於組織內部的資料收集。企業內部資料一般需要考慮一下幾個種類：
1.環境業務類資料：包括資產及屬性（業務、服務、漏洞、使用者...）、員工與賬號、組織結構等，這類資料也會被稱環境感知資料、友好類情報等。此類資料往往難以從機器中直接獲取，但對安全分析會有巨大的幫助，往往要依賴安全體系建設而逐步完善；
2、網路資料：包括FPC（Full Packet Capture，一般是PCAP格式）、會話或Flow資料，PSTR（Packet String，這種資料格式包括指定的協議頭部內容，如HTTP頭資料）。PSTR資料大約是FPC的4%左右，而Flow資料則是0.01%。PSTR是大小更容易管理，並且允許增強可見性的一種資料類型。
3.設備、主機及應用的日誌：它可以包括諸如Web代理日誌、路由器防火牆日誌、VPN日誌、windows安全及系統日誌等，不同來源的資料類型在大小和實用價值上都不同。 4.報警資料：檢測工具基於其配置發現異常，進而生成的通知就是報警，通常的報警資料來自IDS（主機或網路）、防火牆、AV等安全設備。依據環境和配置，日誌的資料量可以有很大的變化，但通常小於PSTR。
六、ACF方法
那麼如何確定需要採集用以進行安全分析的資料呢，這裡介紹一個ACF（Applied Collection Framework）方法[1]，它可以幫助評估哪些資料應該是收集工作的重點。ACF不是一個純技術的手段，需要安全團隊從其他業務部門收集早期的信息，並配合完成整個工作。它由四個階段組成：定義威脅、量化風險、確定資料源、篩選聚焦。
1. 定義威脅：這裡不是泛泛而談，如競爭對手、腳本小子等，需要確定針對具體組織的具體威脅。它應該是「發生什麼樣糟糕的事情，會影響到組織的生存」這樣的問題，並且答案應該來自領導層或者是被其認可。一旦關鍵業務安全需求確定了，就需要深入挖掘可能的威脅，通過研究網路基礎設施及相關的業務流程，明確相關研究、生產、存儲、加工、訪問等相關環節，進而明確可能的入侵及破壞方法。
2.量化風險：一旦潛在的威脅名單確定，就需要考慮優先順序，一般實現的方式是通過計算威脅影響和概率的乘積，得到每個潛在威脅的風險。雖然這種方法可以提供和威脅相關的量化指標，但畢竟是主觀的。為保障評估確實符合實際，往往需要一組人來參與量化風險的過程，有些機構還會在這個過程中引入第三方的網路滲透測試人員，共同參與完成這個過程。
3.確定資料源：在這個階段確定可以提供檢測和分析價值的主要資料元，從具有最高風險權重的技術威脅開始，考慮可以從哪裡看到威脅相應的線索、證據。比如考慮關鍵文件伺服器的資料泄露威脅，應該確定伺服器的架構、網路位置、具有訪問權的用戶，以及可以獲得資料的其它途徑。根據這些信息，得到相應的資料源清單。
4.篩選聚焦：在最後的階段你需要選擇最需要的資料源，這是技術上最深入的步驟，需要評估每個資料源以評估其價值。往往有一些資料源需要很高的存儲空間，它提供的價值和處理管理的開銷相比，可能不值得收藏。組織必須考慮成本/效益關係，從成本的角度看，這種分析應該考慮到硬體和軟體的資源，例如維護產生的人員組織成本，資料存儲資源等。可以評估有問題的資料源在分析過程中可能出現的幾率。考慮需要到類似這樣的程度：哪些類型（源目的地址、埠協議）的PACP包需要捕獲，那種windows日誌（如登錄成功、登錄失敗、賬號創建、文件許可權變更等）是最重要的需要保留。
通過這樣的方法，你可以通過直接和業務目標掛鉤，以及對業務連續性的威脅來證明需求的合理性，這樣也可以較大限度保證之後在基礎設施建設上的投入。
正如之上曾經提到的，威脅為中心的方法強調周期性的過程，需要明白，永遠不會完成資料收集的工作，當你做了更多的檢測和分析的工作，當網路逐步擴展，需要重新評估你的收集計劃。
七、基於威脅情報和攻擊鏈的方法
ACF雖然是一個經過實踐驗證的方法，但是也有自身的不足，特別是缺乏實踐經驗情況下，往往集中在入侵的後期階段相關資料收集，存在檢測縱深不足，缺少冗餘的響應時間等風險。這時可以參照一種基於威脅情報和攻擊鏈的方法，用來驗證、完善資料收集計劃，此方法來源於David J. Bianco的關於情報驅動的企業安全監控的講演（PPT、視頻）。
這種方法大體步驟如下，對更詳細內容感興趣的可以去參考他的PPT及視頻：
1.以攻擊鏈為橫軸，檢測指標（參考之前的《小議威脅情報》）為縱軸，完成對應的表格，體現在攻擊的各個階段可以利用的相關資料；
2.基於不同檢測指標對黑客攻擊的影響程度，給出評估；
3.基於有效檢測APT類型攻擊而不被大量報警淹沒，給出評估（參見下圖）；
4.基於現實中可達的工具能夠實現，給出評估；
5.綜合以上3項評估的資料，確定資料收集計劃。
這種方法也是一種周期性的活動，需要根據新的威脅情報和分析工作的進展而不斷修訂，個人更傾向於認為它是對ACF方法中步驟3、4的具體化操作指南，ACF中的步驟3對應著這裡的步驟1，而ACF的步驟4對應了這裡的步驟2-5。
八、小結
巨量資料安全分析的第一部分內容就寫到這裡了。我們反思了當前威脅形式下安全理念的變化，我們需要以實時防禦為基礎的積極檢測（Hunting）和響應來避免出現或者緩解可能的破壞活動，它以威脅為中心，側重於資料的收集。在考慮資料收集計劃時，我們可以參考ACF方法，以及基於威脅情報和攻擊鏈的方法，確定最佳的成本/效益。完成了初步的資料收集之後，就是安全分析師體現風采的時間了，我們將在下一篇文章來討論安全分析的具體工作以及相關分析平台產品的話題。
FineReport報表與BI商業智慧工具【免費下載】opensource開發，類excel設計，全方位異質資料庫整合，資料填報、Flash列印、權限控制、行动應用、客制化、交互分析、報表協同作業管理系統。分享自：CSDN大數據
