網絡犯罪和其他惡意活動的增加正在促使企業(yè)部署比以往任何時候都更多的安全控制以及收集更多的數據?，F在，企業(yè)開始將大數據分析技術應用到安全監(jiān)控中，試圖通過范圍更廣更深入的分析來保護寶貴的公司資源。大數據安全分析技術部分利用了大數據的可擴展性，并結合了高級分析和安全事件與事故管理系統(tǒng)(SIEM)。
大數據安全分析適合很多用例，但并不適合所有用例。例如，我們應該考慮一下檢測和阻止高級持續(xù)性威脅技術面臨的挑戰(zhàn)。使用這些技術的攻擊者可能會采用慢節(jié)奏、低能見度的攻擊模式來逃避檢測，而傳統(tǒng)的日志記錄和監(jiān)控技術可能無法檢測到這種攻擊，因為這種攻擊的各個步驟可能在單獨的設備執(zhí)行，跨越很長的時間周期，并且看起來似乎沒有關聯。掃描日志和網絡流量中的可疑活動有時候可能會錯過攻擊者殺傷鏈的關鍵部分，因為它們可能與正常活動的差別不大。而避免遺漏數據的方法之一是盡可能多地收集數據，而這正是大數據安全分析平臺中使用的方法。
顧名思義，這種安全分析方法利用了大數據工具和技術，這些工具和技術可收集、分析和管理高速生成的大量數據。這些相同的技術還被用于提高各種產品的效率，從針對流媒體用戶的電影推薦系統(tǒng)，到分析車輛性能特性來優(yōu)化運輸效率等。但應用到信息安全領域時，它們也同樣有用。
在評估大數據安全分析平臺時，一定要考慮以下五個因素，這五個因素是充分發(fā)揮大數據分析優(yōu)勢的關鍵：
● 統(tǒng)一數據管理平臺;
● 支持多種數據類型，包括日志、漏洞和流量;
● 可擴展的數據獲取;
● 信息安全專用分析工具;
● 合規(guī)性報告
總之，這些功能可提供廣泛的功能來收集高速生成的大量數據，并且快速分析這些數據，讓信息安全專業(yè)人員可有效地響應攻擊。
第1個因素：統(tǒng)一數據管理平臺
統(tǒng)一數據管理平臺是大數據安全分析系統(tǒng)的基礎;數據管理平臺負責存儲和查詢企業(yè)數據。這聽起來像是眾所周知的已經解決的問題，而不應該是一個重要的特性，但它確實很重要。由于關系數據庫無法像分布式NoSQL數據庫(例如Cassandra和Accumulo)那樣經濟高效地擴展，處理大量數據通常需要分布式數據庫。不過，NoSQL數據庫的可擴展性也有自己的缺點。例如，我們很難部署數據庫某些功能的分布式版本，如ACID事務等。
大數據安全分析產品下的數據管理平臺需要平衡數據管理功能與成本及可擴展性。該數據庫應該能夠實時寫入新數據，而不會阻止寫入。同時，查詢應該快速執(zhí)行以支持對入站安全數據的實時分析。
統(tǒng)一數據管理平臺的另一個重要方面是數據集成。
第2個因素：支持多種數據類型
我們通常會從數量、速度和種類來描述大數據。其中安全事件數據的多樣性給數據集成帶來了很多挑戰(zhàn)。
這些事件數據是按不同的細粒度級別來收集。例如，網絡數據包是低級別、細粒度數據，而有關管理員密碼變更的日志條目則為粗粒度數據。盡管存在明顯區(qū)別，它們還是可以關聯在一起。例如網絡數據包可以捕捉有關攻擊者到達目標服務器采用的方法的數據，在攻擊者獲取目標服務器訪問權限后，就可以更改管理員密碼。
第3個因素：可擴展的數據獲取
服務器、端點、網絡和其他基礎設施組件處于不斷變化的狀態(tài)。很多這些狀態(tài)變化記錄了有用的信息，這些信息應該發(fā)送到大數據安全分析平臺。假設網絡有足夠的帶寬，那么，最大的風險就是安全分析平臺的數據獲取組件無法應對入站數據。如果是這樣的話，數據可能會丟失，而大數據安全分析平臺則會失去價值。
系統(tǒng)可以通過對消息隊列中排隊數據維持高寫入吞吐量，以適應可擴展的數據獲取。同時，有些數據庫專門用于支持高容量寫入，它們采用僅允許附加的方式來寫入，數據被附加在日志數據的后面，而不是寫入到磁盤的任意塊，這可減少了隨機寫入到磁盤而帶來的延遲?；蛘?，數據管理系統(tǒng)可以維持一個隊列作為緩沖器，在數據寫入到磁盤時保存數據。如果消息激增或者硬件故障減緩寫入操作，數據可積累在隊列中，直到數據庫可以清除寫入的積壓。
第4個因素：安全分析工具
Hadoop和Spark等大數據平臺是通用工具。雖然它們可以有效構建安全工具，但它們本身并不是安全分析工具。分析工具應該可以擴展來滿足企業(yè)基礎設施中生成的數據，這樣來看，Hadoop和Spark等工具滿足這個標準。此外，安全分析工具應該考慮不同數據類型之間的關系，例如用戶、服務器和網絡等。
分析師應該能夠在抽象層面查詢事件數據。例如，分析師應該能夠查詢使用特定服務器和應用的用戶之間的關聯，以及這些設備之間的關聯。這種查詢需要更多圖形分析工具，而不是傳統(tǒng)數據庫中使用的行和列的查詢。
第5個因素：合規(guī)性報告
合規(guī)報告不再是“最好滿足”的要求，而是必須滿足的要求。很多因合規(guī)目的報告的數據元素都涉及安全最佳做法。即使企業(yè)不需要維持合規(guī)報告，這些報告也可以為企業(yè)提供很好的內部監(jiān)督。
當企業(yè)需要提供合規(guī)報告，企業(yè)需要審查各種大數據安全平臺中的報告制度，以確保滿足企業(yè)的業(yè)務需求。
有效部署大數據安全分析平臺
大數據安全分析利用了大數據平臺的可擴展性，以及安全分析和SIEM工具等的分析功能。對于企業(yè)而言，重要的是認識到這兩者的特性，以及有效部署大數據安全分析平臺所需的五個因素。簡單地使用“安全”來重新命名大數據平臺或者堅信SIEM可以處理大數據(盡管它并不是為此目的而構建)并不是真正的大數據安全分析平臺。
（轉載）
