來源：https://community.hortonworks.com/articles/31812/applying-threat-intel-feeds-to-telemetry-events-wi.html
簡短描述:
本教程將向您介紹如何加載和應用Intel威脅輸入，因為事件在整個平臺上流動。
在前一篇文章中，我們討論了如何豐富自動測試記錄事件，我們討論了如何豐富一個給定的自動測試記錄事件的域元素，如WhoIs數(shù)據(jù)中home country，與domain等相關的公司信息。在本文中，我們將使用一種稱為intel 威脅情報輸入的特殊類型的數(shù)據(jù)進行充實。當一個給定的自動測試記錄事件匹配Intel威脅情報中的數(shù)據(jù)時，會生成一個警報。
同樣，客戶要求如下:
1、來自Squid日志的代理事件需要實時接收；
2、必須將代理日志解析為Metron可以理解的標準JSON結構；
3、實時地，需要對squid代理事件進行豐富，使所域名信息豐富IP信息；
4、在實時的情況下，在代理事件中的IP必須與intel威脅情報進行檢查；
5、如果與有intel威脅情報匹配，需要提高警報；
6、最終用戶必須能夠看到新的自動測試記錄事件和來自新數(shù)據(jù)源的警報；
7、所有這些需求都需要在不編寫任何新的java代碼的情況下輕松實現(xiàn)。
在本文中，我們將介紹如何做4和5。
一、英特爾威脅情報框架解釋
Metron目前提供了一個可擴展的框架來插入intel威脅情報。每一個英特爾威脅源有兩個組成部分:一個豐富的數(shù)據(jù)源和豐富的bolt。威脅情報輸入是批量加載的，并流的方式輸入到威脅情報存儲庫中，類似于如何加載豐富的輸入。鍵以鍵值格式加載。鍵是指示器，值是指示器的JSON格式描述。建議使用威脅情報輸入聚合器(如Soltra)通過Stix/Taxii對提要進行去重化和規(guī)范化。Metron提供了一個適配器，可以讀取soltra生成的Stix/Taxii提要并將它們以流的方式輸入到Hbase中，Hbase是支持Metron的高速威脅情報查詢的數(shù)據(jù)存儲。Metron還提供了一個平面文件和Stix大容量加載程序，即使不使用威脅情報輸入聚合器，也可以將intel威脅情報數(shù)據(jù)規(guī)范化、去重，以批量加載或以流的方法存儲到Hbase中。
下圖說明了該體系結構:
第1步:Intel威脅情報輸入
Metron設計用于處理Stix/Taxii威脅輸入，但也可以大量裝載CSV文件中的威脅數(shù)據(jù)。在這個示例中，我們將探索CSV示例。這里用于豐富的裝載機框架也用于威脅情報。與豐富相類似，我們需要設置一個data.csv文件、提取器配置JSON和豐富配置JSON。
對于這個示例，我們將使用一個Zeus惡意軟件跟蹤器列表，它位于這里:https://zeustracker.abuse.ch/blocklist.php?
1、將上述鏈接中的數(shù)據(jù)復制到VM上名為domainblocklist.txt的文件中；
2、運行以下命令，將上面的文件解析為一個名為domainblocklist.csv文件。
現(xiàn)在我們有了“Intel威脅情報輸入”，現(xiàn)在需要配置一個描述源的提取器配置文件。創(chuàng)建一個名為extractor_config_temp.json的文件，并將以下內(nèi)容放在其中。
運行以下命令刪除我們運行的非ascii字符:
步驟2:配置元素進行Intel威脅情報輸入映射
現(xiàn)在，我們必須配置一個元組的元素，交叉應用的Intel威脅情報內(nèi)容。這個配置將存儲在zookeeper中。
配置如下:
將該文件剪切并粘貼到虛擬機上的一個名為“l(fā)yriment_config_temp.json”的文件中。因為從這個博客復制粘貼將包含一些非ascii的隱形字符，將它們刪除，請運行。
第三步:運行Intel 威脅情報加載器
現(xiàn)在我們已經(jīng)有了英特爾威脅源和英特爾威脅情報的配置，我們現(xiàn)在可以運行加載器將數(shù)據(jù)從英特爾威脅情報源移動到Metron英特爾威脅存儲庫，并在zookeeper中存儲豐富配置。
在此之后，將在Hbase中加載英特爾的威脅情報數(shù)據(jù)，并建立一個Zookeeper映射。數(shù)據(jù)將被填充到稱為threatintel的Hbase表中。要驗證日志被正確地接收到Hbase中，請運行以下命令:
您應該會看到從CSV文件中裝載數(shù)據(jù)的表格?，F(xiàn)在檢查是否正確填充了Zookeeper豐富標簽:
通過使用squid客戶機執(zhí)行http請求生成一些數(shù)據(jù)(大約執(zhí)行20次)
二、查看Metron UI中的威脅警報
當這些日志被接收后，我們會收到一些信息，這些信息匹配Intel威脅情報:
注意這條消息的幾個特征。它具有is_alert=true，將其指定為警報消息。
現(xiàn)在我們有了警報，我們需要在Kibana中可視化它們。首先，我們需要設置一個固定查詢來查找is_alert=true的消息:
一旦我們將警報表指向這個固定查詢它看起來是這樣的:
