https://metron.apache.org/current-book/metron-platform/metron-enrichment/metron-enrichment-storm/index.html
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=62685647
https://cwiki.apache.org/confluence/display/METRON/Threat+Intel
一、丰富/威胁intel拓扑
此拓扑的输入是解析器/规范化拓扑生成的规范化Metron JSON。此拓扑的输出被写入到Metron支持的大量数据存储中。有两种流:消息流和丰富流。消息流携带原始消息，而丰富流附加额外的丰富或威胁情报片段到消息。
一、Enrichment Splitter
该bolt 从可以被充实的消息中提取字段和值，并将它们发送到适当的充实bolt 。具有关联丰富的字段的配置存储在Zookeper中。
二、Enrichment Bolt
该Bolt从 splitter bolt 获取充实信息(键+值)，提取值，对充实存储交叉引用该值，然后将充实的值发送给joiner bolt。可以有n个丰富bolt 和每个丰富bolt 必须与后端存储(主要是Hbase)相关联。这些bolt 还使用内存中的缓存，因此它们不会冲击后端引用存储。每个bolt 提供一个相应的 bulk loader ，以便能够引导丰富库。
丰富为流消息添加了额外的上下文。例如，如果一个给定的消息有一个外部IP，那么就可以将地理数据标记到该消息。另一个例子是，如果一个消息包含一个域名，那么我们可以标记一个whois条目到该消息。通过丰富内容为信息添加上下文有三个主要好处:
相关性:如果您知道消息的目标用户和资产以及消息的来源，那么将其与其他相关消息关联起来就会更容易
ML:通过流的完整上下文允许对ML模型进行实时评分，而不是批量收集上下文，然后批量应用模型
准确性:底层的丰富信息总是变化的(用户登录和关闭，机器改变ip，等等)，你想要丰富尽可能接近捕获时间
调查:为给定的元数据或警报提供完整的上下文意味着需要摸索的控制台更少，使我们更接近“单层玻璃”界面
Metron目前提供了一个可扩展的框架来插入丰富。每个丰富有两个组件:一个丰富数据源和丰富bolt 。
在Metron中启用一个丰富功能之前，丰富存储(对于Metron主要是Hbase)必须装载丰富数据。丰富数据可以从HDFS批量加载，也可以通过可插拔加载框架流进丰富存储。丰富加载器将丰富转换为Metron可以理解的JSON格式。加载框架具有额外的功能，可以根据时间将数据从充实存储中提取出来。一旦商店被加载，一个可以与丰富存储交互的丰富bolt可以被合并到丰富拓扑中。每个丰富bolt可以在一个Metron消息中丰富一个特定的字段/标签。当一个bolt识别出它能够丰富一个领域时，它就会进入丰富存储，取出丰富，用丰富标记信息。丰富之后被存储在bolt的内存缓存中。Metron使用了潜在的Storm路由能力，以确保类似的丰富值被发送到适当的bolt，这些bolt已经将这些值缓存在内存中，因此与其他不具备这种能力的大数据流系统相比，Metron具有优越的规模和速度。
GeoIP：GeoIP上的标签(latlon坐标+城市/州/国家)到任何外部IP地址。这既可以应用于警报，也可以应用于能够将它们映射到地理位置的元数据遥测。丰富存储地：MySQL。数据来源：Maxmind Geolite，http://dev.maxmind.com/geoip/legacy/geolite/。丰富字段：src_ip, dst_ip。Bulk from HDFS。每三个月更新一次。
Asset：给定一个IP，计算出资产的主机名。然后给定资产的主机名，告诉我从LDAP、AD或企业库存存储中知道的关于该资产的所有其他信息。丰富存储地：HBase。数据来源：LDAP, AD, DNS logs, enterprise inventory stores。丰富字段：src_ip, dst_ip。没有提供。每小时更新。
User：给定某个ip-application对的会话或警报，请告诉我该会话/警报属于哪个用户。丰富存储地：Hbase。数据来源：LDAP, AD, proxy logs。src_ip + application。没提供。每5分钟更新。
Metron目前提供了一个可扩展的框架来插入intel的威胁源。每个威胁情报来源都有两个组件:一个丰富数据源和丰富bolt。威胁情报提要被批量装载并分流到威胁情报存储库中，类似于丰富bolt的装载方式。键以键-值格式加载。关键是指示符，值是对指示符的JSON格式描述。建议使用像Soltra这样的威胁feed聚合器，通过Stix/Taxii来整理和规范这些提要。Metron提供了一个适配器，可以读取soltrao生产的Stix/Taxii feed，并将其流进HBase, HBase是用于支持intel对Metron进行高速威胁查找的数据存储选择。此外，Metron还提供了一个平面文件和Stix批量加载器，它可以在不使用威胁feed聚合器的情况下将威胁intel数据规范化、调整和批量加载或流加载到HBase中。
网友评论