ESET高级机器学习（白皮书）

B100D1E55

11月13日ESET发布了ESET高级机器学习白皮书，终于稍微介绍了一下他们近年在机器学习方面的一些成果：

https://www.welivesecurity.com/wp-content/uploads/2019/11/ESET_Advanced_Machine_Learning.pdf

很多内容以前的材料都讲过了，这里我只挑新的内容大致概括一下：

ESET的高级机器学习分为两个部分，云端和客户端，其中云端以前就介绍过，参考：
https://bbs.kafan.cn/thread-2143862-1-1.html
https://bbs.kafan.cn/thread-2131774-1-1.html

而本次加入的本地机器学习引擎进一步拓展了已有的检测能力，如下图所示：

本地机器学习处理管线

所有被本地引擎扫描的样本将经过以下几个步骤处理：

1. 本地机学引擎对样本进行静态分析（即不是使用动态仿真沙盒）
2. 本地机器学习引擎使用动态仿真沙盒并提取样本运行时的DNA特征
3. 步骤1和2使用精心选择的分拣模型分别进行打分，并使用一个深度学习模型打分
4. 最后这些结果通过类似云端模型聚合算法（神经网络）算出最终分数。

更强大的机器学习引擎进一步降低了客户端对未知威胁的响应时间（从https://bbs.kafan.cn/thread-2165356-1-1.html 里面的测试可以看出来）


云端机器学习需要大量的运算能力，因此ESET工程师开发了ESET本地机器学习模块，对性能影响极小。这个引擎在本地进行样本分析，通过机器学习检测模型和聚合算法使得即便在断网的情况下也能进一步防范未知威胁。和一些NGAV厂商所宣称的“机器学习模型不时常更新也不会显著降低侦测率”不同，ESET频繁更新高级机器学习模块以确保模型始终能跟进最新的威胁模式。如果本地引擎对一个样本判定模糊，对应样本则会通过LiveGrid上传到云端更复杂的机器模型进行分析。


概括&感想：

总体而言，ESET将本地机器学习引擎看作是云端引擎的一个子集扩展，主要有两个优势

1）缩短威胁响应时间（当LiveGrid还没来得及处理样本时，本地ML就可能提前检出）
2）提高断网防御的性能，例如旅行/特定企业断网场合/Lan Party/U盘传播

而我个人认为ESET的高级机器学习相较于其他NGAV的最大优势在于误报控制。ESET让新引入的静态引擎和已有的多个动态检测引擎通过神经网络进行聚合得到最终结果，非常有利于显著降低误报（这也是为什么目前本地机器学习引擎翻车并不严重）。相比之下很多NGAV厂商仅仅使用静态引擎进行检测，并未能做到动态分析&静态分析互补，这也是为什么有的ML产品检测率虽高，误报也非常恐怖。一个高效的动态沙盒需要长年累月的开发，因此大多新兴的机器学习安全厂商只能选择纯静态分析，而静态分析本身有很多局限性（比如对压缩档之类的，如果没有非通用脱壳处理，看到的大多是杂讯，这也是为什么某厂AdvML，或者某*VM随便做个sfx改个参数都能报毒），通过结合动态分析，这方面的局限或许能被有效地克服。当然反过来，倘若聚合模型不好，动态分析的局限也可能“拖累”静态分析。因此多模型综合时算法非常重要。相比之下，BD这种厂商哈哈哈哈——它老早就有本地机器学习和传统仿真引擎了，其实要做动静态结合也行，不过感觉他们的策略是报得越多越好，另一种意义上的聚合

从这次白皮书也可以看到，ESET本地检测就是云端的一个“微缩版”，同样是多模型&神经网络模型聚合，这和我之前的预测完全一致。希望v13的测试结果会好看一点

云端机器学习处理管线

还有就是谁有空不妨做一个锁库测试，嘿嘿

超超~.~

期待有大佬做一下锁库的测试，感觉好期待！

KK院长

云端机器学习 好东西.

欧阳宣

哈哈谁都喜欢有事没事踩一脚友商