伴随着百度AI大会的召开，近期科技界的热点无疑集中在人工智能领域，人工智能的核心属于机器学习。
同样，机器学习在网络安全领域的热度也在不断攀升。今天小E就为大家带来了本文，为大家揭开ESET的引擎盖，看看在其下隐藏的防护引擎和机器学习齿轮。
我们的安全专家已经从事机器学习超过20年了，神经网络在1997年就已经出现在我们的产品中。自那时以来，已经有大量的内部项目旨在自动化安全分析，帮助我们把虚拟世界的一切分类标记为：好的，坏的和丑陋的（甚至是一些灰色区域：比如含有潜在不需要的应用程序类，当然前提是如果你愿意让ESET为你检测出这些程序并开启对应的功能）。
我们早期的工作之一是做一个自动化专家系统，专门为批量处理而设计的。在2006年的时候它工作模式还比较简单----------仅帮助我们处理日益增多的样本，减少我们检测工程师的工作量。多年来，我们不断完善它的能力，使其成为ESET技术中的一个重要组成部分，它为我们分类分拣成百上千的条目，这些条目来自于ESET LiveGrid全球网络系统、安全输入以及我们与其他安全厂商的持续样本信息交换。
2012年起，ESET另一个机器学习项目在没有对外公布的状态下运行，将所有分析数据置入“数字网络安全地图”并标记将那些需要更多关注的项目。有趣的是，正式此系统在近期的Wannacry案件中发挥了重要的作用，它在这个勒索软件广泛传播的最早期就发出了预警。
尽管ESET已经有了针对eternalblue永恒之蓝漏洞的网络层检测，“数字网络安全地图”帮助ESET进行额外的检测，进一步提高对用户的保护。
然而，机器学习是一个棘手的问题，并不是所有的努力都是按计划进行的。较老的项目侧重于从先前已知的检测中自动创建更广泛的DNA检测，确定URL的信誉，或者找到样本的“相近变种”。最终，这些被其他更有效的手段所取代，或者由于进一步的发展而被取代。
所有这些都帮助我们获得了经验，并且一步一步地为我们今天所做的工作铺平了道路.一个成熟的、基于现实世界应用的机器学习被应用在我们云技术中，当然也包含于终端客户的客户端上。
Augur（预言者），我们的机器学习猛兽
小E喜欢古代历史–在公司以埃及女神命名（ESET）后，用同样方式给我们的机器学习引擎命名也是理所当然的。预言者Augur是一个来自于古罗马的宗教名词。我们将该词其用于网络安全有其背后的典范，因为Augur预言者与古老炼金术做出的预示不同，Augur基于科学、数学和以往的经验。
现在是技术部分，ESET的Augur 机器学习引擎之所以能成为现实离不开下列三个因素:
A. 随着大数据技术的普及、硬件也比过去几年便宜的多，机器学习变得门槛更低-无论是处于医疗目的，智能汽车或用来检测网络安全。
B. 机器学习算法和它背后的科学技术正被日益普及，这使得机器学习拥有了更广泛的技术应用,以及对任何愿意实施它的人来说都极高的可用性。
C. 经过三十年与黑产及其产出样本的战斗后，我们已经建立了一个现代版的“亚历山大图书馆”恶意软件库。这个庞大而高度条目性的数据库包含了我们过去分析过的所有被提取的特征和DNA基因。这为我们的机器学习引擎Augur创造了非常完美训练集条件。
上述因素的蓬勃发展也带来了相对应的挑战。我们不得不选择性能最好的算法和流程，因为并非所有的机器学习都适用于具有高度特殊性的安全领域。
经过多次测试，我们将两种行之有效的方法结合起来：
一. 神经网络，特别是深度学习和长短期记忆。
二. 结合了六种精确选择算法的分拣模型。
再细化一下，假设你有一个可疑的可执行文件。Augur首先将仿真其行为并运行基本的DNA分析。然后，它将使用收集到的信息从文件中提取数字特征，查看它想要运行的进程，并查看DNA特征，以决定将其分拣到哪个类别--------干净的、潜在不需要的或恶意的。在这一点上需要声明一下，与一些声称他们不需要脱壳、行为分析或仿真的厂商不同，我们发现为机器学习正确地提取数据是至关重要的。否则，当被分析数据被压缩或加密时，仅仅从文件表面层进行特征提取的手段就像对一堆噪声进行分拣。
分拣算法有两种模式：
激进分拣算法：如果六个算法中的大多数都将其作为一个恶意标记，就将这个样本判断为恶意。这对使用ESET Enterprise Inspector 的IT员工来说非常有效,因为它可以标记任何可疑的东西，把输出物的最终评价交给管理 (小E注：ESET还未对外发布的新产品哦，ESET 针对APT检测及回应工具)
保守分拣算法:如果六种算法中至少有一种确认该样本是干净的，则将其声明为正常样本。这对于一般系统来说是很有用的，可最大程度避免造成误报。
Augur的处理流程可以归纳为下图：
另外，小E发现Facebook在一次技术演讲中展示的机器学习解决方案和我们的Augur系统非常相似，两者都意在结合传统分类算法和神经网络各自的优点。还记得Facebook网站在派对照片中发现你的脸吗？那就是机器学习。
让我们远离枯燥的理论再次回到真实世界中，看看ESET机器学习技术应用在最近的恶意网络攻击吧，比如近期利用永恒之蓝漏洞的wannacry勒索和Coinminer挖矿程序家族。抛开ESET基于网络层协议的漏洞检测,Augur系统也在第一时间将这些样本都判定为恶意程序。更有意思的一个测试，在于我们用wannacry和coinMiner爆发前时间段的Augur系统同样进行了测试，测试结果：样本同样也被判定为了恶意程序.
30年来IT安全的进步和创新经验告诉我们，有些事情并没有一个简单的解决方案，特别是变革很快的网络空间，安全环境和应用场景在几分钟内就会改变。即使在营销演讲中最近被经常提及的机器学习，也不会很快改变这个事实。
我们相信，即使是最好的机器也不能取代那些有经验的研究人员，那些建立一切安全基础的人，以及那些将进一步创新的研究人员。我们很自豪地说，这些人才工作在ESET，帮助保护用户免受未来的威胁。
发表于 2017-8-4 11:27:09
