2010年-2015年AV-C启发/行为拦截测试成绩汇总——论”双击“的重要性

小小瞻

Heuristic / Behaviour Tests，The retrospective tests evaluate the products against new and unknown malware to measure the proactive protection capabilities (e.g. through heuristics, generic signatures, etc.). This test also takes into consideration the false positive rate. Starting from 2012, the remaining malicious files are also being executed, so that the proactive protection provided by e.g. behaviour blockers is evaluated.

以上是AV-C官方对于启发/行为拦截测试的简要介绍，现在由我来详细说明一下。首先，这项测试是为了检测杀软应付全新/未知的恶意文件的防御能力。其次，这项测试是在脱机状态（即离线）下进行的，为了排除云启发、信誉对测试的影响。最后，测试分为两步骤进行。第一步，手动扫描样本，记录检测到的样本数量；第二步，运行遗漏的样本，记录拦截的样本数量，然后将这两步测试所拦截的样本总和除以此次测试样本。在这里我要强调一下，第二步的测试在2012年以前是没有的。2012年以前只是单纯的扫描测试，2012年开始增加样本运行测试（可以认为是”双击“）。好了，既然标题是”论双击的重要性“，那么”双击“对于杀软评测成绩的影响体现在哪呢？下面2张图表就能够很好的说明这个问题。图表1是根据2010-2011年共4次测试得到的（没有样本运行测试），图表2是根据2012年-2015年共4次测试得到的（增加了样本运行测试）。微软成绩作为基准线，为54.19%。（补充说明下，2012年-2015年的测试中微软成绩在70%左右，54.19%的成绩是2010-2015年总平均分）

图表1

图表2

一些总结：从图表1中我们看到，单纯的扫描测试，各个杀软的检测率稳定在50%-60%左右，不得不说这个成绩实在拿不出手，毕竟微软的成绩都超过50%了。但是进入2012年，AV-C对启发/行为拦截测试进行了改革，增加了样本运行测试，可以说这项测试内容的增加对于我们真正了解杀软的实力，起到了无与伦比的作用。2012年以前各个杀软均不测试其主防能力，导致其测试成绩徘徊在50%左右，2012年我们看到各个杀软的成绩像打了鸡血似的，特别是BD和卡巴斯基，拦截率直逼100%，我们不得不称赞其行为拦截能力的强大！不过遗憾的是，相比较卡巴和BD，小红伞的成绩上升就小了点，两次测试均为84%。还有一件让人遗憾的就是Norton没有参加2012年-2015年的测试，不知在双击下，其SONAR究竟有什么样的表现。

最后，附上我从AV-C官网上得到的测试数据以及AV-C官方对于这项测试意义的看法：

某些厂商的产品也不包括在本次测试中。因为他们认为，由于在回溯
测试过程中缺少 Internet 连接或阻止的网址（URL）未被考虑，这样，自
己产品的实际检测能力不能够得到充分的展示，因此决定在此次“主动/回
溯”测试中不要包括在内。我们的“主动/回溯”测试方法，确实不允许基
于云技术的产品远程连接到他们的云技术基地，我们也不考虑网址（URL）
拦截。因为对于此类型的测试，这都不是我们想要评测和比较的重点。剩
下的几个测试的产品中，也有基于云技术的（有些没有），但这些产品仍
然能提供良好的离线常规/启发式检测，而不必依靠或发送数据到自己的云
基地，也没有发生很多误报且不依赖恶意软件的载体（即不依靠URL黑名单
过滤）。云技术只应被看做是一种能额外提供增强保护的功能，而不应该
用它来替代安全产品的基本保护功能。

230f4

装BD，怎能不双击

230f4

@xiaofeizei 答案在此

ljy_0119

红伞成绩中规中矩，norton不知道怎么样，系统是win7？

ELOHIM

微软现在还是55%吗？

小小瞻

这是AV-C官方对于这项测试的观点

某些厂商的产品也不包括在本次测试中。因为他们认为，由于在回溯
测试过程中缺少 Internet 连接或阻止的网址（URL）未被考虑，这样，自
己产品的实际检测能力不能够得到充分的展示，因此决定在此次“主动/回
溯”测试中不要包括在内。我们的“主动/回溯”测试方法，确实不允许基
于云技术的产品远程连接到他们的云技术基地，我们也不考虑网址（URL）
拦截。因为对于此类型的测试，这都不是我们想要评测和比较的重点。剩
下的几个测试的产品中，也有基于云技术的（有些没有），但这些产品仍
然能提供良好的离线常规/启发式检测，而不必依靠或发送数据到自己的云
基地，也没有发生很多误报且不依赖恶意软件的载体（即不依靠URL黑名单
过滤）。云技术只应被看做是一种能额外提供增强保护的功能，而不应该
用它来替代安全产品的基本保护功能。

小小瞻

ELOHIM 发表于 2015-11-30 20:24
微软现在还是55%吗？

在70%左右，最近一次的成绩是53%。

xiaofeizei

230f4 发表于 2015-11-30 20:05
@xiaofeizei 答案在此

已亮瞎
坐等中文，等它一万年

ELOHIM

小小瞻 发表于 2015-11-30 20:34
在70%左右，最近一次的成绩是53%。

嗯，如果没错的话，应该是这两幅图了。

小小瞻

xiaofeizei 发表于 2015-11-30 20:47
已亮瞎
坐等中文，等它一万年

在等BD吗？可惜一万年太短