AVC真实世界测试的一些解读

B100D1E55

想写这个主要是我自己之前也对AVC真实世界测试有些误解，后来发现详细的一些测试细节披露都在季度综合报告里，这里搬运一些要点：
1. 测试样本载体都是URL，所以基本可以考察整个防御流程（从URL拉黑到本地防御）

2. 测试是每日跟踪的模式。每天测试人员会先用基准系统（没有任何安全软件的机器）筛选出有效的新鲜样本，再用这些样本考察待测安全软件。所有的安软都会先更新到最新的毒库定义/组件，此外测试全程联网。

3. 测试系统安装的软件都较新，因此筛选出能成功渗透系统的样本更不容易（这也是为什么每个月只有两三百个样本）

17年上半年测试平台软件配置（系统是补丁后的Win7 SP1 64-bit）

4. 测试中黄条的判定依据：如果出现用户交互界面则总是选择“允许”，如果杀软仍能阻挡恶意程序，则判定为绿条的一部分，如果允许后系统被攻陷，则纳入黄条。而系统是否被攻陷的判定依据是：恶意程序主体被移除/终止，且没有严重的系统变更残留。防火墙出站拦截不算在内，因为AVC认为等出站再拦截为时已晚。每个测试样本都会运行数分钟以便让一些厂商的行为防护产生作用。黄条的拦截成绩折半计入总成绩

5. 每个月测试结束后，厂商都有提交复议的资格（例如不同意某个特定的样本被判定为攻陷的结果，或者认为测试样本实际是误报）。对于纯云产品，AVC仅采用测试当时的结果。AVC认为有的时候一些严重依赖云的杀软服务器宕机也不会告知用户，因此纯依赖云的杀软有时不是那么可靠。

6. 样本：大多都是用户很可能遇上的，例如Drive-by攻击，由于大多厂商都针对这些常见攻击手段部署了防御措施，因此总体测试成绩都比较高。剩余的一些URL直接则指向可执行恶意程序。测试样本使用AVC的爬虫系统收集（包括垃圾邮件的链接），此外也有进行人工的恶意样本收集。

7. 误报：误报分为URL误报和文件误报，两个测试集不一样。前者基本就是考察URL拉黑，后者是~2000个从软件站排行榜收集的程序，这些程序会在机器上被安装并且考察安软是否会误报。此外，在检测率测试中被复议的白文件也会加入下一个月的误报测试集内。黄条误报折半计入总成绩。



综合报表的数据个人感觉更有参考价值，中间栏第一个是URL拉黑误报，第二个是软件误报。可以看到误报王当中趋势、McAfee的误报其实主要集中在URL拉黑上，本地运行倒不一定。而EMSI本地误报高则也在意料之内。
此外也可以看到，如果不是因为F-Secure等在那里吊车尾，那么误报均线上方附近的几家估计也要面临降级的命运

此外AVC还提供了误报的广度信息以供用户参考（从左到右广度由低到高）

个人看法：

从这些细节来看，AVC的真实世界测试比其他不少测试更有参考价值。当今恶意程序攻击的迭代速度之快已经没法使用早年的“月度综合”“静态扫描测试”来准确反映用户的威胁场景。AVC的测试设计总体来说较能反映现实生活中杀软综合响应速度、防御强度带来的拦截效果。
我认为这个成绩基本符合个人以前+近期的测试情况，比如某些厂家过分激进的URL拉黑/乱杀脚本导致的各种乱报，或者ESET那明显比卡巴等慢的云响应速度
这个测试更侧重于反映杀软的响应速度，而杀软入库的完整度同样重要（入库越完整，后来的用户就越安全）。入库的完整度可以参考AVC的恶意软件防护测试。两个类别的测试综合一下可以大致反映出杀软的综合水准。

关于误报：我个人觉得AVC这里的误报测试的参考价值可能没有那么大。除了本土化问题外（恐怕缺乏中国区样本），其收集样本的方法局限性也比较大。以常理来看CrowdStrike在VT上误报是相当高的，在AVC的测试中本地居然是零误报。这很有可能是因为AVC的误报测试样本收集方法和CrowdStrike收集训练模型用的白样本的方法类似。如果是这样，一旦用户的文件落在这些样本范围外，基于异常侦测的安全软件可能给出更多误报。所以我个人认为某个产品如果在AVC这个误报测试的成绩差那么是真的差，反过来AVC里误报成绩好的话也不代表实际自己使用时就一定误报少。

来源：https://www.av-comparatives.org/ ... c_prot_2017a_en.pdf

诸葛亮

这。。。。剧情是要反转了吗。。。。

B100D1E55

诸葛亮 发表于 2017-11-26 11:30
这。。。。剧情是要反转了吗。。。。

这个测试还是有一定局限性。比如恶意样本没有衡量广度，这样没法算平均感染率。说难听一点安软保护的是大众用户，小众的拦不了对厂商来说也就算是个例，把更多资源投入广度更高的威胁是必然的……把所有的恶意样本等比重算的话不公平。还有从下载站抓白样本是否就一定符合用户的使用习惯？至少他们的白文件源对国内用户来说估计没什么参考价值。

不过在这种东西上吹毛求疵就没意思了，主要因素没差就行

我倒希望看到Cylance的误报成绩，如果Cylance在这个测试里本地误报成绩不高于均线，说明这个误报测试没有很大的参考价值

KK院长

现在黑黑 喜欢 垃圾邮件附件的, 几K的JS , 下载就...
URL拉黑也是安软的手段, 不管怎样拉黑再说.

B100D1E55

KK院长 发表于 2017-11-26 11:47
现在黑黑 喜欢 垃圾邮件附件的, 几K的JS , 下载就...
URL拉黑也是安软的手段, 不管怎样拉黑再说.
[:35 ...

乱拉黑之后就是狼来了的故事

wangkaka

F-Secure表示同意大佬观点，并抬了所有“队友一手”

B100D1E55

wangkaka 发表于 2017-11-26 12:11
F-Secure表示同意大佬观点，并抬了所有“队友一手”

我随手算了一下，他们的avg应该是算数平均。如果把F-Secure从列表中移除掉，那么Symantec, BullGuard 和 Microsoft就跑到均线下方了

pal家族

说句题外话，迈克菲网页信誉对于拦截国外的假药网站倒是特别在行。。

fireherman

Adaware 误报居然是全绿？

这……是毁三观的节凑么？

我总觉得 Adaware 和 VBS32 是一对难兄难弟……难姊难妹……

wangkaka

B100D1E55 发表于 2017-11-26 12:16
我随手算了一下，他们的avg应该是算数平均。如果把F-Secure从列表中移除掉，那么Symantec, BullGuard 和  ...

与我对趋势诺顿迈克菲的误报观感一致，不过avast改性了？网页误报这么少了。。不敢相信啊，之前开一个百度网页就报一次的