搜索
查看: 4662|回复: 34
收起左侧

[分享] AVC真实世界测试的一些解读

  [复制链接]
B100D1E55
发表于 2017-11-26 11:25:12 | 显示全部楼层 |阅读模式
本帖最后由 B100D1E55 于 2017-12-9 05:19 编辑

想写这个主要是我自己之前也对AVC真实世界测试有些误解,后来发现详细的一些测试细节披露都在季度综合报告里,这里搬运一些要点:
1. 测试样本载体都是URL,所以基本可以考察整个防御流程(从URL拉黑到本地防御)

2. 测试是每日跟踪的模式。每天测试人员会先用基准系统(没有任何安全软件的机器)筛选出有效的新鲜样本,再用这些样本考察待测安全软件。所有的安软都会先更新到最新的毒库定义/组件,此外测试全程联网。

3. 测试系统安装的软件都较新,因此筛选出能成功渗透系统的样本更不容易(这也是为什么每个月只有两三百个样本)
systemsetup.jpg
17年上半年测试平台软件配置(系统是补丁后的Win7 SP1 64-bit)

4. 测试中黄条的判定依据:如果出现用户交互界面则总是选择“允许”,如果杀软仍能阻挡恶意程序,则判定为绿条的一部分,如果允许后系统被攻陷,则纳入黄条。而系统是否被攻陷的判定依据是:恶意程序主体被移除/终止,且没有严重的系统变更残留。防火墙出站拦截不算在内,因为AVC认为等出站再拦截为时已晚。每个测试样本都会运行数分钟以便让一些厂商的行为防护产生作用。黄条的拦截成绩折半计入总成绩

5. 每个月测试结束后,厂商都有提交复议的资格(例如不同意某个特定的样本被判定为攻陷的结果,或者认为测试样本实际是误报)。对于纯云产品,AVC仅采用测试当时的结果。AVC认为有的时候一些严重依赖云的杀软服务器宕机也不会告知用户,因此纯依赖云的杀软有时不是那么可靠。

6. 样本:大多都是用户很可能遇上的,例如Drive-by攻击,由于大多厂商都针对这些常见攻击手段部署了防御措施,因此总体测试成绩都比较高。剩余的一些URL直接则指向可执行恶意程序。测试样本使用AVC的爬虫系统收集(包括垃圾邮件的链接),此外也有进行人工的恶意样本收集。

7. 误报:误报分为URL误报和文件误报,两个测试集不一样。前者基本就是考察URL拉黑,后者是~2000个从软件站排行榜收集的程序,这些程序会在机器上被安装并且考察安软是否会误报。此外,在检测率测试中被复议的白文件也会加入下一个月的误报测试集内。黄条误报折半计入总成绩。

url.jpg

综合报表的数据个人感觉更有参考价值,中间栏第一个是URL拉黑误报,第二个是软件误报。可以看到误报王当中趋势、McAfee的误报其实主要集中在URL拉黑上,本地运行倒不一定。而EMSI本地误报高则也在意料之内。
此外也可以看到,如果不是因为F-Secure等在那里吊车尾,那么误报均线上方附近的几家估计也要面临降级的命运
prevalence.jpg
此外AVC还提供了误报的广度信息以供用户参考(从左到右广度由低到高)

个人看法:

从这些细节来看,AVC的真实世界测试比其他不少测试更有参考价值。当今恶意程序攻击的迭代速度之快已经没法使用早年的“月度综合”“静态扫描测试”来准确反映用户的威胁场景。AVC的测试设计总体来说较能反映现实生活中杀软综合响应速度、防御强度带来的拦截效果。
我认为这个成绩基本符合个人以前+近期的测试情况,比如某些厂家过分激进的URL拉黑/乱杀脚本导致的各种乱报,或者ESET那明显比卡巴等慢的云响应速度
这个测试更侧重于反映杀软的响应速度,而杀软入库的完整度同样重要(入库越完整,后来的用户就越安全)。入库的完整度可以参考AVC的恶意软件防护测试。两个类别的测试综合一下可以大致反映出杀软的综合水准。

关于误报:我个人觉得AVC这里的误报测试的参考价值可能没有那么大。除了本土化问题外(恐怕缺乏中国区样本),其收集样本的方法局限性也比较大。以常理来看CrowdStrike在VT上误报是相当高的,在AVC的测试中本地居然是零误报。这很有可能是因为AVC的误报测试样本收集方法和CrowdStrike收集训练模型用的白样本的方法类似。如果是这样,一旦用户的文件落在这些样本范围外,基于异常侦测的安全软件可能给出更多误报。所以我个人认为某个产品如果在AVC这个误报测试的成绩差那么是真的差,反过来AVC里误报成绩好的话也不代表实际自己使用时就一定误报少。

来源:https://www.av-comparatives.org/ ... c_prot_2017a_en.pdf





评分

参与人数 5分享 +2 人气 +5 收起 理由
我就是XXX + 1 精品文章
屁颠屁颠 + 2 + 1 版区有你更精彩: )
ccboxes + 1 精品文章
fireherman + 1 版区有你更精彩: )
KK院长 + 1 感谢支持,欢迎常来: )

查看全部评分

诸葛亮
发表于 2017-11-26 11:30:16 | 显示全部楼层
这。。。。剧情是要反转了吗。。。。
B100D1E55
 楼主| 发表于 2017-11-26 11:36:55 | 显示全部楼层
本帖最后由 B100D1E55 于 2017-11-26 12:56 编辑
诸葛亮 发表于 2017-11-26 11:30
这。。。。剧情是要反转了吗。。。。

这个测试还是有一定局限性。比如恶意样本没有衡量广度,这样没法算平均感染率。说难听一点安软保护的是大众用户,小众的拦不了对厂商来说也就算是个例,把更多资源投入广度更高的威胁是必然的……把所有的恶意样本等比重算的话不公平。还有从下载站抓白样本是否就一定符合用户的使用习惯?至少他们的白文件源对国内用户来说估计没什么参考价值。

不过在这种东西上吹毛求疵就没意思了,主要因素没差就行

我倒希望看到Cylance的误报成绩,如果Cylance在这个测试里本地误报成绩不高于均线,说明这个误报测试没有很大的参考价值
KK院长
发表于 2017-11-26 11:47:18 | 显示全部楼层
现在黑黑 喜欢 垃圾邮件附件的, 几K的JS , 下载就...
URL拉黑也是安软的手段, 不管怎样拉黑再说.
B100D1E55
 楼主| 发表于 2017-11-26 11:49:48 | 显示全部楼层
KK院长 发表于 2017-11-26 11:47
现在黑黑 喜欢 垃圾邮件附件的, 几K的JS , 下载就...
URL拉黑也是安软的手段, 不管怎样拉黑再说.
[:35 ...

乱拉黑之后就是狼来了的故事
wangkaka
发表于 2017-11-26 12:11:24 | 显示全部楼层
F-Secure表示同意大佬观点,并抬了所有“队友一手”
B100D1E55
 楼主| 发表于 2017-11-26 12:16:43 | 显示全部楼层
wangkaka 发表于 2017-11-26 12:11
F-Secure表示同意大佬观点,并抬了所有“队友一手”

我随手算了一下,他们的avg应该是算数平均。如果把F-Secure从列表中移除掉,那么Symantec, BullGuard 和 Microsoft就跑到均线下方了
pal家族
发表于 2017-11-26 12:16:47 | 显示全部楼层
说句题外话,迈克菲网页信誉对于拦截国外的假药网站倒是特别在行。。
fireherman
发表于 2017-11-26 12:20:49 | 显示全部楼层


Adaware 误报居然是全绿?

这……是毁三观的节凑么?

我总觉得 Adaware 和 VBS32 是一对难兄难弟……难姊难妹……

wangkaka
发表于 2017-11-26 12:28:03 来自手机 | 显示全部楼层
B100D1E55 发表于 2017-11-26 12:16
我随手算了一下,他们的avg应该是算数平均。如果把F-Secure从列表中移除掉,那么Symantec, BullGuard 和  ...

与我对趋势诺顿迈克菲的误报观感一致,不过avast改性了?网页误报这么少了。。不敢相信啊,之前开一个百度网页就报一次的
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛|优惠券| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 苏ICP备07004770号 ) GMT+8, 2017-12-12 08:48 , Processed in 0.051965 second(s), 6 queries , MemCached On.

快速回复 返回顶部 返回列表