AVC最新测试结果出炉（2-3月实机防护测试）

欧阳宣

首先这个测试的样本都是链接

其实把eset贬低到mbam这个程度还是很违背事实的

PINCER

表扬F-Secure、ESET，批评TotalAV

CHURP

铁壳误报比WD还高测试环境中卡巴没输过

a27573

感觉最近ESET发力了
希望不是错觉吧。。。

HEMM

看起来很不错了，没有差异那么大的，且都是百分之90左右。
日常都能满足。

ujty

lsgster 发表于 2020-4-17 08:31
表扬一下F-Secure

FS一直冷峻而严密

ujty

K560987 发表于 2020-4-17 10:14
楼主是不是没仔细看报告？这是对恶意URL的检测的报告，只是真实世界保护测试的初步概况和情况说明，不是恶 ...

我读了它的test methodology，我觉得你是肯定没仔细看我帖子里说了啥，它的test methodology和我写的东西并不矛盾~~there is no noteworthy logical contradiction between their description of methodology and my post tbh, where I also can't really see the point of being so picky.

ujty

JAYSIR 发表于 2020-4-17 11:23
卡巴无敌，但是我2004上好像会出现问题。
换成了WD，速度很快。
malwarebytes很强吗？

国外N多人都是WD配MWB

ujty

欧阳宣 发表于 2020-4-17 13:29
首先这个测试的样本都是链接

其实把eset贬低到mbam这个程度还是很违背事实的

It has nothing to do with what I said and I am NOT "underestimating" ESET - be aware of your words. It is AVTEST who used to rate ESET really low, and you can definitely do yourself a favour to have a very brief read on their official site regarding the previous test result of ESET.

PanzerVIIIMaus

刚刚已修改


我感觉你对当前AV-TEST和AV-C的测试理解还是有一点点误差

AV-TEST的话……ESET当前只有企业版参测，而此前基本只有个人版参测，大概是ESET不想两边都测的吧，你事先查好企业版XX版本差不多是个人版XX版本，总归会有点参考意义。（但问题是关于Business端产品的测试，安全软件厂商是可以变更参测设置的，PC测试则有保持默认设置的硬性要求）
纯静态的时代在AV-TEST和AV-C眼中都已经过去
AV-C一年两次的检出率测试在前两年就抛弃了纯静态手段，测试流程是纯干货，离线一遍、联网一遍，杀剩下的双击一遍。这个对于使用保守（比如不需要访问新东西、断网使用，等诸如此类）的用户有更好的参考意义。
一年少说测个十次八次的真实世界保护测试则是从有效的带恶意软件的URL开始，像极了平时访问和谐链接，更靠近真实的猛男应用。

AV-TEST我是真搞不懂你怎么想得出来的“只有静态评测”或者说“没什么真实世界测试”。
相比AV-C，AV-TEST更像是将检出率测试和真实世界保护测试集合在一起，在评测详细结果中，二者是分开列举的。这意味着你也能知道在AV-TEST中静态水准几何，动态水准又几何。
如果你想讨论样本集的区别，抱歉，我不讨论这个问题，如果说AV-TEST的样本集可能有问题，那AV-C的样本集同样可能有问题，在没有足够资料的情况下讨论这个就像是两个 懂王 在讨论没有谁比我更了解XX一样。


AV-TEST有没有黑ESET我不知道，不作且不打算评论，我只挑几个评测去谈论AV-TEST的我所看到的部分评测机制和部分打分机制
我看见有这两条

·Protection against 0-day malware attacks, inclusive of web and e-mail threats (Real-World Testing)
·Detection of widespread and prevalent malware discovered in the last 4 weeks (the AV-TEST reference set)
第一个是以Web访问和电子邮件为主的真实世界测试，通常使用数百个样本
第二个是以静态扫描为主的检出率测试，通常使用多达数千到数万个样本
测试期两个月，每月分测，打分则将按项目和月份区分，总分则按照一定规则判定
期间保持更新，保持网络连接

详细的测试机制可以看这个链接：https://www.av-test.org/en/about ... windows-protection/

链接中没有写的是打分机制，这个的话很好摸懂，
保护测试共6分，详细到项目中，真实世界测试占3分，检出率测试占3分；
据我摸出来的规律，如果在平均线徘徊就可能被扣分，不取决于两个月的平均值
真实世界保护测试如果低于平均线一定会扣分
扫描测试允许一丢丢的容错率，稍微比平均线低一点不是问题
这里拿两个有代表性的5.5分例子：



比如一二月测试中的咖啡老哥，就在真实世界保护测试被扣了分，二月的水准略微平均线之下，所以扣0.5分
去年末测试中的蛋挞老哥，十一月的真实世界水准略微平均线之下，所以扣0.5分

拿个4.5分的例子：

Malwarebytes，一些大佬认为MB的动态防护水准是很出色的，以至于听说油管有个黑客搞针对性勒索攻击一堆杀毒软件之后推荐WD+MB，
为什么在AV-TEST上阵就被来个当头棒、大翻车?“肯定是静态扫描的问题”，楼主似乎在表达这个意思。
4.5分作为综合素质是很差的成绩，那这1.5分是差在静态扫描的问题嘛？请大家看图，这1.5分恰好全扣在真实世界保护的头上，也就是说，真实世界保护测试Malwarebytes只拿了一半的分数。
MB的动态当然很出色，但那是以前作为辅杀、补防的情况下，在卡饭我还是能看到一些大佬去搭配MB的，用过似乎都说好。
根据AV-TEST这个数据能发现的是，在AV-TEST测试的时候，及此前的一段时间内，Malwarebytes作为主杀或多或少是有些问题

那有没有扫描不行，动态还能接受的杀毒软件？
有啊，以前的BUG豆

扫描一塌糊涂，但动态防护就全靠这沙盒顶住了，
结果就是真实世界保护测试3分全满，检出率测试就拿了个鸭蛋0分，总分3分，可以抢个地主。
毛豆10之后我不知道耍了什么小手段，检出率测试也上来了，你说大改了引擎我是绝对不相信的，要我猜的话，大概是无脑拉黑吧……不过现在毛豆应该是打算在AV-TEST销声匿迹的阶段吧？

有没有情况复杂点的？
有啊，360国际版


这个是360在AV-TEST最后一次参加PC测试的成绩，时间是2017年9~10月
你能看到一些不同的地方
当AV-TEST只测试360国际版的自研引擎时，360的总分只有1分，是不是AV-TEST卖个面子勉强给个一分？
当然不是，我说过了，AV-TEST的保护测试是一分为二的，左三分右三分。360那一分是真实世界保护测试给的，没想到吧？
当AV-TEST测试了360国际版全套引擎时（注意：AV-TEST绝对不会改文件监控的引擎，所以OEM引擎与动态防护无关），这时因为检出率测试结果相当不错，3分满分了，才有的总分4分。

能否以国际版的测试成绩衡量国内版的实际水准？
不行，完全不行，自研引擎包括云、包括QVM和国内版不是一个水准，主防就更加了，当年国际版的主防是什么水准？大概就是和国内版安全卫士9.X~10.X之间浮动、各有胜负的水准，和国内版比根本就是弟弟，不说国内版强不强，至少要知道和国际版的对照参考性是一点都没有。国内版在2017年WannaCry事件之后，就加入了类似IDS的办法，具体什么玩意儿不知道，反正挡第二个永恒之蓝是足够了，但国际版加入了嘛？今年2020了，360只在去年底加入了一个国内版9.X卫士就有的核晶虚拟化，其它什么都没有。

ESET的成绩是怎么回事？

拿今年一二月测试来讲，其实我觉得ESET的成绩很优秀了，PC测试平均98%，你这个EES7.2是99.5%、98.9%，那放到PC测试妥妥的满分6分啊，这样算下来个人版全项目总分理应得到17.5分，这不就是TOP产品了嘛？你可以这样YY一下……


评测能说明一切吗？这显然不行，拿永恒之蓝为例，ESET没像样的主防啊，这时候EAV少了一个IDS那很明显你就是被吊着打的弟弟，诺顿在评测里是传统强货啊，但你要是用的是少IDS的NAV很明显同样是被吊着打的弟弟。但AV-C和AV-TEST有测吗？没有