对AV-comparatives Retrospective/ProActive Test - November 2008 的疑问

leonfg

原帖由 aerbeisi 于 2008-12-1 02:01 发表
误报应该比f-secure还低一点，不过侦测率就要排在第5位左右了。而不是第一了。

虽然符合advanced+的标准，不过大家都在最高设置上衡量成绩，不能因为你想要advanced+就变成用基本设置来衡量了，别人可都是最高设置 ...

你说得是2.7的标准。3.0默认是开高启的。只有potentially unsafe默认不开，potentially unwanted 安装时要用户自己定开不开。开了这两个只可能会提高一点检测率，因为以前在样本区见过一次别家报毒，而nod报xxx applica的，只是很少见。

[ 本帖最后由 leonfg 于 2008-12-1 03:05 编辑 ]

pippo0423

FS的HYDRA引擎从推出以来误报好多次了。。。真不知道整合后主推这个自家引擎意义何在。。。对AVP引擎补充效果没有看到，反而误报了好多次。。。最近那个DMSEVER.DLL就是。。。把一堆电脑的逻辑磁盘管理服务给直接弄没了。。。

hu1

标准不同确实不能放在一起比，但从查杀的效果上看，avc在note提的这个检测率（不提其他杀软默认设置的检测率），明显是想说default的avira的查杀效果(考量误报因素）符合在最高设置标准的advanced+所要求的效果。
    也许在默认设置时，给出的评级标准会不一样，但查杀效果是一个相对客观的标准。另外advanced+定或高或低的标准无所谓，avc完全可以认为所有杀软都不符合advanced+，但杀软之间的比较要合理一点(或者不做比较），比如误报上的few与many之间的界限有点让人头晕，总得给出一个固定标准，比如说按干净样本数的百分率。
   也许avc是为了给avira安慰才做了note的说明。（个人意见）

hu1

首先我不是高人。
其次我不无视nod。
最后我尊重许多的软件（源于做软件不容易以及效果不错）。

aerbeisi

对的，这里的few和many界定标准有待商榷，看它的意思，是15个以下为few，以上就是many了。而且事先没有说明。看样子，成绩出来后自己定的，就像某门考试，事先没有定及格线，大家普遍分数都在50~60之间，如果定60分及格可能通过率只有1~2%，这样通过率太惨，然后就定了50分为及格，结果这样，可能就有10%的通过率了。牵扯到这里，也就是大家普遍误报都在一个水平上，如果你误报特别多，如sophos，那么就没成绩了。虽然你检测率还行。如果大家都像sophos这样的误报数量，可能sophos成绩至少能排到advanced了。具体看操作者水平了，因为它这里也说了sophos是企业版给管理员用的，sophos事先给管理员发过通知，可自行判断误报，毕竟管理员电脑知识不会这么弱了。

D20099188

原帖由 hu1 于 2008-12-1 12:07 发表
首先我不是高人。
其次我不无视nod。
最后我尊重许多的软件（源于做软件不容易以及效果不错）。

咱们是同一天注册的
呵呵

leonfg

可惜考试就是这样，要不按硬规定评级，90分优秀，89就不算，60算过，59靠边站。或者像你估计的按分布情况动态评级，还是会有人觉得委屈。
什么公平不公平，什么各家厂商标准各异，不适合一起评，这样的话啥测试都别搞了。
关键的问题是——第一的是nod，要是换了某国外区第一杀软，看还有人说什么标准啊公平啥的不

原帖由 aerbeisi 于 2008-12-1 12:15 发表
对的，这里的few和many界定标准有待商榷，看它的意思，是15个以下为few，以上就是many了。而且事先没有说明。看样子，成绩出来后自己定的，就像某门考试，事先没有定及格线，大家普遍分数都在50~60之间，如果定60分及 ...

[ 本帖最后由 leonfg 于 2008-12-1 13:42 编辑 ]

hu1

公平与否这个话题很沉重，我目前比较爱用相对公平。
        恰好是误报的界限设定使得问题有了讨论的空间，对所有杀软都是如此，而avira只不过当了“案例”（可能是最有代表性的，这也是引发某些杀软爱好者情绪的原因）。
        可能你看不惯那些老针对着nod的某国外区第一杀软一部分fans的观点与心态，但不要因为这样而对某些质疑（可能触发杀软情绪的)归因于个人偏私（视之为关键原因）。我们可以无视偏激和盲目，但请不要忽视隐藏在背后的理由和实际情况。
    ps：我们可能觉得没了avira，就不会有这些带有情绪的"疑问"和“牢骚”。不幸的是，avira存在，“疑问”和“牢骚”也因而产生，但avira不等于“疑问”和“牢骚"。

easy002008

原帖由 leonfg 于 2008-12-1 13:37 发表
可惜考试就是这样，要不按硬规定评级，90分优秀，89就不算，60算过，59靠边站。或者像你估计的按分布情况动态评级，还是会有人觉得委屈。
什么公平不公平，什么各家厂商标准各异，不适合一起评，这样的话啥测试都别 ...

我记忆犹新的一件事是：前不久，某次AVC的测试中，nod32成绩不理解，立即有众多人欢呼AVC之伟大和nod32之从此没落，当时没听到某某某们来质疑

标准就是：人嘴两张皮

leonfg

你说的对。但是本来就是个测试，而且还是外国的测试。不用当多大事。细节的问题，讨论也讨论不出结果来，该质疑的依旧抱有质疑，直到以后某次出现了自已满意的结果，让别人质疑，如此往复，标准的制定总会有人因为得不到自已想要的结果而不满意。所以我说应该直接问avc，也许人家会很快回复呢。
何况，本意是讨论的title，搞的最后成了酸话和牢骚的世界，结合不久前firewall challenge结果公布后一些人的反应，让人感觉不舒服。

原帖由 hu1 于 2008-12-1 14:48 发表
公平与否这个话题很沉重，我目前比较爱用相对公平。
        恰好是误报的界限设定使得问题有了讨论的空间，对所有杀软都是如此，而avira只不过当了“案例”（可能是最有代表性的，这也是引发某些杀软爱好者情绪的原 ...