趋势科技挑战业界潜规则，抵制VB100杀毒测试

aerbeisi

来源：墨者在线

        全球领先的主流杀毒厂商与杀毒软件评测机构与上周就如何评测杀毒软件产生重大分歧。趋势科技于上周宣布抵制主流的评测认证VB100。
        趋势科技CTO Raimund Genes于上周五告诉SecurityFocus，趋势科技将不再寻求VB100的认证。由杀毒产业观察者VirusBulletin管理的VB100认证是测试杀毒软件能否检测到被称为WildList(在野病毒列表)并不会误认非病毒的程序为恶意。WildList是一个由安全专家们在互联网上收集到的一个病毒的较小的样本集合。
        Genes说，该测试的问题在于一是目前最重要的威胁不是病毒，而是木马程序、肉鸡软件；其二在于杀毒软件均是透过互联网更新，而该测试称由于安全的原因而不允许有网络连接；其三也是问题最大的，目前杀毒厂商每年都必须处理大量的新的威胁，比如2007年各大杀毒厂商平均统计显示恶意软件的变种至少有50万，而该测试仅检测不到1000种威胁。Genes还表示，如果测试是针对100万种威胁而非700个过期的恶意软件，那才是真正比较理想公正的方法。
        针对趋势的声明，VirusBulletin则强调VB100认证的目的不在于针对大量恶意软件来衡量一个产品的效果和性能，而在于对杀毒软件设定一个通常能超越的基准线。VB技术顾问John Hawes在一个访谈中告诉媒体：“我们的测试非常简单，就是要求检测出所有WildList内的病毒而不误报。通过对一个产品一段时间的观察，我们从测试结果应该可以了解到厂商的竞争力和可靠程度……如果WildList中的任意一个病毒样本未被检测到或者有任意一个非恶意软件被误报为病毒，该产品就未通过测试从而就不能获得认证。通常厂商有时会漏过一个狡猾的特征码或错误地标记一个无害文件为病毒。持续地通过测试就意味着产品被很好地维护……”
         这种通过–失败的方式在一定程度上激怒了软件厂商，熊猫卫士自2002年起就不再参加任何认证。趋势科技在过去的三次测试中均未通过：2007年8月由于一个误报，之后是漏报三个病毒，最近2008年4月是两次误报。
         对评测机构的不满使得相关的激辩成为去年冰岛雷克雅未克一次会议的热议主题。之后今年1月，安全厂商、独立人士和媒体的评测实验室共同发起组建一个产业团体：反恶意软件测试标准组织(AMTSO)，以致力于建立测试和评估杀毒软件的最佳实践和标准。
         杀毒厂商Eset技术教育总监Randy Abrams针对这样的讨论评论表示，这样的顾虑并不是一件新鲜的事情，对杀毒软件的评测到了超越WildList的时间了。在VirusBulletin2007年6月刊中在他指出“从保护用户的角度来看一致的观点是WildList评测结果基本起不到衡量的作用；从测试者而言，WildList提供了一种相对可重复和可信的标准。然而测试的敏感性和针对该测试的“应试型”研究使得WildList终将走向消亡。”测试和真实世界实际效果的相关性由于今年恶意软件问题规模的急剧增长而日益降低。VirusBulletin也表示打心眼里接受杀毒业界的批评并将改进其评测机制，加入木马样本；但VirusBulletin同时也表示由于组织规模小和工作量的巨大，此项工作的进展会非常缓慢。
        凭借专业技术团队在安全产业十数年经验的墨者安全专家认为，对杀毒软件评测的机制确实值得进行深度思考和探索，否则这样的评测只是误导最终用户的“潜规则”。其直接后果就是安全威胁愈演愈烈，而杀毒厂商则安于现状、不思进取。
1.
评测必须以对最终用户的保护效果为出发点和终结点。查杀率不等于保护效果！理性而逻辑地来看，查杀率只是保护效果的一个必要条件，而不是充分条件；而且这样的数据必须像物理学实验数据一样经得起统计学中相关性和误差分析的考验。十年前的WildList是所有病毒的一个典型样本集合，而目前不到1000个病毒样本对于50万变种，评测的只是占总威胁20%的病毒(瑞星2007年中国恶意软件疫情报告)。这种不具代表性的测试样本和难以令人信服其相关性，极高的敏感性也难怪熊猫卫士、趋势科技等杀毒厂商奋而挑战：试想如果有公司透过种种手段事先得到用于测试的近1000个样本，而没有事先获得样本的趋势科技每年勤勤恳恳地增加上百万特征码而漏过或误报一两个。这样的测试结果是何等的不公平！
2.
墨者安全专家认为杀毒软件评测方法必须满足以下三项要求：
a)
大而且典型的样本集合
b)
互联网已经成为软件的一部分，需要采用相关手段避免病毒散播，但是这样才能真正了解产品的保护效果
c)
实际的保护效果而非查杀效果。静态查杀只是最简单、快捷的一种方式，而越来越多的新型防御技术如免疫技术、行为检测技术等无法通过这种简单查杀方式评判。
       既然有潜规则，其背后就必然有寻租行为。最大的得益者VirusBulletin、WildList组织和该组织的提交样本的通信员们，以及站在这两个组织后面因此项测试而获得巨大商业利益的大小杀毒厂商自然要竭力维护现有的体制和游戏规则。这对于中国的安全厂商来说值得深思和反省：人云亦云只能是自缚手脚，我们应该勇于挑战这样的不公规则，这样才能真正有利于杀毒、安全产业的健康发展，才能真正还用户以安全的信心。

The EQs

趋势不是第一个抵制的了。。Panda,FRISK和ESET也早就开始抵制了。。。。只是为了宣传才不得不在官方网站说自己通过了测试。。。

北方星空

反正我不买他的帐，吹吧

水木

VB100%不做过多评论

hovereagle

好文！不要拿VB100当尚方宝剑！

[ 本帖最后由 hovereagle 于 2008-6-12 15:39 编辑 ]

carlcai

还是相信AMTSO吧，这个是世界顶尖杀毒厂商汇聚的专业反毒组织，专业性不容小视，很多专家认为AMTSO会在近年的反毒方面起到领导地位！[:1:]

The EQs

连Panda这种一向无视评测的厂商都加入了。。。。。有看头的说。。。。。

嘁。不稀罕~

e .昏迷，只是由胜到衰的一个过程，因为VB100的步伐慢了，没有与时俱进吧！会有新产物出现的，就像互联网由Yahoo！变为Google！

The EQs

有“专家"说google也会不久后死亡的。。。。。

嘁。不稀罕~

新陈代谢！恐龙都灭绝了！