水星解密——万流归宗，反病毒产品测试认证（江民将加入本实验室测试，全新测评体系）

lanvin

全世界知名的拥有自主引擎知识产权的反病毒安全厂商至少有数十家，而OEM别家引擎自行设计UI并改良的更不在少数，在日常的软件使用过程中，普通用户很难了解哪些产品能为自己提供更好的保护，能够更好的适应自己的要求，因此，反病毒产品测试认证应运而生，下面将由番茄我为大家详细的介绍国内外各反病毒产品测评认证机构及其他们的大致测评认证方法。


基于海量样本的测评机构：
代表有：AV-Comparatives.org  和AV-Test GmbH
AV-Test GmbH 与AV-Comparatives.org 使用容量超过100万的海量样本集。两家机构并不限制样本集的组成，并不断的加入功能完好的新样本。这些样本包括在实际生活中已经遇到或将可能遇到的各种有害程序。

AV-Comparatives.org

AVC测试由Andreas Clementi和他的团队完成。AV-Comparatives.org自2004 年起开始在网站上向公众公开测试结果。他们的测试有着严格的测试规则和测试间期（每三个月），测试对象为16-18 款家庭版反病毒产品，这些产品运行于最常见的系统下，样本检测率均高于85％。该机构的网站免费提供关于测试方法与测试细节的报告。 AV-Comparatives.org 除了进行大量有害程序的按需扫描测试（on-demand）也进行对新型或未知的有害程序的前瞻性测试 、多态病毒测试、误报测试、扫描速度测试，等等。
AV-Comparatives.org  有时还会在测试结束后不久，发布其他专项测试的结果。AV-Comparatives颁发的奖项分三级：Standard ，Advanced 和 Advanced+。

官方网站：http://www.av-comparatives.org

关于AV-Comparatives.org使用的样本：
在2008年2月的on-demand扫描测试中，AV-Comparatives.org使用了超过168万的样本，具体的样本构成详见下图：

而2007年8月的on-demand扫描测试中，AV-Comparatives.org使用了超过80万的样本，具体的样本构成详见下图：

AVC每年举行2次on-demand的海量测试，也就是说在最近的两次扫描中间，AVC测试平台的样本在半年之内增加了87万余个，平均每个月增加约14万样本。


AV-Test GmbH   


这里的测试由Andreas Marx 的团队负责。AV-Test GmbH  从事反病毒产品（及防火墙等相关安全产品）的测试已有多年。AV-Test GmbH 的测试有固定的测试间期，测试结果由AV-Test 代表反病毒厂商或杂志，公布于包括网站、杂志等诸多媒体。
AV-Test GmbH是全球最大的反病毒产品测试中心。在多个不同的平台上对产品进行全面地测试，测试包括（但不限于）病毒爆发测试、压缩/档案测试、对海量病毒样本的按需扫描与常驻防护测试、ItW 病毒测试、扫描速度测试、系统性能影响测试等。其测试方法公开，但需付费获取。测试结果在流行的电脑杂志上都可找到，但其网站目前不提供下载。
官方网站：http://www.av-test.de

关于AV-Test GmbH使用的样本，大概可以从2008年年初的一次测试中一窥端倪：





==================================================================================================================



基于WildList 样本集为主的测试

代表有 VirusBulletin和CheckVir
The WildList（流行病毒清单）(http://www.wildlist.org)包含了世界范围内广泛传播的病毒。WildList  每周发布一次，但通常会延误几个月，这就意味着反病毒厂商在病毒上榜之前有几个月的时间来发现这些病毒。WildList主要包含病毒和蠕虫，而没有覆盖现在经常发现而且威害严重的木马和类似有害程序。The WildList Organization International隶属于ICSA Labs，在下面的认证机构中也将提到。也就是说ICSA的反病毒产品认证采用的是自己下属单位使用的样本。




VirusBulletin

VB100 测试由John Hawes组织，隔月在不同的平台上开展。所有参加测试的反病毒产品都会接受VB 病毒样本的测试，其中主要样本会出现在Wildlist（流行病毒列表）中。其他如多态病毒等测试用样本，仅用于测试，而不会影响产品是否通过测试或是否可以获得有名的VB100 奖项。VB100仅仅要求受测产品的按需扫描与常驻防护在不误报VirusBulletin  无毒样本的情况下检测到全部ItW 病毒样本，漏杀或者错杀任何一个wildlist中的样本都不能通过。

官方网站：http://www.virusbulletin.com




CheckVir

该测试由 Ferenc Leitold的团队完成。CheckVir进行针对WildList（流行病毒列表）样本的按需扫描和常驻扫描测试（其中大约 80%来自于最新的三个WildList，最多20%的病毒选自任意的WildList）。要获得标准资格受测产品需检测到测试使用的所有样本，而要得到高级资格，产品还必须能修复被感染的文件。

官方网站：http://www.checkvir.com



==================================================================================================================



基于WildList 样本的认证机构
代表的有ICSA  实验室与西海岸实验室


ICSA Labs


“ICSA  实验室的反病毒产品认证项目与其分项测试标准，对待测产品是否包含相关组件或产品来清除非自我复制型有害程序没有特殊要求，因此反病毒认证标准不要求处理有害或无害的监控软件、广告软件、后门、木马和其他的一些非自我复制程序。”受测产品（按需扫描和常驻扫描）必须检测到来自WildList 的全部病毒样本，和“Zoo”Sample  （实验室样本）中90％以上的样本。不过没人知道测试中使用的“Zoo”样本数量到底有多少。ICSA  实验室测试结果只列出成功通过测试的产品名单，网站没有提供未通过测试产品和通过测试所需次数的相关信息。ICSA实验室是Wildlist的上属机构。

官方网站：http://www.icsalabs.com



西海岸实验室


该认证由Chris Thomas团队负责。西海岸实验室（West Coast Labs）与ICSA实验室一样，是一个独立的反病毒产品测试组织。“一个产品要通过一级反病毒认证，就必须能检测到所有WildList 内的病毒。”“所有已申请一级反病毒测试的产品都会接受‘In the Wild’列表内病毒的测试，测试用病毒均至少先于产品发布前两个月被记录在WildList 中。”“对首次送检的产品，西海岸实验室将为其免费进行一次初检，之后的所有测试将按约定好的费率收费。对于未通过测试产品的复检同样按约定费率收费。”“通过二级认证的产品必须在符合一级认证的条件下，能够对所有已被流行病毒感染但尚可修复的文件进行修复。”“在流行的病毒中大约只有12 种病毒感染后的档案是可修复的。”西海岸实验室只会透露谁通过了测试，网站没有列出测试失败的产品，以及过关产品通过认证前重复送检的次数。

官方网站：http://www.westcoastlabs.org


==================================================================================================================



由于反病毒软件技术的发展已经恶意软件的日益增多，如何更好的进行反病毒软件的测试也是摆在测试机构和认证机构的一个难题。由众多知名反病毒厂商组织并发起的反恶意软件标准组织。该组织正在积极讨论有关反病毒软件测试的行业标准，并即将召开年会。该组织的会员由20余家反病毒厂商和AVC，AV-test等测评机构组成。




网址：http://www.amtso.org/


==================================================================================================================


介绍完了以上的测评认证机构，小弟不才也介绍一下我的独立反病毒测评实验室。


PC Security Labs   PC安全实验室

实验室主页为：http://www.pcsecuritylabs.net/index.php     中文博客地址为 ：http://www.pcsecuritylabs.net/cnblog/

与利用Wildlist作为样本材料的测评认证机构相同的是我们也采用流行样本库，目的是为了更好的检测反病毒软件对流行样本的查杀能力，但不同的是我们并不像WIldlist将木马蠕虫排除在样本包之外（在年初的时候Wildlist已经加入了部分木马），因为目前木马和蠕虫已经成为威胁计算机安全的最大来源。

此外我们的样本都为可执行样本，我们在虚拟机内均通过HIPS进行行为判断，目前我们使用的HIPS为Malware Defender，而且我们采取一个变种一个样本的原则，尽量做到以尽可能少的样本涵盖尽可能多的样本来源。对某些反虚拟机的样本，我们将在实体机进行测试。


在11月的测试中，我们将引入新的测评系统，测试中也将加入误报的部分，这也是我们的一个新尝试，希望能在这次测试中进行磨合并成熟系统。
11月测试厂商将为
Kaspersky
费尔
趋势
金山
IKARUS
Emsisoft
江民（新加入）

还有一些厂商将进行内测
敬请期待

如果大家对本实验室的测评有什么意见，请直接发邮件到jeffrey@pcsecuritylabs.net联系我，或者直接到实验室的论坛发表帖子：http://www.pcsecuritylabs.net/forum/index.php，番茄先谢谢各位。

PS  番茄=卡饭的Lanvin=PCSL的Jeffrey


写了这么多，还顺便给自己做了广告，真不好意思，也非常感谢大家耐心的看完帖子。总之一句话，适合自己的才是最好的，请大家对测评结果不要过于认真，一切仅供参考，谢谢。

番茄于2008年8月20日凌晨



文章部分材料来自于AVC的Andreas ，在此表示感谢







感谢水星兄弟  苹果、贝哥、好弟弟、晖哥、虾米、叶子的支持


[ 本帖最后由 lanvin 于 2008-10-25 01:10 编辑 ]

卡饭-知名人士

继续努力，支持一下

不要不好意思，俗话说：疗效再好，不如广告做的好。振兴中华科技兴国就看你们的了

[ 本帖最后由 卡饭-知名人士 于 2008-8-20 07:38 编辑 ]

悲-伤

好贴
坐前排慢慢看
这才是牛人

fish

前排学习~~请问哪个测试的参考价值比较大呢~~

zwl2828

支持番茄叔叔，能不能给人气？

syfwxmh

前排占坐支持

夜.忆铭

前排瞻仰……

dd2006

先占个位置再慢慢看

dl123100

慢慢看 多谢lz提供精品文章

PlayWill

我来晚了····
番茄的大作
我要详细拜读