反病毒软件测试是否正确安全厂商提质疑

moonsilver

反病毒软件更新太快，需要经常测试其性能，所以人们想当然的会选择一款顶级的产品，想当然的认为大牌厂商的产品能够包打天下。您也是这样想的，对吧？但我认为未必。随着安全软件的复杂度日益攀升，致使安全厂商抱怨现行的评测方式不足以测试计算机防护产品中应用的新技术。 安全厂商和评测机构之间的良好关系在评测失败时，就会变得紧张起来。双方的中介代理人也赞成对评测方法进行全面改革，以使消费者正确的对比产品的特性。赛门铁克公司的反病毒工程师Mark Kennedy说：“我不认为有人会相信现在的测试正确的反映了产品之间的区别”。 kennedy说：赛门铁克公司、F-Secure公司和Panda软件公司的代表们上个月在冰岛Reykjavik召开的国际反病毒测试研讨会上达成了共识，要重新设计测试方案以更好的体现防护软件的性能。他们希望所有的安全厂商能够共同出台一个新的测试方案应用于业界。初步方案应该在9月份就能完成。传统的测试方法是跑一些恶意软件的样本来测一下反病毒引擎，反病毒引擎包含一些指标，通常称之为特征，通过这就可以识别出有害软件。但是反病毒产品在最近几年已经发生了很大变化，McAfee Inc公司的安全系统工程师Toralv Dirro就说：“现在许多产品有新的方法来检测和阻止恶意软件”。基于特征的检测方法是重要的，但随着恶意软件的暴增，会导致检测效率的下降，所以现在的安全厂商已经对恶意软件加入了多重防御方法。目前正在开发的行为检测技术，就可以根据计算机上的可疑行为来识别恶意软件。 用户不小心下载的恶意软件可能通过基于特征的方法没有检测出来，没关系，只要它开始发送垃圾邮件，这个行为一旦被识别出来，就可以把它干掉。同样的，一旦发现有程序尝试进行缓冲区溢出攻击就马上把它干掉。当然基于主机的入侵防护系统，即有防火墙功能，又可以检查可疑数据包，也可以阻止攻击。造成计算机感染的原因很多，这也使测试变得复杂。比如，可能是用户自己打开了恶意邮件的附件造成感染，也可能是访问了嵌有攻击代码的网页造成感染。分析人士说：不同的攻击方式有不同的防御措施，区别对待才能比较正确地进行测试。 另外，基于特征的测试至少要花5分钟。“这是非常基础的测试，它很简单，而且便宜”，AV-Test.org的Andreas如是说（Andreas的硕士论文就是关于反病毒测试的）。在一个，对于恶意软件的测试样本来说，跟那些互联网上的攻击样本比起来要老很多。安全厂商认为也应该测一测安全软件清除恶意软件的能力。对于安全厂商来说，一旦测试失败，测试公司将测试结果发布出来，这是很尴尬的。测试公司有很多赚钱方法，像AV-Test.org通常跟一些科技杂志社像计算机世界（隶属于IDG公司）都有生意往来，病毒公告的logo也授权给一些公司，在网上杂志上发布一个月，用于提升品质。 这个月早些时候，Virus Bulletin杂志宣称在最新的一轮测试中有一些“大写名错误”，涉及到卡巴斯基实验室和Grisoft SRO公司的产品。该杂志的VB100恶意软件测试样本是Wildlist国际组织收集的，这个组织是专门收集和研究恶意软件。为了通过VB100测试，反病毒软件必须能够发现所有样本。卡巴斯基的高级研究师在E-mail中写道：卡巴斯基只是因为在测试当天轻易地、“选择性”地把一个蠕虫病毒的特征去掉而没有通过测试。现在这个特征已经加上了，邮件中还写道：“明显的，我们本应该通过。要是测试提前一天或推后一天，我们肯定就通过了。” 同样的，F-Secure公司开始也是因为技术差异性失败了。在测试过后，所有的安全厂商都会被告知哪些样本测试失败，因此，他们不得不又把这些特征给放到产品里去。 用户该怎样选择呢？Virus Bulletin的技术顾问John Hawes提醒说：基于特征的测试并不能完全体现现实世界的多样性。当然Hawes也说基于特征的测试可以显示出安全软件的适应性和一致性。Virus Bulletin写了一份关于反病毒产品的回顾，把可用性提到了跟检测功能同等重要的位置。他们也在开发更高级的测试方案来测试新的安全技术。Marx说，AV-Test.org正在广泛开展一种只包含30到50个测试样本的测试方法，与其基于特征的测试方法相对应，这样的测试能够更好的体现安全软件的性能差异。 Marx还说：至少，用户应该装一些安全软件，没有它们计算机会面临更高的风险。但对一些轻量级的互联网应用，装一些免费产品就可以了。 有意思的是，Marx本人从不装任何反病毒软件，因为AV-Test.org是收集恶意软件的，大多从e-mail里收集。“我每天能找到1,000个病毒，多多益善。”(

The EQs

不厚道的说句。。。现在的测试方法很不科学。。。

我爱舒畅

原帖由 EQ2 于 2007-7-2 13:40 发表
不厚道的说句。。。现在的测试方法很不科学。。。

严重同意，现在的测试方法需要更新了

woai_jolin

原帖由 EQ2 于 2007-7-2 13:40 发表
不厚道的说句。。。现在的测试方法很不科学。。。

就是就是
现在的评测太单方面咯

jpzy

呵呵，测试最终还是要由厂商来制订标准的！
就像机电产品一样，汽车的测试就是各大厂商制订标准！
不过，这里面也有博弈~~~~
唉，什么东西沾了利益的边，都会多多少少有偏颇的！
所以测试的问题，大家凑活看看就得了！

天涯海客

嘿嘿...........个人感觉现在的评测太单方面

piratk

我们暂且不考虑利益相关者和公司博弈，软体的评测向来都是个难题……
更何况杀软有很强的地域性和差异性……

比较好的一个方法就是固定一个平台，从平台上来讲……

而目前来看就是一个病毒库，而病毒库这个平台仍有很多小平台而言…譬如中国，还是全世界…
而病毒的样本又是如何收集？ 病毒样本本身同样有很多问题……而杀软对待病毒的处理方式又有不同……

所以，真正平的平台很难找……

daniel_zj

原来如此

jitao2826

个人可以测评自己的软件,但是一个好的软件让人都说他好还真的很难啊!

yinxuchina

原帖由 jpzy 于 2007-7-2 15:49 发表
呵呵，测试最终还是要由厂商来制订标准的！
就像机电产品一样，汽车的测试就是各大厂商制订标准！
不过，这里面也有博弈~~~~
唉，什么东西沾了利益的边，都会多多少少有偏颇的！
所以测试的问题，大家凑活看 ...

汽车的测试国家是有标准的