查看: 8112|回复: 57
收起左侧

[讨论] 建议有心的朋友按VB100的方法测试下老外杀软,重点国内环境【Other Tests】和【RAP】

  [复制链接]
悟心之道
发表于 2011-1-4 07:38:16 | 显示全部楼层 |阅读模式
本帖最后由 悟心之道 于 2011-1-7 19:39 编辑

建议有心的朋友按VB100的方法测试下老外杀软,前半段很难模拟,主要是后半段类似模拟,个人估计,封存一段时间后,再测试查杀率不知道什么状态。
关键是不知道会低到什么程度
[:26:]

这久对杀软有点兴趣了,学习中,认识提高(准确是认识改变了)就来更新下面内容:
【增1】:比较仔细看过VB100之通过与不通过的测试和RAP测试【原文可通过三楼了解】,其方法应该还是相当科学的!当然具体测试毕竟由人来操作的偏差所在也难免!与其听某些媒体和人忽悠,不如自己花点时间认真下!不想认真就只能任人忽悠了!
【增2】:对世界级即在世界范围内都有用户的软件要求只在中国或亚太采集病毒样本来测试也是不科学的,当然采样的样本具有地区侧重或者说地区不平衡也是存在的。如果测的只在国内使用软件(国家级?)就仅在国内采集样品吧,这样的话就不要说咱们是“世界”水平了。
增3】:引用下饭友wodewowo做的测试报告 《别谈钱,伤感情!七款主流免费杀毒软件横向评测》,国产杀软做了不少【附加动作】,对上安全网及网上购物是很有帮助的。至于一次查杀率、网购安全的具体测试的结果,仅作有限参考吧,不是说测试者不认真,而是取样本有较大的随机性和偶然性!感谢wodewowo!如果本人看到这个不同意链接留言我再处理!【2011 1 7 12:59】没引其他饭友测试是因为这个测试与本主题相关性较好,其他几个测试主基本限于国内对比,想看的就该版块上有。

        


评分

参与人数 1经验 +20 收起 理由
皇甫暮云 + 20 非常值得讨论,辛苦了

查看全部评分

悟心之道
 楼主| 发表于 2011-1-4 07:50:23 | 显示全部楼层
本帖最后由 悟心之道 于 2011-1-4 07:54 编辑

编辑本段VB100权威性的质疑(这段是摘自百度的哈)
  VB100其实是20世纪的权威,而在21世纪,它被戏称为“来自20世纪的过时测试”   最初,VB100出现在大众视线中的时候,多半是来自一些国际际厂商的获奖公告。事过境迁,光阴荏苒,当一些国际媒体公开质疑,以及一些知名杀软厂商扬言退出之时(如趋势科技、大蜘蛛),国内杀毒一些厂商却终于在这个评测中“崭露头角”,并用尽平面和网络资源大肆庆祝。
  于是,VB100,这个国际诟病的过气名词翻身成为近期国内信息行业的Super Star,它也应该算是近期国内信息安全行业内除“免费”外的一个热点“专业名词”。VB100测试为什么饱受国际技术专家的诟病?它的评测标准是什么?它是否具有真正的公信力?带着这些问题,我们不妨一起了解一下这个评测。
  据了解,VB100Award奖项是英国著名的独立病毒测试中心Bulletin 以世界性组织Wild List病毒资料库作为病毒来源,对世界各国的防病毒软件进行测试后,诊断率100%、误诊率0%时赋予的奖项。
  但是,由于VB100的测试方法是基于Wildlist病毒库中已经记录的几百种(2008年4月为678个)恶意软件为标的,用被测产品对这些恶意软件的报警数和误报率为核心指标进行测试,在样本量和方法上都有明显缺陷,甚至不包括一些危害性极大的病毒类型;VB100基于数字签名的测试方法实际上要求被测产品搜集和累积恶意软件的数字签名,而不是实时威胁的即时行为分析及当下相应速度,数字签名的累积无形中降低了扫描速率并且增加了内存占用,此外还忽视了对互联网安全威胁的即时行为分析能力,正如面对不断变化的感冒病毒永远采取一种疫苗一样。更为严重的是,面对不断变化的互联网安全技术及威胁类型,VB100并没有实时改进测试方法,因而被戏称为“20世纪的测试方法”。
  由于其测试方法存在漏洞,以至于VB100的测试标准有时显得匪夷所思。举个例子,在最新的测试中(2008.08),一个国外不甚出名的杀软在该测试针对木马的检测中漏检5000个,检出率不到3%,居然获得了VB100的认可,通过该测试。无独有偶,国内厂商金山在针对多态病毒和木马的两项测试中,均漏测了2000余个病毒和木马,检出率均不及50%,也被VB100看作是通过了测试。对于主要功能应该是防御病毒和木马的杀毒软件来说,低检出率对于用户来说是致命的,但是VB100对此则显得不那么重视。这让我们不得不对其公信力产生怀疑。
  这也难怪那些技术专家会对VB100产生质疑。全美最大的安全技术开发商趋势科技(Trend Micro)反恶意软件部门首席技术官Raimund Genes指出,“这一(VB100)测试标准无视一个显而易见的事实,即当今的病毒和恶意软件并不像几年以前一样旨在迅速复制和传播,而且这一测试方法忽视了安全软件的核心品质标准——即基于行为分析对千变万化的即时危险进行极速响应的能力” 。VB100测试方法是以Wildlist病毒库的记录样本为测试标的,根据参与测试的产品对于数字签名的报警数及误报率为主要指标进行测试。 Raimund Genes戏称VB100是“20世纪的标准”,因为它已经偏离了安全软件“实时”表现这一核心品质标准,“VB100的测试并不适应互联网的实际情况,而且也不是用来测试Rootkits(软件进程的隐藏技术),基于数字签名的模式匹配只是安全软件技术拼图中的一小块,只有将行为分析纳入其中才是完整的。”
  而最近宣布退出的Dr Web认为VirusBulletin举行的评测运用现行的测试方式对自身造成了很坏的负面影响。测试的结果并不能对产品质量做出合理的评估,不能准确验证产品在保护用户抵御当前病毒的能力。活动叫做评估测试,但是事实上VirusBulletin的测试对很多当前使用的对付病毒的功能并不进行评测。在这种情况下,VB100%作为一项很高的荣誉提供给胜利的参评者,却不能很好的证明软件对当前病毒威胁的防范能力。
  对于这样的VB100,其实不必大费周章的进行炒作。究其原因,是在是因为它目前的评测依据和标准对于普通用户而言没有实际意义。一款漏检或检查不出病毒和木马的杀毒软件根本没有应用的必要。VB100,已是明日黄花。媒体没必要炒“剩饭”。
  对于国内厂商能够通过VB100中,我们自然应该感到高兴和自豪,但是我们应该也必须冷静地意识到,这种“非主流”的国际评测不能算是我国信息安全行业发展的标志性事件,因为没有它不具备完整的国际公信力。对于未来,国内杀软厂商依然任重道远。

悟心之道
 楼主| 发表于 2011-1-4 07:58:36 | 显示全部楼层

具体方法及模拟的可能性

本帖最后由 悟心之道 于 2011-1-4 20:00 编辑

这是VB100官方网页上的描述(参照标准为是官方说明准确率100%,以客观事实为依据的话准确率就不做判断了,这太难了)http://www.virusbtn.com/vb100/about/100procedure.xml
VB100 (virus) test procedures
The VB100 (virus) award is granted to any product that passes the test criteria under test conditions in the VB lab as part of the formal VB comparative review process. The basic requirements are that a product detects, both on demand and on access, in its default settings, all malware known to be 'In the Wild' at the time of the review, and generates no false positives when scanning a set of clean files. Various other tests are also carried out as part of the comparative review process, including speed measurements, and results and conclusions are included with the review. The results of these secondary tests do not affect a product's qualification for VB100 certification.
[译]

其实VB100前半段测试存在的问题咱们可以相信二楼引用部分专家的说法,当然也可以选择直接受在测试条件下100%查杀的结论,关键想知道的是【Other tests】和【RAP】在国内环境是否有所差异。
Other tests
Scanning results of several other collections of malware (zoo collections) will be included in comparative testing reports, including analysis of these results in the form of tables, graphs etc. These collections are subject to regular enlargement, updating and reorganisation without advance notice. Detection rates for these collections will be measured in the same manner as for the WildList test set. Contents of all infected collections will be listed on the VB website after test results are published.
Measurements of scanning speed and on-access overhead will also be taken and published as part of the review. Methods used to gather, analyse and present speeds are subject to modification dependent on the requirements of individual platforms and products.
Default settings
A product's default installation settings will be used for all tests, with the following exceptions:
  • Adjustments may be made to logging settings to allow adequate information to be gathered to analyse test results.
  • On-access scanning will be disabled, where possible, during on-demand testing.
  • In the event of a sample appearing to be missed due to a file type not being scanned by default (a common occurrence with, for example, archives not being scanned on access by some products), such samples may be rescanned with altered settings to verify this, in order to inform VB readers of the cause of such misses. Some adjustments to the file types scanned may be made during speed testing, in order to present more informative comparative data. Any false positive raised as a result of such alterations to default settings will not count against a product for certification, but may be recorded in the review text
【RAP】
        The following chart shows the RAP results obtained over the last four tests, with average reactive scores plotted against average proactive scores for each product. (The detection figures from any test during which a product generated false positives are omitted (for that product) from the average calculations.) This chart is updated on a bimonthly basis. Virus Bulletin subscribers have access to the detailed results of the RAP tests, including a per-test RAP quadrant.

本人E文有点拿不出手啊,有贤能可以试试?译好放后偶搬过来,或者我慢慢收集到的别人成果移植过来,请贤达斧正?
具体方法及模拟的可能性



derrick_goi
发表于 2011-1-4 09:01:30 | 显示全部楼层
围观学习
hikehiking
发表于 2011-1-4 10:09:11 | 显示全部楼层
以个人的能力没办法收集到那么多的病毒样本
这不是想做就能做的事,需要做的准备和投入是很大的
绿茵守望者
发表于 2011-1-4 13:43:28 | 显示全部楼层
哪来那么多样本啊?
悟心之道
 楼主| 发表于 2011-1-4 13:46:15 | 显示全部楼层
回复 6楼 绿茵守望者 的帖子

难度大啊
看来真要他们“说行就行,不行也行;说不行就不行,行也不行”了杯具啊
知微
发表于 2011-1-4 13:48:07 | 显示全部楼层
个人到哪收集样本?
黑夜独行
发表于 2011-1-4 14:56:36 | 显示全部楼层
就算是这样测,也不见得国外的就有多低
悟心之道
 楼主| 发表于 2011-1-4 15:15:47 | 显示全部楼层
本帖最后由 悟心之道 于 2011-1-4 15:17 编辑

回复 9楼 黑夜独行 的帖子

其实比较仔细看过E文后,觉得VB100通过与不通过的测试,以及RAP测试整体上还是比较科学的
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 沪ICP备2020031077号-2 ) GMT+8, 2024-11-24 14:21 , Processed in 0.142440 second(s), 18 queries .

卡饭网所发布的一切软件、样本、工具、文章等仅限用于学习和研究,不得将上述内容用于商业或者其他非法用途,否则产生的一切后果自负,本站信息来自网络,版权争议问题与本站无关,您必须在下载后的24小时之内从您的电脑中彻底删除上述信息,如有问题请通过邮件与我们联系。

快速回复 客服 返回顶部 返回列表