查看: 6424|回复: 41
收起左侧

[其他] 云杀软测试审查机制

  [复制链接]
心碎乌托邦
发表于 2011-8-28 15:19:46 | 显示全部楼层 |阅读模式
本帖最后由 心碎乌托邦 于 2011-8-28 17:12 编辑

  

云杀软测试由于其特殊性,别人无法重现,其测试的公正性就很难被一般用户所检验。由于这几次的事件,即使有怀疑,但还是不能直接从数据上来反驳。



所以我建议卡饭毒组在对某云杀软的成绩有所怀疑的时候,能够加入测试成绩审查机制。其实很简单,只需要2到3天的样本,不要公布密码,自己的工作人员测试一下该杀软的一扫,如果成绩差距不是很明显应该就没多大问题,如果差距很大,继续多测试几次,5次以后如果还是有很大的差距,我想应该可以确认确实存在问题了。再考虑是不是其他因素导致的。



对于云杀软我想这个检验过程是非常有必要的,况且也不是很麻烦,只需要一些样本就可以了。但是这样却可以很大程度上杜绝作弊现象,让测试更加公正公开。



也有一些人说云杀软本身就有bug,这一点我不否认,确实云杀软存在很多不确定性。比如后台设定重点关注某些ip,重点关注扫大量可以样本的用户等等,另外如果做到速度快,直接快速上传特征,做到实时鉴定。但是这个目前还没有这种现象,也没必要为了这么个测试搞的那么复杂。所以应该是不需要担心这个的。



也有人说取消云测试。这个我觉得不应该,毕竟云杀软被越来越多的机构所认可,也被越来越多的用户所认可。不能因为存在bug就取消测试,就像不能因为人总是要死的就不活了一样。我们不可能做到绝对的公平,也不可能做到像avc,vb那样的混入大量的白样本来减少误差。我们只能做到相对的公平,但是这个相对的公平不能够打折扣。



但是目前的机制我觉得确实存在着问题,比如这次的问题。我觉得有必要增加这样一个审查机制,这是目前来讲能够让测试成绩尽可能的公平的最佳方案。卡饭测试大的格局已经不可能改变了,云应该也不会取消测试,也不可能接近实际添加大量白样本,不可能做到很多,但是却是可以做到相对的公平点的。有必要对个别测试员的测试成绩进行审查。以便从根源上杜绝作弊现象。

单选投票, 共有 104 人参与投票
79.81% (83)
5.77% (6)
14.42% (15)
您所在的用户组没有投票权限
a256886572008
发表于 2011-8-28 15:22:45 | 显示全部楼层
本帖最后由 a256886572008 于 2011-8-28 15:23 编辑

雲端,其實,你開網路,已經算是作弊了

因為,就算未知,照樣能分析
jefffire
头像被屏蔽
发表于 2011-8-28 15:23:47 | 显示全部楼层
杜绝云作弊最好的办法就是断网测试。
对于云上的作弊,其实是很难控制的,不公布样本包密码,也不能完全杜绝可能性。
心碎乌托邦
 楼主| 发表于 2011-8-28 15:24:23 | 显示全部楼层
a256886572008 发表于 2011-8-28 15:22
雲端,其實,你開網路,已經算是作弊了

因為

?这个何解?传输的时候又不需要开杀毒。。。怎么作弊啊。。。
lxilikepal
发表于 2011-8-28 15:25:10 | 显示全部楼层
……
这个要杜绝是几乎不可能的
要么指定必须在特定时间发包给密码,并且多少分钟内必须把结果发论坛上来
……
这要求又太高了

个人还是觉得把云端杀软跟传统杀软放一块儿评测不合适
淼淼于心
发表于 2011-8-28 15:26:37 | 显示全部楼层
目前我是唯一一个支持的
心碎乌托邦
 楼主| 发表于 2011-8-28 15:28:06 | 显示全部楼层
jefffire 发表于 2011-8-28 15:23
杜绝云作弊最好的办法就是断网测试。
对于云上的作弊,其实是很难控制的,不公布样本包密码,也不能完全杜 ...

确实不能杜绝,但是这样至少可以让结果更加真实一些啊。如果差距不明显,作弊的不是很明显也没什么影响。但是差距很明显的话就可以怀疑其真实性了。再追加次数,还是差距很明显就有绝对的理由来相信确实作弊了的。。。
心碎乌托邦
 楼主| 发表于 2011-8-28 15:31:17 | 显示全部楼层
lxilikepal 发表于 2011-8-28 15:25
……
这个要杜绝是几乎不可能的
要么指定必须在特定时间发包给密码,并且多少分钟内必须把结果发论坛上来 ...

我的意思是单独的测试,和那些包没关系,比如某天因为什么原因,停测一天,那么就可以自己测试一下云杀软了,这样测出来的一扫就是最真实的了,如果和那款杀软一扫的平均值没有出路,一般就可以认为没有作弊了,如果出路很明显,多找些样本再测试一下,还是有很大的出路,那就有绝对的理由说明确实存在作弊现象了。。。
lxilikepal
发表于 2011-8-28 15:34:17 | 显示全部楼层
心碎乌托邦 发表于 2011-8-28 15:31
我的意思是单独的测试,和那些包没关系,比如某天因为什么原因,停测一天,那么就可以自己测试一下云杀软 ...

你是这个意思啊……

查杀率肯定是有波动的,平均值需要样本取得越多越好。当然也不排除某些样本确实已经被云端收录进去了……
总之,这样操作起来,难度其实还是比较大
心碎乌托邦
 楼主| 发表于 2011-8-28 15:41:53 | 显示全部楼层
lxilikepal 发表于 2011-8-28 15:34
你是这个意思啊……

查杀率肯定是有波动的,平均值需要样本取得越多越好。当然也不排除某些样本确实已 ...

但是从测试区的成绩看,每次的一扫差距都不是很明显。。。极少有差很多的现象,参考360的一扫,最近几个月的差距都不是很明显。。。
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 沪ICP备2020031077号-2 ) GMT+8, 2025-2-6 03:57 , Processed in 0.123936 second(s), 18 queries .

卡饭网所发布的一切软件、样本、工具、文章等仅限用于学习和研究,不得将上述内容用于商业或者其他非法用途,否则产生的一切后果自负,本站信息来自网络,版权争议问题与本站无关,您必须在下载后的24小时之内从您的电脑中彻底删除上述信息,如有问题请通过邮件与我们联系。

快速回复 客服 返回顶部 返回列表