eset是这样看待评测机构的

The EQs

不像测试者与反病毒研究机构没有任何联系，这些机构得到了反病毒研究机构的普遍信任（虽然未必都是该机构中的成员），被认为在有能力、安全、合乎职业道德的前提下，严守中立地对杀毒软件的检测能力进行测试。这种被信任的身份，使得他们通常可以得到经过正式鉴定的病毒样本，例如由WildList国际组织（http://www.wildlist.org/，一个与绝大多数主要反病毒厂商的研究人员、许多大公司及教育机构之间都有合作的组织）收集、测试和正式鉴定的病毒样本。

反病毒团体认为，绝大多数由行业认可的测试机构以外的测试是无效的，或者换句话说是不适宜的。原因是：无法判定其测试能力，因此，也就不能判定
——其测试方法是否适当
——其是否遵守安全技术规章，行业的道德规章和标准


由于存在这些问题，反病毒研究机构的成员们出于职业道德层面的考虑，是不能将病毒样本与未经认可的测试者共享的。因此，测试者是不能假定测试样本的来源及其可靠性的。通常，那些无权使用反病毒机构样本库的测试者，会通过病毒交流网站和其它途径（可能有争议的）来获得样本。通过这些途径获得的样本可能包含各种各样的非病毒样本（如垃圾文件，未遂病毒，尸文件等等）。如果评论媒体委托一个认可的机构来进行测试，一些问题就能够得到解决。（例如，AV-Test为杂志评论专栏所做的几种类型的测试。）


奇怪的是，这些困难达成了（但不是引起）这样一种状况：关注杀软检测未知病毒能力的测试者，早在启发式技术这一名称正式出现并拥有―21世纪的能力‖之前，就已经通过制造变种的方式，对其进行测试了。遗憾的是，这一般都使用了不可靠的病毒生成器和不恰当的病毒模拟器，而且随意的放置或掩盖病毒代码和文本串等等[15]。



当然，测试一款杀毒软件的启发式能力是一项很有意义的工作（特别是现在扫描器具有了启发式检测能力）。但是合理安全地进行这种测试，与检测已知病毒有着同样重要的意义。在缺乏妥善管理的测试病毒库的情况下，不能保证用于测试的都是有效的，具有活性的病毒。那些由于缺少与反病毒研究机构的直接接触，其能力受到质疑的测试者，如果不公开他们的测试方法，尤其是样本的有效性，会给他们自己以及依赖于其测试结果的人们带来更多的误解。



我们认为有效性是指被测试代码是否的确是恶意的——也就是说病毒必须具备自我复制的能力，蠕虫必须能以某种方式传播等等。通常，如果测试者在测试时没有遵循这些有效性，很多代码就会在事后被证实并不是恶意的，而是错误地使用了一些遭到破坏的或本身就合法的文件进行测试。



在最近的一个例子中[16]，有人间接性地建议委托机构，使用病毒生成机完成测试。这直接导致反病毒研究者们怀疑测试者的能力，因为众所周知，病毒生成器在产生活动病毒时是极其不可靠的。因为没有描述详细的测试方法，所以也就不知道他们是否验证，以及如何验证了所使用样本的有效性。



病毒测试样本中，如果含有一些或全部的非病毒文件，就会使测试无效。既如此，那么最高的病毒检测率未必等于最佳的性能，因为即使被测试的杀毒软件都采用了一致设置的情况下，也产生了大量的误报[15]。




反病毒行业不愿宽恕那些制造新的恶意软件或病毒代码的行为，即使仅仅是为了测试。这有很多原因：大多数研究者坚持严格的道德规范，担心新的病毒落入缺乏经验的测试者手中造成安全问题，有效性验证方面的困难等等。尽管如此，测试扫描器的启发式能力，实际上是不必制造病毒的。




―回溯测试‖就是用经过验证的恶意软件（这些恶意软件是在被测试的扫描器最后一次更新后才出现的）对一段时间（一般选择三个月）没有更新的扫描器进行测试。这就合理的保证了测试的是启发式能力，而非特征码算法检测已知病毒的能力。这样的测试，在没有减少有效性需求的基础上，避免了为测试而制造新病毒，带来的的道德层面上和实践过程中的困难。然而，这并不意味着不需验证病毒样本和认真进行有意义的测试。



几乎所有的主流反病毒厂商，每天（或者更频繁地）都提供病毒库的更新，所以测试一个过期三个月的扫描器，并不能说明它当前的病毒检测能力。一个更有效的方法可能是采用不同的时间表测试其能力，或者是抽取一个病毒测试各杀软首次检测到的时间。显然，扫描器在恶意软件被纳入病毒库之前就能够检测到是很值得注意的。
在缺乏妥善管理的测试病毒库的情况下，不能保证用于测试的都是有效的，具有活性的病毒

[ 本帖最后由 EQ2 于 2007-8-3 01:56 编辑 ]

solcroft

ESET这么有空来对评测机构含沙射影，倒不如花点时间处理上报

zhengjun0202

如果eset像卡巴那样处理上报，就不是e set了

矩阵革命

我看ESET说的很客观
2楼的何来含沙射影之说？

傻猪猪米走鸡

客观70%，指桑骂槐也有30%

kasper

很在理    国外的很严谨~~~~~~~~~~

hj5abc

We’ve seen a lot of very, very bad tests and people think that it detects 10 viruses. Statistically speaking, that’s such a small sub-set out of any capability. And it’s pretty random as to whether those files will be detected or not. And the first reason for that is that people don’t realize that to actually be a virus, it must replicate. It has to be able to do the actual things that a virus does. And that is when you install it, it replicates a copy of itself and then it replicates further copies of itself into other files or across the network or however it is meant to spread. It doesn’t do any of that, then it’s not a virus.

solcroft

ESET以为评测机构都是辨不清病毒的傻子，只有自己最清楚

hj5abc

其实厂商们都会这样做的..本着自己是安全机构+宣传产品.

The EQs

有的机构比如个人的测试和virus.gr的测试的根据只要有一个杀软报就认为是病毒。。。。防病毒软件厂商不相信这些测试机构也是能够理解的