杀软性能测试方法

B100D1E55

虽然各大杀软评测机构都有定期举行性能测试，但是这些结果却有时会自相矛盾，也经常看到有人评论说这些测试结果和自己使用体验不符……
以ESET为例，在AVC最新测试中一举夺得最高分：

但是在AV-TEST的性能评级中却又和AVIRA或者AVG有些差距

再去VB看看

对系统性能影响指数为23%（以WD作为基准线），并不算最优秀。作为对比，BD为22%，腾讯为11%，卡巴是可怜的94%
值得一提的是360是-10%，是里面唯一一个出来负值的软件
其实还可以查到负载/闲置时候的CPU内存占用，这里不赘述

可以看到结果还是比较精分的……这里有个隐含问题，为了降低消费者解读数据的难度，很多数据都被过分简化了。换言之，你往往看不到细分项目的数据，而是他们的“游戏规则”处理之后的打分。
在这里贴一下三个主要评测机构的测试方法（AVC，AV-TEST，VB100）供参考
AVC如是说道：

测试用机是ThinkPad E560 （Core i5-6200U, 8GB RAM, SSD），软件环境是64-bit Win10，安装了相应的安全软件（默认设置）并联网确保云服务的正常运行。考虑到一些安全软件包含缓存等优化手段，测试的时候机器已经被“暖机”一段时间。测试会进行多次（被杀软缓存前和缓存后）并取平均值减小误差。每单次测试后电脑都会运行磁盘整理并重启六次。我们模拟了用户对文件常见的几种操作：拷贝（安全）文件，压缩/解压，下载，运行程序和打开文档（3GB的测试文件包含了图片、文档、程序、压缩包、系统文件，等等）。对于这些子测试，我们使用Windows ADK和WPT进行测量。为了防止厂商进行针对性优化，我们编写了自己的测试自动化脚本，这也能防止这些子测试项目相互干扰。此外我们还使用了PC Mark 8来模拟实际应用中的性能影响。系统启动时间不在测量项目内，因为很难确定不同软件的实际加载时间——有的杀软会通过延迟加载一些模块来减少对开机时间的影响，但有时这会降低防御强度。

AV-TEST如是说道（我感觉这太黑盒了，说了和没说差不多）：

测试项目：加载常见网页，下载常用软件，安装、启动常用程序，文件复制（本地和局域网）
可能影响测试结果的一些服务、软件在测试前会被关闭（自动更新、定期备份等）。测试用机配置确保相同。每个测试运行至少七次，如果某次测试超出标准差阈值，这项测试会重新运行以避免测量错误。最终这些测量结果会和基准线进行比较（计算性能差距）
标准PC定义：Xeon X3360， 4GB内存，500GB硬盘
高端PC定义：i7 3770， 16GB内存，512GB SSD

VB100如是说道：

测试结果是相对基准平台（没有安装任何安全软件）计算出来的，也就是说这些结果更适合被用来衡量不同杀软之间的相对性能排位，而不应被解读为具体到每个用户机器上的实际性能影响数值。我们的自动测试模拟了一系列基本的行为，包括启动常见程序，安装/卸载程序，复制/剪切文件，压缩/解压，下载文件，等等。测试用文件类型尽量贴近用户日常使用习惯。系统资源使用的测量使用WPT。CPU和内存占用在测试中每5秒记录一次。测量包含“高负载”和“空闲”两个类别。在测试中，只有杀软主界面、资源管理器，命令行程序，以及测试程序会被打开。
额外测试项目：
手动扫描测试：检测一系列干净文件，结果以文件体积/时间的吞吐率来表示
监控测试：用一个文件访问工具访问同一个测试集，并测量和裸机的性能差异
这两项测试中均包含了“冷扫描”，和“热扫描”，以反映杀软在初次接触文件，和缓存后的性能表现
此外我们还会调整杀软参数，让其扫描所有类型的文件以及档案/压缩包文件，这样可以相对公平地衡量不同杀软在监控/扫描上的性能（例如默认设置下，有一些杀软监控/扫描深度比另一些杀软来得浅，或者有的杀软只监控特定类型的文件）

可以看到以上三家评测的共性：都用了自动化脚本测试，测试的操作类似。
三家不同点：AVC额外加入了PC Mark的基准化测试结果，AV-TEST额外加入了网页加载测试，VB100消费测试仅记录了CPU和内存占用率，但细分了“空闲”和“负载”两种情况，企业级测试中额外测试了文件监控/扫描的吞吐率

不具体公开实验步骤并介绍数据处理方法，却只呈现处理过的分数的做法和耍流氓无异。上面的介绍中不排除有一些模糊的地方，因此看各家报告细分到什么地步就是一个衡量透明度的指标

完整的VB100报告（企业级）中给出了很细致的原始数据：

以及和WD对比的相对性能数据：


而AV-TEST给出了各子项的一些性能影响：

值得注意的是AV-TEST的测试中有网页加载测试（即俗称的卡网问题）而AVC没有，ESET在这项上表现落后不少（大概是因为网络监控默认高启发？上图是AnnLab）

最后，AVC神奇的棒图（PCMark数据倒还比较透明）

分非常快、快、中等三个级别（…………………………）

我个人觉得VB100算比较透明的（项目细、原始数据多）。虽然测试的项目很有限，至少在文件访问延迟上符合我对一众杀软的实际使用印象。至于其他两个我不予置评

最后附上去年10月VB100性能&检测率的图表

越靠右上角说明检测率越高且性能越好（Qihoo亮了）

INnoVation

评测也就参考下。

adbyby

收藏慢慢看吧

猪头无双

国外电脑测试性能，以AV-C为例吧，就是系统镜像+IE/EDGE+OFFICE+FLASH+各种插件+补丁。远远不到“日常”的地步。比如QQ、迅雷、微信、游戏等等国内能用的，国外从来没装过，所以性能测试看看就好

hikehiking

AV test的性能测试结果总是很奇葩

zmyx279323199

不是一家的测试，也不算矛盾

FUZE

都参考参考而已，具体还要自己体验的

B100D1E55

猪头无双 发表于 2017-1-16 16:02
国外电脑测试性能，以AV-C为例吧，就是系统镜像+IE/EDGE+OFFICE+FLASH+各种插件+补丁。远远不到“日常”的 ...

其实其他软件倒不是重点，反而可能引入测试噪声。回头看一下发现AV-TEST有测卡网，AVC没有，有点意思

sunnyjianna

可怜我还没找到一款能够征服毛病不断的win10系统的杀软，只好将就着WD

B100D1E55

sunnyjianna 发表于 2017-1-16 22:54
可怜我还没找到一款能够征服毛病不断的win10系统的杀软，只好将就着WD

WD在on-access上卡exe不是一点两点……这和一楼VB100的测试结果倒是很吻合，ESET等比其快90%以上，而BD就是个悲剧（不知道是缓存前还是后）