搜索
查看: 13292|回复: 30
收起左侧

[讨论] 杀软性能测试方法

  [复制链接]
B100D1E55
发表于 2017-1-16 13:34:01 | 显示全部楼层 |阅读模式
本帖最后由 B100D1E55 于 2017-1-18 23:02 编辑

虽然各大杀软评测机构都有定期举行性能测试,但是这些结果却有时会自相矛盾,也经常看到有人评论说这些测试结果和自己使用体验不符……
以ESET为例,在AVC最新测试中一举夺得最高分:

但是在AV-TEST的性能评级中却又和AVIRA或者AVG有些差距

再去VB看看

对系统性能影响指数为23%(以WD作为基准线),并不算最优秀。作为对比,BD为22%,腾讯为11%,卡巴是可怜的94%
值得一提的是360是-10%,是里面唯一一个出来负值的软件
其实还可以查到负载/闲置时候的CPU内存占用,这里不赘述

可以看到结果还是比较精分的……这里有个隐含问题,为了降低消费者解读数据的难度,很多数据都被过分简化了。换言之,你往往看不到细分项目的数据,而是他们的“游戏规则”处理之后的打分。
在这里贴一下三个主要评测机构的测试方法(AVC,AV-TEST,VB100)供参考
AVC如是说道:
测试用机是ThinkPad E560 (Core i5-6200U, 8GB RAM, SSD),软件环境是64-bit Win10,安装了相应的安全软件(默认设置)并联网确保云服务的正常运行。考虑到一些安全软件包含缓存等优化手段,测试的时候机器已经被“暖机”一段时间。测试会进行多次(被杀软缓存前和缓存后)并取平均值减小误差。每单次测试后电脑都会运行磁盘整理并重启六次。我们模拟了用户对文件常见的几种操作:拷贝(安全)文件,压缩/解压,下载,运行程序和打开文档(3GB的测试文件包含了图片、文档、程序、压缩包、系统文件,等等)。对于这些子测试,我们使用Windows ADK和WPT进行测量。为了防止厂商进行针对性优化,我们编写了自己的测试自动化脚本,这也能防止这些子测试项目相互干扰。此外我们还使用了PC Mark 8来模拟实际应用中的性能影响。系统启动时间不在测量项目内,因为很难确定不同软件的实际加载时间——有的杀软会通过延迟加载一些模块来减少对开机时间的影响,但有时这会降低防御强度。

AV-TEST如是说道(我感觉这太黑盒了,说了和没说差不多):
测试项目:加载常见网页,下载常用软件,安装、启动常用程序,文件复制(本地和局域网)
可能影响测试结果的一些服务、软件在测试前会被关闭(自动更新、定期备份等)。测试用机配置确保相同。每个测试运行至少七次,如果某次测试超出标准差阈值,这项测试会重新运行以避免测量错误。最终这些测量结果会和基准线进行比较(计算性能差距)
标准PC定义:Xeon X3360, 4GB内存,500GB硬盘
高端PC定义:i7 3770, 16GB内存,512GB SSD

VB100如是说道:
测试结果是相对基准平台(没有安装任何安全软件)计算出来的,也就是说这些结果更适合被用来衡量不同杀软之间的相对性能排位,而不应被解读为具体到每个用户机器上的实际性能影响数值。我们的自动测试模拟了一系列基本的行为,包括启动常见程序,安装/卸载程序,复制/剪切文件,压缩/解压,下载文件,等等。测试用文件类型尽量贴近用户日常使用习惯。系统资源使用的测量使用WPT。CPU和内存占用在测试中每5秒记录一次。测量包含“高负载”和“空闲”两个类别。在测试中,只有杀软主界面、资源管理器,命令行程序,以及测试程序会被打开。
额外测试项目:
手动扫描测试:检测一系列干净文件,结果以文件体积/时间的吞吐率来表示
监控测试:用一个文件访问工具访问同一个测试集,并测量和裸机的性能差异
这两项测试中均包含了“冷扫描”,和“热扫描”,以反映杀软在初次接触文件,和缓存后的性能表现
此外我们还会调整杀软参数,让其扫描所有类型的文件以及档案/压缩包文件,这样可以相对公平地衡量不同杀软在监控/扫描上的性能(例如默认设置下,有一些杀软监控/扫描深度比另一些杀软来得浅,或者有的杀软只监控特定类型的文件)


可以看到以上三家评测的共性:都用了自动化脚本测试,测试的操作类似。
三家不同点:AVC额外加入了PC Mark的基准化测试结果,AV-TEST额外加入了网页加载测试,VB100消费测试仅记录了CPU和内存占用率,但细分了“空闲”和“负载”两种情况,企业级测试中额外测试了文件监控/扫描的吞吐率

不具体公开实验步骤并介绍数据处理方法,却只呈现处理过的分数的做法和耍流氓无异。上面的介绍中不排除有一些模糊的地方,因此看各家报告细分到什么地步就是一个衡量透明度的指标

完整的VB100报告(企业级)中给出了很细致的原始数据:

以及和WD对比的相对性能数据:


而AV-TEST给出了各子项的一些性能影响:

值得注意的是AV-TEST的测试中有网页加载测试(即俗称的卡网问题)而AVC没有,ESET在这项上表现落后不少(大概是因为网络监控默认高启发?上图是AnnLab)

最后,AVC神奇的棒图(PCMark数据倒还比较透明)

分非常快、快、中等三个级别(…………………………)

我个人觉得VB100算比较透明的(项目细、原始数据多)。虽然测试的项目很有限,至少在文件访问延迟上符合我对一众杀软的实际使用印象。至于其他两个我不予置评

最后附上去年10月VB100性能&检测率的图表

越靠右上角说明检测率越高且性能越好(Qihoo亮了)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?快速注册

x

评分

参与人数 4分享 +2 人气 +3 收起 理由
屁颠屁颠 + 2 版区有你更精彩: )
HEMM + 1 喵喵喵~
sunnyjianna + 1 SSD才是王道,别的都是浮云
qftest + 1 比裸机还快+1

查看全部评分

INnoVation
发表于 2017-1-16 13:37:09 | 显示全部楼层
评测也就参考下。
adbyby
发表于 2017-1-16 14:27:14 来自手机 | 显示全部楼层
收藏慢慢看吧
猪头无双
头像被屏蔽
发表于 2017-1-16 16:02:18 | 显示全部楼层
国外电脑测试性能,以AV-C为例吧,就是系统镜像+IE/EDGE+OFFICE+FLASH+各种插件+补丁。远远不到“日常”的地步。比如QQ、迅雷、微信、游戏等等国内能用的,国外从来没装过,所以性能测试看看就好
hikehiking
发表于 2017-1-16 16:14:51 | 显示全部楼层
AV test的性能测试结果总是很奇葩
zmyx279323199
头像被屏蔽
发表于 2017-1-16 16:44:07 来自手机 | 显示全部楼层
不是一家的测试,也不算矛盾
FUZE
发表于 2017-1-16 17:58:09 | 显示全部楼层
都参考参考而已,具体还要自己体验的
B100D1E55
 楼主| 发表于 2017-1-16 22:53:05 | 显示全部楼层
猪头无双 发表于 2017-1-16 16:02
国外电脑测试性能,以AV-C为例吧,就是系统镜像+IE/EDGE+OFFICE+FLASH+各种插件+补丁。远远不到“日常”的 ...

其实其他软件倒不是重点,反而可能引入测试噪声。回头看一下发现AV-TEST有测卡网,AVC没有,有点意思
sunnyjianna
发表于 2017-1-16 22:54:46 | 显示全部楼层
可怜我还没找到一款能够征服毛病不断的win10系统的杀软,只好将就着WD
B100D1E55
 楼主| 发表于 2017-1-16 22:57:31 | 显示全部楼层
sunnyjianna 发表于 2017-1-16 22:54
可怜我还没找到一款能够征服毛病不断的win10系统的杀软,只好将就着WD

WD在on-access上卡exe不是一点两点……这和一楼VB100的测试结果倒是很吻合,ESET等比其快90%以上,而BD就是个悲剧(不知道是缓存前还是后)
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 晋ICP备20004298号-1 ) GMT+8, 2021-1-28 12:13 , Processed in 0.139203 second(s), 18 queries .

卡饭网所发布的一切软件、样本、工具、文章等仅限用于学习和研究,不得将上述内容用于商业或者其他非法用途,否则产生的一切后果自负,本站信息来自网络,版权争议问题与本站无关,您必须在下载后的24小时之内从您的电脑中彻底删除上述信息,如有问题请通过邮件与我们联系。

快速回复 客服 返回顶部 返回列表