查看: 10479|回复: 60
收起左侧

[讨论] 对AV-TEST和AV-C评测结果的综合分析

  [复制链接]
zxzzxzzxz
发表于 2021-6-17 23:21:57 | 显示全部楼层 |阅读模式
取同时出现在av-t20214月评测和av-c2020年总结报告中且累计参加至少十次av-t评测的十五款杀软,予以分析,其中eset由于最近参加的十期av-t评测间隔时间太长,特取近五期总分乘以二作为近十期总分。
将最近十期av-t得分之和称为av-t总分,将av-t总分z-score标准化即减去av-t总分的平均分再除以标准差得到av-t相对分。av-t相对分倒序排名如下。

                                                                                                                                                               

                                                       
                                                                av-t                                                                相对分
                                                       
                                                                F-Secure
                                                       
                                                                1.09
                                                       
                                                                Norton
                                                       
                                                                1.09
                                                       
                                                                kaspersky
                                                       
                                                                0.97
                                                       
                                                                eset调整
                                                       
                                                                0.73
                                                       
                                                                Microsoft
                                                       
                                                                0.61
                                                       
                                                                McAfee
                                                       
                                                                0.36
                                                       
                                                                Trend                                                                Micro
                                                       
                                                                0.24
                                                       
                                                                avast
                                                       
                                                                0.00
                                                       
                                                                Avira
                                                       
                                                                0.00
                                                       
                                                                Bitdefender
                                                       
                                                                -0.24
                                                       
                                                                GDATA
                                                       
                                                                -0.24
                                                       
                                                                AVG
                                                       
                                                                -0.49
                                                       
                                                                Vipre
                                                       
                                                                -0.49
                                                       
                                                                K7
                                                       
                                                                -0.73
                                                       
                                                                Total                                                                AV
                                                       
                                                                -2.91
                                                       
                                                                               
类似地,将av-c2020年总结报告中各杀软所得星星总数作为av-c总分,将其z-score标准化得到av-c相对分。av-c相对分倒序排名如下。

                                                                                                                                                               

                                                       
                                                                av-c                                                                相对分
                                                       
                                                                kaspersky
                                                       
                                                                1.41
                                                       
                                                                eset调整
                                                       
                                                                1.41
                                                       
                                                                Bitdefender
                                                       
                                                                1.41
                                                       
                                                                avast
                                                       
                                                                0.65
                                                       
                                                                AVG
                                                       
                                                                0.65
                                                       
                                                                Vipre
                                                       
                                                                0.39
                                                       
                                                                F-Secure
                                                       
                                                                0.14
                                                       
                                                                Avira
                                                       
                                                                -0.12
                                                       
                                                                GDATA
                                                       
                                                                -0.12
                                                       
                                                                McAfee
                                                       
                                                                -0.37
                                                       
                                                                K7
                                                       
                                                                -0.63
                                                       
                                                                Norton
                                                       
                                                                -0.88
                                                       
                                                                Total                                                                AV
                                                       
                                                                -0.88
                                                       
                                                                Microsoft
                                                       
                                                                -1.14
                                                       
                                                                Trend                                                                Micro
                                                       
                                                                -1.90
                                                       
                                                                               
av-t相对分和av-c相对分相加,得到合计相对分。合计相对分倒序排名如下。

                                                                                                                                                               

                                                       
                                                                合计相对分
                                                       
                                                                kaspersky
                                                       
                                                                2.38
                                                       
                                                                eset调整
                                                       
                                                                2.14
                                                       
                                                                F-Secure
                                                       
                                                                1.23
                                                       
                                                                Bitdefender
                                                       
                                                                1.17
                                                       
                                                                avast
                                                       
                                                                0.65
                                                       
                                                                Norton
                                                       
                                                                0.21
                                                       
                                                                AVG
                                                       
                                                                0.16
                                                       
                                                                McAfee
                                                       
                                                                -0.01
                                                       
                                                                Vipre
                                                       
                                                                -0.09
                                                       
                                                                Avira
                                                       
                                                                -0.12
                                                       
                                                                GDATA
                                                       
                                                                -0.36
                                                       
                                                                Microsoft
                                                       
                                                                -0.53
                                                       
                                                                K7
                                                       
                                                                -1.36
                                                       
                                                                Trend                                                                Micro
                                                       
                                                                -1.66
                                                       
                                                                Total                                                                AV
                                                       
                                                                -3.79
                                                       
                                                                               
将各杀软在av-c最近五期真实世界保护测试中误报的平均值称为该杀软的真实世界保护平均误报,其中F-Secure在最近五期中只参加了四期,Malwarebytes只参加了一期,故只计算其实际参加的评测的平均值。
类似地,可计算各杀软在最近五期真实世界保护测试中的平均查杀率。
类似地,取各杀软在av-c最近三期恶意软件保护测试中的误报和查杀率可得恶意软件保护测试平均误报和平均查杀率。
将平均误报和平均查杀率进行对数回归分析可得真实世界保护测试和恶意软件保护测试的回归方程如下:
        真实世界保护:查杀率=0.116329301908897*ln(误报)+99.2387154583019
        恶意软件保护:查杀率=0.07581598850943*ln(误报)+99.7277549967322
在给定误报下的回归方程计算出的查杀率称为该误报下的基准查杀率。
一款杀软在实际误报下的实际查杀率与在相同误报下的基准查杀率的差称为该杀软的超额查杀率。
真实世界保护超额查杀率倒序排名如下。

                                                                                                                                                               

                                                       
                                                                真实世界保护超额查杀率
                                                       
                                                                Kaspersky
                                                       
                                                                0.5679
                                                       
                                                                F-Secure
                                                       
                                                                0.4250
                                                       
                                                                Trend                                                                Micro
                                                       
                                                                0.3618
                                                       
                                                                Panda
                                                       
                                                                0.2825
                                                       
                                                                Avast
                                                       
                                                                0.2710
                                                       
                                                                AVG
                                                       
                                                                0.2710
                                                       
                                                                Bitdefender
                                                       
                                                                0.2194
                                                       
                                                                ESET
                                                       
                                                                0.1879
                                                       
                                                                Avira
                                                       
                                                                0.1666
                                                       
                                                                VIPRE
                                                       
                                                                0.1407
                                                       
                                                                G                                                                DATA
                                                       
                                                                0.0451
                                                       
                                                                K7
                                                       
                                                                -0.0206
                                                       
                                                                NortonLifeLock
                                                       
                                                                -0.0386
                                                       
                                                                Microsoft
                                                       
                                                                -0.2105
                                                       
                                                                Malwarebytes
                                                       
                                                                -0.2177
                                                       
                                                                Total                                                                Defense
                                                       
                                                                -0.7611
                                                       
                                                                McAfee
                                                       
                                                                -0.7710
                                                       
                                                                Total                                                                AV
                                                       
                                                                -0.9193
                                                       
                                                                               
恶意软件保护超额查杀率倒序排名如下。

                                                                                                                                                               

                                                       
                                                                恶意软件保护超额查杀率
                                                       
                                                                ESET
                                                       
                                                                0.2071
                                                       
                                                                G                                                                DATA
                                                       
                                                                0.1671
                                                       
                                                                Bitdefender
                                                       
                                                                0.1307
                                                       
                                                                Kaspersky
                                                       
                                                                0.1288
                                                       
                                                                Total                                                                Defense
                                                       
                                                                0.1047
                                                       
                                                                Avast
                                                       
                                                                0.0985
                                                       
                                                                AVG
                                                       
                                                                0.0985
                                                       
                                                                VIPRE
                                                       
                                                                0.0743
                                                       
                                                                Total                                                                AV
                                                       
                                                                0.0648
                                                       
                                                                Avira
                                                       
                                                                0.0582
                                                       
                                                                F-Secure
                                                       
                                                                0.0547
                                                       
                                                                McAfee
                                                       
                                                                0.0507
                                                       
                                                                NortonLifeLock
                                                       
                                                                0.0094
                                                       
                                                                Microsoft
                                                       
                                                                -0.0018
                                                       
                                                                K7
                                                       
                                                                -0.0576
                                                       
                                                                Malwarebytes
                                                       
                                                                -0.0780
                                                       
                                                                Panda
                                                       
                                                                -0.1124
                                                       
                                                                Trend                                                                Micro
                                                       
                                                                -0.9977
                                                       
                                                                               
一款杀软的真实世界保护超额查杀率与恶意软件保护超额查杀率的和称为该杀软的合计超额查杀率。合计超额查杀率倒序排名如下。

                                                                                                                                                               

                                                       
                                                                合计超额查杀率
                                                       
                                                                Kaspersky
                                                       
                                                                0.6967
                                                       
                                                                F-Secure
                                                       
                                                                0.4798
                                                       
                                                                ESET
                                                       
                                                                0.3950
                                                       
                                                                Avast
                                                       
                                                                0.3695
                                                       
                                                                AVG
                                                       
                                                                0.3695
                                                       
                                                                Bitdefender
                                                       
                                                                0.3502
                                                       
                                                                Avira
                                                       
                                                                0.2248
                                                       
                                                                VIPRE
                                                       
                                                                0.2150
                                                       
                                                                G                                                                DATA
                                                       
                                                                0.2122
                                                       
                                                                Panda
                                                       
                                                                0.1701
                                                       
                                                                NortonLifeLock
                                                       
                                                                -0.0292
                                                       
                                                                K7
                                                       
                                                                -0.0782
                                                       
                                                                Microsoft
                                                       
                                                                -0.2123
                                                       
                                                                Malwarebytes
                                                       
                                                                -0.2958
                                                       
                                                                Trend                                                                Micro
                                                       
                                                                -0.6359
                                                       
                                                                Total                                                                Defense
                                                       
                                                                -0.6564
                                                       
                                                                McAfee
                                                       
                                                                -0.7203
                                                       
                                                                Total                                                                AV
                                                       
                                                                -0.8545
                                                       
                                                                               
一款杀软的合计相对分和合计超额查杀率分别z-score标准化后的和称为相对分和超额查杀率合计分。相对分和超额查杀率合计分倒序排名如下。

                                                                                                                                                               

                                                       
                                                                相对分和超额查杀率合计分
                                                       
                                                                kaspersky
                                                       
                                                                2.9255
                                                       
                                                                eset调整
                                                       
                                                                2.1236
                                                       
                                                                F-Secure
                                                       
                                                                1.7119
                                                       
                                                                Bitdefender
                                                       
                                                                1.3962
                                                       
                                                                avast
                                                       
                                                                1.0976
                                                       
                                                                AVG
                                                       
                                                                0.7817
                                                       
                                                                Avira
                                                       
                                                                0.2911
                                                       
                                                                Vipre
                                                       
                                                                0.2860
                                                       
                                                                GDATA
                                                       
                                                                0.1062
                                                       
                                                                Norton
                                                       
                                                                -0.0379
                                                       
                                                                Microsoft
                                                       
                                                                -0.9106
                                                       
                                                                K7
                                                       
                                                                -1.1614
                                                       
                                                                McAfee
                                                       
                                                                -1.6550
                                                       
                                                                Trend                                                                Micro
                                                       
                                                                -2.5493
                                                       
                                                                Total                                                                AV
                                                       
                                                                -4.4057
                                                       
                                                                               
相对分和超额查杀率合计分的标准差为1.90429961810295,均值为0,将得分大于平均分至少一个标准差的杀软叫做一流杀软,将得分大于平均分但与平均分的差小于一个标准差的杀软叫做二流杀软,将得分不超过平均分的杀软叫做三流杀软,可得以下分类。
一流杀软:
        kaspersky
        eset调整
二流杀软:
        F-Secure
        Bitdefender
        avast
        AVG
        Avira
        Vipre
        GDATA
三流杀软:
        Norton
        Microsoft
        K7
        McAfee
        TrendMicro
        TotalAV

注意事项:
1esetav-t总分是由近五期av-t总分乘以二得出的,考虑到各杀软的av-t分数随着时间的推移普遍有所提高,eset的分数可能被高估。
2、为了获得更加准确的回归方程,在回归分析中不仅包括了第一段所述的完整参加评测的十五款杀软,还包括没有完整参加评测的三款杀软,分别是MalwarebytesPandaTotalDefense
3、超额查杀率的计算包含众多隐含的假设,其意义仅供参考,但合计超额查杀率与合计相对分的相关性高达0.81,比av-tav-c与合计相对分的相关性0.77还要高,完整的相关性分析如下。

                        相关性
               
                        av-t                        相对分
               
                        av-c                        相对分
               
                        合计相对分
               
                        真实世界保护超额查杀率
               
                        恶意软件保护超额查杀率
               
                        合计超额查杀率
               
                        相对分和超额查杀率合计分
               
                        av-t                        相对分
               
                        1.00
               

               

               

               

               

               

               
                        av-c                        相对分
               
                        0.18
               
                        1.00
               

               

               

               

               

               
                        合计相对分
               
                        0.77
               
                        0.77
               
                        1.00
               

               

               

               

               
                        真实世界保护超额查杀率
               
                        0.56
               
                        0.44
               
                        0.65
               
                        1.00
               

               

               

               
                        恶意软件保护超额查杀率
               
                        -0.05
               
                        0.66
               
                        0.40
               
                        -0.13
               
                        1.00
               

               

               
                        合计超额查杀率
               
                        0.46
               
                        0.79
               
                        0.81
               
                        0.80
               
                        0.49
               
                        1.00
               

               
                        相对分和超额查杀率合计分
               
                        0.65
               
                        0.82
               
                        0.95
               
                        0.76
               
                        0.47
               
                        0.95
               
                        1.00
               

评分

参与人数 8人气 +20 收起 理由
xiaoan0 + 1 版区有你更精彩: )
litianlong + 3 精品文章
kfunname + 1 精品文章
辔繇 + 3 版区有你更精彩: )
我要打十個 + 3 精品文章

查看全部评分

anthonyqian
发表于 2021-6-18 00:26:37 | 显示全部楼层
俺也不太懂,就是想问下你在做查杀率和误报率回归分析的时候,R值是多少 误报和查杀之间是否有因果关系
windows11BigSur
头像被屏蔽
发表于 2021-6-18 00:29:19 | 显示全部楼层
其实还是看自己需求是什么
就像诺顿BD个别测试成绩再好,电脑里游戏汉化、pj补丁多的人用着也难受
个人感觉卡巴还是综合来看最好的,没什么明显短板,也适合各种环境
救命稻草
发表于 2021-6-18 00:42:01 | 显示全部楼层
ESET AV-T应该没那么高吧。
企稳向好
发表于 2021-6-18 00:51:37 来自手机 | 显示全部楼层
好家伙,原来的美系三大全部沦为三流杀软可还行
zxzzxzzxz
 楼主| 发表于 2021-6-18 03:40:29 | 显示全部楼层
anthonyqian 发表于 2021-6-18 00:26
俺也不太懂,就是想问下你在做查杀率和误报率回归分析的时候,R值是多少 误报和查杀之间是否有因果 ...

R值并不高,但这恰恰说明不同的杀软查杀能力相差大,有的能低误报高查杀,有的高误报低查杀,所以可以通过超额查杀率判断不同杀软在相同误报下查杀率的大小。
zxzzxzzxz
 楼主| 发表于 2021-6-18 03:44:40 | 显示全部楼层
救命稻草 发表于 2021-6-18 00:42
ESET AV-T应该没那么高吧。

ESET由于并不是连续参加的近十期AV-T评测,所以用近五期AV-T总分乘以二代替近十期总分,所以其分数可能有所高估。
辔繇
发表于 2021-6-18 07:03:43 | 显示全部楼层
楼主辛苦了,今天分没了,明天再为你加上,加油!
玻璃钢耗子
发表于 2021-6-18 07:25:15 | 显示全部楼层
对于这样的排行榜。至少比特梵德决心的不服
fscs520
头像被屏蔽
发表于 2021-6-18 10:16:59 | 显示全部楼层
提示: 该帖被管理员或版主屏蔽
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 沪ICP备2020031077号-2 ) GMT+8, 2024-4-16 22:59 , Processed in 0.131749 second(s), 18 queries .

卡饭网所发布的一切软件、样本、工具、文章等仅限用于学习和研究,不得将上述内容用于商业或者其他非法用途,否则产生的一切后果自负,本站信息来自网络,版权争议问题与本站无关,您必须在下载后的24小时之内从您的电脑中彻底删除上述信息,如有问题请通过邮件与我们联系。

快速回复 客服 返回顶部 返回列表