从AVC检测率看杀软的中毒概率

bbszy

        注：卡饭论坛ID：bbszy在卡饭论坛国外杀毒软件版区首发，转载需注明出处及原文地址。

        AVC有两个测试经常受大家关注，一个是真实世界动态保护测试，还有一个是考察静态扫描检测率的“File Detection Test”。AVC还有一个测试“Microsoft-prevalence-based analysis of the File Detection Tests”最近引起了我的关注，我就这个测试的报告跟大家讨论一下杀软检测率与中毒概率的关系。

        这个测试目前进行了两次：2013年9月的一次和2014年3月的一次。
        测试报告下载：
        September 2013：http://www.av-comparatives.org/w ... lence_201309_en.pdf
        March 2014：http://www.av-comparatives.info/ ... lence_201403_en.pdf

The essence of this report is as follows. Of the prevalent samples used in the malware-detection test, some will pose a greater threat to the average user than others as they are more widespread thanothers. Some may target e.g. a specific company or user base, but present less of risk to other users. Other malware samples may only be found on specific websites, affect specific countries/regions, or only be relevant to particular operating system versions or interface languages.

        根据测试报告，可以看出，这是一个静态扫描测试，但同时，还会对各杀软的漏报病毒进行统计和分析，来统计各杀软用户遇到这些遗漏病毒的概率，也就是说，会统计不同国家地区的用户使用这些杀软中毒的概率。

        下面分别说一下这两次的测试结果：

1. 2013年9月：

        （1）总成绩：

Based on the missed samples and the detection rate over the whole test-set, Microsoft have calculated a value called the FinalVendorImpactNormalisedByTestSet, which represents the normalised Customer Impact. This can be seen in the table below. The Customer Impact can be read as follows: Microsoft (for example) has 0.003556, which means that statistically speaking, 356 in 100000 systems would have been affected. The different colors in the table illustrate products scoring better than the baseline (Microsoft).

       

        根据报告里写的，第一栏Customer Impact是说，（根据一定的算法）使用这个杀软，每十万人里将有多少人中毒（对于本次测试中其漏报的样本）而得出的概率，比如panda，对于其漏报的样本，每十万人里只有40人会中毒。

        （2）各地区用户感染率：
       
        选取几个常见的杀软，说说中国大陆用户使用的话的中毒概率。由于对于全球各地区的感染概率，只给出了中毒概率前20的国家和地区，所以对于有的杀软只能根据报告中给出的最小感染概率以及地图中颜色的深浅来判断。但是不同图的颜色深浅度没有可比性，颜色深浅是对于一幅图而言的。

        avast：使用avast，中国用户大陆在全球avast用户中，感染率最高，每十万人中有4177人中毒。

        AVG：使用AVG，中国用户大陆在全球AVG用户中，感染率最高，每十万人中有3658人中毒。

        小红伞：使用小红伞，中国用户大陆在全球小红伞用户中，感染率最高，每十万人中有1167人中毒。

        BD：使用BD，中国用户大陆在全球BD用户中，感染率最高，每十万人中有2119人中毒。

        ESET：使用ESET，中国用户大陆在全球ESET用户中，感染率最高，每十万人中有1853人中毒。

        F-Secure：使用F-Secure，中国用户大陆在全球F-Secure用户中，感染率没有进前20，感染概率比第20名 每十万人中有215人中毒 低。

        卡巴：使用卡巴，中国用户大陆在全球卡巴用户中，感染率最高，每十万人中有54人中毒。

        金山：使用金山，中国用户大陆在全球金山用户中，感染率最高，每十万人中有1170人中毒。

        mcafee：使用mcafee，中国用户大陆在全球mcafee用户中，感染率最高，每十万人中有94人中毒。

        MSE：使用MSE，中国用户大陆在全球MSE用户中，感染率最高，每十万人中有1272人中毒。

        panda：使用panda，中国用户大陆在全球panda用户中，感染率最高，每十万人中有30人中毒。

        360：使用360，中国用户大陆在全球360用户中，感染率最高，每十万人中有2126人中毒。

        腾讯管家：使用腾讯管家，中国用户大陆在全球管家用户中，感染率最高，每十万人中有1160人中毒。

        趋势：使用趋势，中国用户大陆在全球趋势用户中，感染率排名第6，每十万人中有255人中毒。

        从2013年9月的报告出可以看出：中国大陆用户使用的感染率最高前三名（从上述列出的）杀软是：avast AVG 360；感染率最低的前三名是：panda，卡巴，mcafee

2. 2014年3月：

        （1）总成绩：
       
               

        （2）各地区用户感染率：
       
        选取几个常见的杀软，说说中国大陆用户使用的话的中毒概率。由于对于全球各地区的感染概率，只给出了中毒概率前20的国家和地区，所以对于有的杀软只能根据报告中给出的最小感染概率以及地图中颜色的深浅来判断。但是不同图的颜色深浅度没有可比性，颜色深浅是对于一幅图而言的。

        avast：使用avast，中国用户大陆在全球avast用户中，感染率没有进前20，感染概率比第20名 每十万人中有3414人中毒 低。

        AVG：使用AVG，中国用户大陆在全球AVG用户中，感染率排名第3，每十万人中有1522人中毒。

        小红伞：使用小红伞，中国用户大陆在全球小红伞用户中，感染率排名14，每十万人中有466人中毒。

        百度杀毒英文版：使用百度杀毒英文版，中国用户大陆在全球百度杀毒英文版用户中，感染率没有进前20，感染概率比第20名 每十万人中有3878人中毒 低。

        BD：使用BD，中国用户大陆在全球BD用户中，没有进前20，感染概率比第20名 每十万人中有2735人中毒 低。

        ESET：使用ESET，中国用户大陆在全球ESET用户中，感染率排名第11，每十万人中有2004人中毒。

        F-Secure：使用F-Secure，中国用户大陆在全球F-Secure用户中，感染率没有进前20，感染概率比第20名 每十万人中有1883人中毒 低。

        卡巴：使用卡巴，中国用户大陆在全球卡巴用户中，感染率最高，每十万人中有681人中毒。

        金山：使用金山，中国用户大陆在全球金山用户中，感染率没有进前20，感染概率比第20名 每十万人中有2789人中毒 低。

        mcafee：使用mcafee，中国用户大陆在全球mcafee用户中，感染率最高，每十万人中有928人中毒。

        MSE：使用MSE，中国用户大陆在全球MSE用户中，感染率排名第4，每十万人中有776人中毒。

        panda：使用panda，中国用户大陆在全球panda用户中，感染率没有进前20，感染概率比第20名 每十万人中有557人中毒 低。

        360：使用360，中国用户大陆在全球360用户中，感染率没有进前20，感染概率比第20名 每十万人中有2882人中毒 低。

        腾讯管家：使用腾讯管家，中国用户大陆在全球管家用户中，感染率排名第6，每十万人中有675人中毒。

        趋势：使用趋势，中国用户大陆在全球趋势用户中，感染率没有进前20，感染概率比第20名 每十万人中有2941人中毒 低。

        对于2014年3月的报告与2013年9月的报告相比较，排名变化较大。对于2014年3月的报告，腾讯电脑管家在大陆相对较有优势，感染概率比较低，同时panda、卡巴、MSE、mcafee也是比较低的。


        针对两次报告，对于中国大陆用户，avast的感染概率相当高，而对于卡巴、mcafee、panda感染概率比较低，而对于eset、小红伞、f-secure则处于中游水平。

屁颠屁颠

bbszy你好

你的帖子已被推荐到论坛首页轮播图推荐，感谢你的分享，望再接再厉，分享更多有价值的内容

bbszy

屁颠屁颠 发表于 2014-10-13 15:37
bbszy你好

你的帖子已被推荐到论坛首页轮播图推荐，感谢你的分享，望再接再厉，分享更多有价值的内容

多谢支持~

饭@avast

这个报告里中国区的数据和实际体验上还是有一些差距.mse的感染率,因为样本集和流行度数据是微软给的?

bbszy

饭@avast 发表于 2014-10-13 15:39
这个报告里中国区的数据和实际体验上还是有一些差距.mse的感染率,因为样本集和流行度数据是微软给的?

This report has been commissioned by Microsoft and is based on telemetry data provided by Microsoft.

报告里说委托微软弄得，所以我也基本上是转述报告的内容

13年的测试mse的成绩也不是特别好

两次测试排名变化很大，只有卡巴、mcafee、panda两次都是名列前茅

饭@avast

bbszy 发表于 2014-10-13 15:41
报告里说委托微软弄得，所以我也基本上是转述报告的内容

13年的测试mse的成绩也不是特别好

嗯,大厂对付高危流行基本不会含糊的

驭龙

这个就是Microsoft认为传统测试对MA家族不公平，所以才联合测试机构对安软感染率（流行性的威胁）的新型测评方式，不过这个更接近于用户的实际使用环境，我只是不认为MA真的那么强，因为低威胁它不杀，中了也不一定算感染，所以排名高？

bbszy

驭龙 发表于 2014-10-13 15:53
这个就是Microsoft认为传统测试对MA家族不公平，所以才联合测试机构对安软感染率（流行性的威胁）的新型测 ...

MA在13年的成绩一般哦，在14年的才可以。

只有两次测试，还不能反映其一般性。

不过有几款的中毒概率还是比较符合实际使用的，不管高的还是低的，我就不点名了。

驭龙

bbszy 发表于 2014-10-13 15:59
MA在13年的成绩一般哦，在14年的才可以。

只有两次测试，还不能反映其一般性。

当然，因为13年下半年以后的MA大力改进云了，所以好一点了。

嗯，Kaspersky和McAfee确实是强悍，不服不行

ksss5566

驭龙 发表于 2014-10-13 16:10
当然，因为13年下半年以后的MA大力改进云了，所以好一点了。

嗯，Kaspersky和McAfee确实是强悍，不服 ...

用户群对这个调查结果存在影响吗？
比如：国内，用panda、咖啡、数字国际版的很少吧。