对AV-TEST和AV-C评测结果的综合分析

anthonyqian

windows11BigSur 发表于 2021-6-21 00:33
BD对pj补丁和修改软件等误杀非常迟钝和消极，这也是过宽的商业OEM授权这把双刃剑给BD带来的历史包袱，而 ...

pj和修改软件不算误杀范畴吧。。。

zxzzxzzxz

anthonyqian 发表于 2021-6-20 22:06
你引入“ 超额查杀率”这个概念就默认查杀率和误报率是有关系的，并且存在正相关关系。然而这一点并没有 ...

超额查杀率实际就是对查杀率和误报的加权求和，例如回归方程是y=ax+b，x是误报，y是查杀率，记杀软A的实际查杀率为A1，误报为A2则杀软A的超额查杀率为A1-a*A2-b，你看这个式子不就是误报和查杀率以1和-a为权重加权求和再减去b这个常数吗？标准化之后b这个常数可以忽略。而对两个数加权求和需要两个数有足够相关性吗？
超额查杀率实质就是对实际查杀率的改进，同时考虑了查杀率和误报这两个因素，而回归方程仅仅是决定了加权求和的权重。这很好理解，例如假设考试成绩与实际能力和考试准备时间有关，那么对考试成绩和考试准备时间进行回归分析求其残差，则残差由于消除了考试准备时间的影响所以更能够反应考生的实际能力。实际查杀率与误报和技术能力有关，这是显而易见的，技术越强查杀率越高；同时能够容忍的误报越高，查杀率也越高，所以将实际查杀率与误报进行回归分析求其残差，相比于实际查杀率可以更准确反应杀软的技术能力。有一些杀软误报低查杀低，有一些杀软误报高查杀高，如果只看实际查杀率，那么这两种杀软就无法进行客观比较，所以需要同时考虑误报和查杀两个因素的超额查杀率来对比。
av-t和av-c的分数确实已经考虑了误报，但av-t和av-c分数相关性只有0.18，而两者都是对杀软的评测，理应有内在的一致性，所以通过对评测结果进行计算，以求找出潜在一致性。通过av-c评测结果计算出的真实世界保护超额查杀率和av-t总分相关性0.56，与av-c相关性0.44，与合计相对分相关性0.65；恶意软件保护超额查杀率与av-t总分不相关，与av-c总分相关性0.66，与合计相对分相关性0.40，合计超额查杀率与av-t总分相关性0.46，与av-c总分相关性0.79，与合计相对分相关性0.81，超额查杀率是关联av-t和av-c评测结果的桥梁。av-c真实世界保护分数与av-t分数也有相关性，但相关性较弱，这可能是因为av-c评测每一项就分四档，0星、1星、2星、3星，而av-t分数最小相差0.5分，所以真实世界保护超额查杀率与av-t分数相关性比av-c中真实世界保护分数与av-t分数相关性要高。
av-t误报测试的区分度比较低，例如最新一期评测中误报测试满分的杀软有16个，占比76%，误报最高的PC Matic也只有8个误报。av-t误报测试的变异系数是0.088970405，av-c真实世界保护测试误报的变异系数是0.990267318，av-c恶意软件保护测试误报的变异系数是1.149111909，所以我觉得av-c的误报测试更为可靠。

zwl2828

windows11BigSur 发表于 2021-6-20 02:06
感觉现在的BD才是 盛名之下，其实难副，我并不质疑BD的病毒识别能力，但是易用性、性能、误报，让我很难 ...

赞同你的观点。之前用 Bitdefender 的时候，感觉整体用户界面、交互设计很别扭，用起来很不舒服的感觉，像是一件未完成或者欠打磨的作品。其次，对于其性能我也很难认同，我的计算机硬件配置并不差，但是用起来有阻滞感。

windows11BigSur

zwl2828 发表于 2021-6-21 06:06
赞同你的观点。之前用 Bitdefender 的时候，感觉整体用户界面、交互设计很别扭，用起来很不舒服的感觉， ...

对，就是那种再好的配置都救不了的阻滞感，装了BD后电脑就像慢一拍似的，用卡巴和ESET就完全没有这种情况

anthonyqian

zxzzxzzxz 发表于 2021-6-21 05:50
超额查杀率实际就是对查杀率和误报的加权求和，例如回归方程是y=ax+b，x是误报，y是查杀率，记杀软A的实 ...

我还是觉得你的模型很奇怪，这是你自己想的还是参考文献的？如果真的可以用线性回归得出“超额查杀率”，为什么国际评测机构不这么做，而是将查杀率和误报率分别列示？事实上，没必要简单问题复杂化。

zxzzxzzxz

anthonyqian 发表于 2021-6-21 12:57
我还是觉得你的模型很奇怪，这是你自己想的还是参考文献的？如果真的可以用线性回归得出“超额查杀率”， ...

评测机构也会同时考虑误报和查杀得出最终结论，例如av-c综合考虑误报和查杀得出零星、一星、二星、三星的结论，而超额查杀率是综合考虑误报和查杀得出的加权求和值，超额查杀率和星星数量的区别主要就是一个是离散变量一个是连续变量而已。它们都是对误报和查杀的综合考虑，为什么计算星星数量就可以，计算超额查杀率就不可以？误报很重要，查杀率也很重要，所以通过加权求和求出能够同时反映误报和查杀的超额查杀率有什么问题吗？事实上超额查杀率比星星数量更简洁，为什么要人为设定分类标准然后分类而不是直接加权求和呢？假如现有语文、数学和英语成绩，想要知道综合成绩，是把这三科成绩按一定权重加在一起简单，还是分别列出，再划分个零星、一星、二星、三星简单？

anthonyqian

zxzzxzzxz 发表于 2021-6-21 18:43
评测机构也会同时考虑误报和查杀得出最终结论，例如av-c综合考虑误报和查杀得出零星、一星、二星、三星的 ...

真的要较真的话，人家国际评测机构在处理误报测试的时候，会考虑到当期测验的每个误报样本的普及度和潜在影响力，以及当期测试所有杀软的相对表现，然后确定各个样本的权重并确定误报高中低档次的标准。最后决定如何处理各个误报档次的杀软成绩，比方说降级或扣分。这样的做法背后是很复杂的前期准备，比如对样本的分析分类等等。

因此，他们不会像你这样强行建立查杀率和误报的线形关系，得出“超额查杀率”。。。

其实你的统计做到前面半部分就好了，AV C AV T的得分体现的就是杀软各方面的综合能力，包括了查杀和误报控制。后半部分显得重复，没有必要。。。

windows11BigSur

anthonyqian 发表于 2021-6-21 02:47
pj和修改软件不算误杀范畴吧。。。

为什么不算呢???
莫非西方公司的利益纠纷和法律壁垒管到我这个中国网民身上来了？好可怕哦

anthonyqian

windows11BigSur 发表于 2021-6-22 00:00
为什么不算呢???
莫非利益纠葛和法律壁垒管到中国来了？

啊这。难不成人家还要给中国用户专门发布一个病毒库吗…… pj不算误报应该是论坛共识了吧。

windows11BigSur

anthonyqian 发表于 2021-6-22 00:02
啊这。难不成人家还要给中国用户专门发布一个病毒库吗…… pj不算误报应该是论坛共识了吧。

对pj软件、修改软件的误杀不算误报是你哪个论坛的共识？
另外我什么时候说过不误杀pj和修改版软件只有中国了？莫非卡巴斯基ESET都只在中国发行？