搜索
查看: 16357|回复: 52
收起左侧

[杀软评测] 【12.01更新: VirusPackage图表及错误修正】【断网锁库扫描测试】火绒 V.S 360杀毒...

  [复制链接]
Jerry.Lin
发表于 2017-10-24 23:28:35 | 显示全部楼层 |阅读模式
本帖最后由 191196846 于 2017-12-3 20:58 编辑

感谢@B100D1E55 提供的S MPL样本包
感谢 缉毒卫队 提供的样本包


12.01更新: VirusPackage图表及错误修正


前期测试样本有大量非PE文件,便宜了火绒(因为QVM不支持)

所以现在看到的数据是包经过PE筛选过的,结果有些变化。

由于后期的样本量小,所以以周期来测。

说实话,与预期还是有差的,火绒有点让我小失望……QVM还是可以的
关于这点,可以看这:https://bbs.kafan.cn/thread-2110289-1-1.html 9楼
Snipaste_2017-12-01_12-26-39.png Snipaste_2017-12-01_12-27-19.png





大家的看法呢?欢迎畅所欲言





11.13更新: VirusPackage及图表



11.12更新:VirusPackage(VP)包测试结果

可能是跟SMPL收集有点不大一样,但不管怎样,很明显看到2家侦测率显著降低,距离锁库日期已经过去2个月。

所有VP包在样本区都有,这里就不提供啦~

不过提供下锁库的两个杀软安装包,大家有空也可以玩玩呢
https://abuaaedugr-my.sharepoint ... fe892b0bb998bc67da6






一、测试简介

最近比较有空,所以有时间做测试啦

很早前就想做这个,一直想知道火绒的水平到底进步得怎么样了;与360自 研的QVM相比,是否已经具有一定优势。
虽然他们的原理不大相同,但一个作为国产新锐,一个作为宇宙第一,还是有比比看的需要呢

看好火绒的虚拟/行为沙盒技术,虽然类似的技术别的杀软也有,但我个人觉得火绒在 动态启发 和 动态行为分析 这方面已经算在国内前列了。


下面是对两款引擎的说明:


火绒:参见官方反病毒引擎白皮书 http://www.huorong.cn/doc/introduce_engine.pdf
360QVM(Qihoo Support Vector Machine)由于官方公布较少,所以从网上拿几段重要的(百度百科别介意):
千万不要被名字中的VM迷惑,以为是Virtual Machine(虚拟机)。 实质这个VM是support vector machine(支持向量机)的缩写。其具体理论细节可以参见Vapnik著作的机器学习经典Statistical Learning Theory。
从上述可以看出,这类技术有明显的优点:
1、只要算法得当,完全可以自我学习,减少的人力成本。
2、对病毒的变形,加密,加壳,具有良好的效果
3、病毒编写者完全不知道你的算法是如何去区分病毒的,定位特征也就无从谈起了
也可以看出,明显的缺点:
1、对算法,数学功底要求高,如果算法不行,效果大打折扣
2、对和正常文件特征较近的流氓软件,不易区分。
3、要求具备海量的病毒和白文件库,以供算法学习。若数量过少,则效果大打折扣。

挺欣赏火绒在白皮书内写的这一段话,摘出来分享下(没有对错,请不要引 战)
由于关键 词原 因, 改用图片

Snipaste_2017-10-24_23-22-47.jpg



二、测试说明


1.测试产品:

   火绒互联网安全 4.0.35.0(2017.09.06)病毒库版本:2017/09/06 16.06
   360杀毒 5.0.0.8071A (2017.09.01)QVM日期 :2017/08/28

2.测试样本:

S MPL 0917-1011
【缉毒卫队测试包】第39-41期

3.其他说明:

本测试仅是扫描测试;

本测试在断网下进行,主要想模拟长期断网或网络不稳定的环境(如笔记本);

尽管病毒库日期不相同,但由于360QVM和离线病毒库更新不频繁,几乎没有影响;


拿不到17号火绒的包,将就点吧……

测试将会持续更新

本测试偏向 娱 乐,结果仅供参考。



三、测试结果

10.27
更新SMPL1015



因为论坛的表格功能有点不大好用(可能是我 太 蠢 ~),所以改用图片

三、测试小结

从扫描日志上(见文后),可以很清楚的看到,火绒报毒名基本都是HEUR/HVM:;即便仅靠启发,检测率也算是很厉害了


以靠本地行为模拟/启发为主的火绒,随着测试时间推移,仍可能会一直稳定在一个检测水平上。


但火绒的病毒库积累不够,与经过海量数据学习的360QVM则相比略显疲软。

理念是值得欣赏的,与ESET走的是同一条路线,即以最少的样本特征检出最多的威胁;



360的QVM模 型相对成 熟了……只是误报还是挺高的(多半算法还是有点小问题

官网上说QVM的半衰期为半年(6个月),让我们拭目以待


希望能看到两者的差距逐渐缩小,毕竟我觉得火绒的虚拟沙盒应该还能撑挺久的……

本人菜逼,加上表达较差,大佬们尽量补充……

四、测试细节/扫描日志


密集日志预警
请见下一页

仔细观察下还挺有趣的[:01:]

评分

参与人数 1分享 +2 魅力 +1 人气 +1 收起 理由
屁颠屁颠 + 2 + 1 + 1 版区有你更精彩: )

查看全部评分

欧阳宣
发表于 2017-10-25 05:24:18 | 显示全部楼层
本来想说建议联网的,但是又联网又锁库好像不太可能……
Jerry.Lin
 楼主| 发表于 2017-10-25 07:52:33 | 显示全部楼层
欧阳宣 发表于 2017-10-25 05:24
本来想说建议联网的,但是又联网又锁库好像不太可能……

360云怎么锁……

是想模拟一个断网然后长期不更新病毒库的环境呢
B100D1E55
发表于 2017-10-25 12:11:46 | 显示全部楼层
前排支持

看到标题一开始估计早期的包应该查杀率高一些(毕竟筛选方法在不断改),但看上去似乎没有很明显的走势,大概是针对性免杀不多?不知道两家误报差多少,云端QVM误报挺多的……
bbs2811125
发表于 2017-10-25 12:38:41 | 显示全部楼层
有意思,火绒用过一段时间,使用体验还是很棒的,期待后续的表现
不过最近习惯到样本区做扫描所以换了卡巴ESET和SEP之类的大杀器
时空穿梭机
发表于 2017-10-25 12:48:43 | 显示全部楼层
360杀毒和火绒,这两个杀毒软件我都喜欢,但是我更加偏爱火绒一点,主要是360泄露隐私太严重了,国人估计不敢用,只有电脑小白才敢用360的东西吧,呵呵
Jerry.Lin
 楼主| 发表于 2017-10-25 13:00:24 | 显示全部楼层
本帖最后由 191196846 于 2017-10-25 18:50 编辑
B100D1E55 发表于 2017-10-25 12:11
前排支持

看到标题一开始估计早期的包应该查杀率高一些(毕竟筛选方法在不断改),但看上去似乎没有很明 ...

感谢支持……

感觉其实本地QVM误报更多……因为云端的模型在不断改变,所以有时候能较快解决误报吧……

而下发到本地,则要更久。
火绒目前来看,误报相当少呢

评分

参与人数 1人气 +1 收起 理由
B100D1E55 + 1 忘了加RQ

查看全部评分

Jerry.Lin
 楼主| 发表于 2017-10-25 13:01:35 | 显示全部楼层
bbs2811125 发表于 2017-10-25 12:38
有意思,火绒用过一段时间,使用体验还是很棒的,期待后续的表现
不过最近习惯到样本区做扫描所以换 ...

估计火绒的检测率能一直保持挺久的(虽然很低),主要是因为虚拟行为沙盒,动态分析做得还可以
B100D1E55
发表于 2017-10-25 13:15:56 | 显示全部楼层
本帖最后由 B100D1E55 于 2017-10-25 13:25 编辑
191196846 发表于 2017-10-25 13:01
估计火绒的检测率能一直保持挺久的(虽然很低),主要是因为虚拟行为沙盒,动态分析做得还可以

火绒这个成绩挺厉害的。不过我觉得这样的成绩恐怕主要也是因为针对性免杀少,ESET那个扫描下滑趋势很说明问题了。这种虚拟行为沙盒有一些特征是启发初始混淆手段,如果针对性对付不快速响应补洞的话查杀率马上就下去了。我的毒包大多样本是海外的,如果国产的样本多的话说不定还能体现出一些趋势
bbs2811125
发表于 2017-10-25 13:44:15 | 显示全部楼层
191196846 发表于 2017-10-25 13:01
估计火绒的检测率能一直保持挺久的(虽然很低),主要是因为虚拟行为沙盒,动态分析做得还可以

这种技术也就是这样的特点,但是维持低位相对容易,高位可能就难一点
而且这种技术因为误报控制的原因不算太成熟和普及,针对性的免杀也少,以后可就不好说了
你看cylance的检测率维持的就很好,还是训练库的问题
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 沪ICP备2020031077号-2 ) GMT+8, 2022-5-20 08:13 , Processed in 0.150232 second(s), 20 queries .

卡饭网所发布的一切软件、样本、工具、文章等仅限用于学习和研究,不得将上述内容用于商业或者其他非法用途,否则产生的一切后果自负,本站信息来自网络,版权争议问题与本站无关,您必须在下载后的24小时之内从您的电脑中彻底删除上述信息,如有问题请通过邮件与我们联系。

快速回复 客服 返回顶部 返回列表