【12.01更新: VirusPackage图表及错误修正】【断网锁库扫描测试】火绒 V.S 360杀毒...

Jerry.Lin

感谢@B100D1E55 提供的S MPL样本包
感谢 缉毒卫队 提供的样本包


12.01更新: VirusPackage图表及错误修正


前期测试样本有大量非PE文件，便宜了火绒（因为QVM不支持）

所以现在看到的数据是包经过PE筛选过的，结果有些变化。

由于后期的样本量小，所以以周期来测。

说实话，与预期还是有差的，火绒有点让我小失望……QVM还是可以的
关于这点，可以看这：https://bbs.kafan.cn/thread-2110289-1-1.html 9楼






大家的看法呢？欢迎畅所欲言





11.13更新: VirusPackage及图表



11.12更新:VirusPackage(VP)包测试结果

可能是跟SMPL收集有点不大一样，但不管怎样，很明显看到2家侦测率显著降低，距离锁库日期已经过去2个月。

所有VP包在样本区都有，这里就不提供啦~

不过提供下锁库的两个杀软安装包，大家有空也可以玩玩呢
https://abuaaedugr-my.sharepoint ... fe892b0bb998bc67da6






一、测试简介

最近比较有空，所以有时间做测试啦

很早前就想做这个，一直想知道火绒的水平到底进步得怎么样了；与360自 研的QVM相比，是否已经具有一定优势。
虽然他们的原理不大相同，但一个作为国产新锐，一个作为宇宙第一，还是有比比看的需要呢

看好火绒的虚拟/行为沙盒技术，虽然类似的技术别的杀软也有，但我个人觉得火绒在 动态启发 和 动态行为分析 这方面已经算在国内前列了。


下面是对两款引擎的说明：

火绒：参见官方反病毒引擎白皮书 http://www.huorong.cn/doc/introduce_engine.pdf
360QVM（Qihoo Support Vector Machine）由于官方公布较少，所以从网上拿几段重要的（百度百科别介意）：

千万不要被名字中的VM迷惑，以为是Virtual Machine（虚拟机）。 实质这个VM是support vector machine（支持向量机）的缩写。其具体理论细节可以参见Vapnik著作的机器学习经典Statistical Learning Theory。
从上述可以看出，这类技术有明显的优点：
1、只要算法得当，完全可以自我学习，减少的人力成本。
2、对病毒的变形，加密，加壳，具有良好的效果
3、病毒编写者完全不知道你的算法是如何去区分病毒的，定位特征也就无从谈起了
也可以看出，明显的缺点：
1、对算法，数学功底要求高，如果算法不行，效果大打折扣
2、对和正常文件特征较近的流氓软件，不易区分。
3、要求具备海量的病毒和白文件库，以供算法学习。若数量过少，则效果大打折扣。

挺欣赏火绒在白皮书内写的这一段话，摘出来分享下（没有对错，请不要引 战）

由于关键 词原 因， 改用图片

二、测试说明


1.测试产品：

   火绒互联网安全 4.0.35.0（2017.09.06）病毒库版本：2017/09/06 16.06
   360杀毒 5.0.0.8071A （2017.09.01）QVM日期 ：2017/08/28

2.测试样本：
S MPL 0917-1011
【缉毒卫队测试包】第39-41期

3.其他说明：

本测试仅是扫描测试；

本测试在断网下进行，主要想模拟长期断网或网络不稳定的环境（如笔记本）；

尽管病毒库日期不相同，但由于360QVM和离线病毒库更新不频繁，几乎没有影响；


拿不到17号火绒的包，将就点吧……

测试将会持续更新

本测试偏向 娱 乐，结果仅供参考。



三、测试结果

10.27
更新SMPL1015



因为论坛的表格功能有点不大好用（可能是我 太 蠢 ~），所以改用图片

三、测试小结

从扫描日志上（见文后），可以很清楚的看到，火绒报毒名基本都是HEUR/HVM：；即便仅靠启发，检测率也算是很厉害了

以靠本地行为模拟/启发为主的火绒，随着测试时间推移，仍可能会一直稳定在一个检测水平上。

但火绒的病毒库积累不够，与经过海量数据学习的360QVM则相比略显疲软。

理念是值得欣赏的，与ESET走的是同一条路线，即以最少的样本特征检出最多的威胁；



360的QVM模 型相对成 熟了……只是误报还是挺高的（多半算法还是有点小问题）

官网上说QVM的半衰期为半年（6个月），让我们拭目以待


希望能看到两者的差距逐渐缩小，毕竟我觉得火绒的虚拟沙盒应该还能撑挺久的……

本人菜逼，加上表达较差，大佬们尽量补充……

四、测试细节/扫描日志


密集日志预警
请见下一页

仔细观察下还挺有趣的[:01:]

欧阳宣

本来想说建议联网的，但是又联网又锁库好像不太可能……

Jerry.Lin

欧阳宣 发表于 2017-10-25 05:24
本来想说建议联网的，但是又联网又锁库好像不太可能……

360云怎么锁……

是想模拟一个断网然后长期不更新病毒库的环境呢

B100D1E55

前排支持

看到标题一开始估计早期的包应该查杀率高一些（毕竟筛选方法在不断改），但看上去似乎没有很明显的走势，大概是针对性免杀不多？不知道两家误报差多少，云端QVM误报挺多的……

bbs2811125

有意思，火绒用过一段时间，使用体验还是很棒的，期待后续的表现
不过最近习惯到样本区做扫描所以换了卡巴ESET和SEP之类的大杀器

时空穿梭机

360杀毒和火绒，这两个杀毒软件我都喜欢，但是我更加偏爱火绒一点，主要是360泄露隐私太严重了，国人估计不敢用，只有电脑小白才敢用360的东西吧，呵呵

Jerry.Lin

B100D1E55 发表于 2017-10-25 12:11
前排支持

看到标题一开始估计早期的包应该查杀率高一些（毕竟筛选方法在不断改），但看上去似乎没有很明 ...

感谢支持……

感觉其实本地QVM误报更多……因为云端的模型在不断改变，所以有时候能较快解决误报吧……

而下发到本地，则要更久。
火绒目前来看，误报相当少呢

Jerry.Lin

bbs2811125 发表于 2017-10-25 12:38
有意思，火绒用过一段时间，使用体验还是很棒的，期待后续的表现
不过最近习惯到样本区做扫描所以换 ...

估计火绒的检测率能一直保持挺久的（虽然很低），主要是因为虚拟行为沙盒，动态分析做得还可以

B100D1E55

191196846 发表于 2017-10-25 13:01
估计火绒的检测率能一直保持挺久的（虽然很低），主要是因为虚拟行为沙盒，动态分析做得还可以

火绒这个成绩挺厉害的。不过我觉得这样的成绩恐怕主要也是因为针对性免杀少，ESET那个扫描下滑趋势很说明问题了。这种虚拟行为沙盒有一些特征是启发初始混淆手段，如果针对性对付不快速响应补洞的话查杀率马上就下去了。我的毒包大多样本是海外的，如果国产的样本多的话说不定还能体现出一些趋势

bbs2811125

191196846 发表于 2017-10-25 13:01
估计火绒的检测率能一直保持挺久的（虽然很低），主要是因为虚拟行为沙盒，动态分析做得还可以

这种技术也就是这样的特点，但是维持低位相对容易，高位可能就难一点
而且这种技术因为误报控制的原因不算太成熟和普及，针对性的免杀也少，以后可就不好说了
你看cylance的检测率维持的就很好，还是训练库的问题