360QVM引擎技术贴

是是个是

QVM定义：
是基于海量数据挖掘、采用智能学习算法，是人工智能技术在计算机安全领域中的，首次大规模商业应用。
特点：
（1）前瞻性强，找到病毒、木马的规律，对新变种病毒识别率高。QVM一个月不更新，检出率降幅不会超过10%，半衰期为6个月。（锁库测试就能看出来）
（2）免疫力好，是传统免杀方法的克星。传统特征、md5和类md5都是匹配，能够被快速定位、修改、并且能够工具化。QVM是靠对样本的全局运算，决策样本的级别，比较难定位。
（3）速度更快、体积更小。速度方面可以看此贴http://bbs.360.cn/3229787/250746838.html，有这样的响应速度，所以可以实时鉴定。体积方面，现在可以控制在20M左右，所以可以下到本地。
（4）自我学习，成本低、响应快。这个方面主要是针对公司成本来讲的。
引擎优劣的衡量标准：
（1）木马、病毒的检出率、抗免杀能力。（首先它是药，不是安慰剂）
（2）“正常”文件的误报率。（药的副作用要小，对用户的打扰小）
（3）引擎的性能——含速度、硬件消耗、运维成本。（不管什么硬件，大家要消费的起）
QVM与360云查杀体系：
　　QVM不等于360云查杀体系。360的云查杀是在2009年9月15日卫士6.0发布的时候上线的，当时还没有QVM。而现在的360云查杀体系中有honeypot、sandbox、ave、PE等多套样本识别手段，QVM只是其中一个引擎。
　　今天的360不是当年的传统安全公司，360是互联网时代的安全公司，他比任何公司都重视云。在木马攻防中，木马发生了变异，发现只有强劲的云是不完全够的，因此要云地结合、综合防杀，这样才能起到更好的效果。
　　云地结合、综合防杀，需要更强劲的引擎。在应用中，我们发现QVM非常适宜（高检出、抗免杀、低误报、运算速度快、数据驱动）。QVM能让360在云地结合、综合防杀方面走的更快一些（确实能低于0.5秒），更巧一些，所以我们对QVM的期待会更高一些。
“天下武功无坚不破，唯快不破”。
杀毒和造毒时时刻刻都在攻防，都在比试武功。谁能占优势，“快”是一个非常重要的因素。
这个“快”字怎么理解:
把安装包做小，用户下载快？
省减安装流程，用户安装快？
查杀速率第一，用户扫描快？
调高监控的灵敏度，弹窗快？
……
这些功夫，用户感知很强烈，如果能做的更好，改善用户体验，是好事情。
但是这些都没有切中安全核心。
用户不会天天卸载重现下载并安装杀毒软件；也不会天天开启杀毒软件搞全盘扫描；另外用户在做电脑操作时，比如聊天、插u盘，估计很少去期待杀毒弹窗。
个人理解，真正的“快”是指对木马病毒的“响应周期”。这些是内功，用户感知不是那么强烈，但是确实在关键时刻管用。
下面谈谈QVM对木马病毒的“响应周期”：
1、决定响应周期的首要因素是对已识别样本的“检出率”。因为是已识别样本，响应周期其实是“0”秒（因为网络和硬件IO消耗时间，因此一般称“1秒”）。“检出率”越高，效果越高。目前，在真实环境中，QVM 1秒云鉴定的检出率是95%+。这个效果已经远远超过其他传统引擎，也超过其他整个云引擎的首扫。
2、决定响应周期的第二因素是抗免杀能力。抗免杀能力强，累的就是木马作者。免杀花的时间越长，那么相应的查杀的响应周期就越短。
3、决定响应周期的第三个因素是对未知样本的处理周期。
传统特征引擎分为通杀特征+快速入库。快速入库，一般依赖一些特殊手段进行文件判定，速度快，但广谱性很差，类似于hash。通杀特征，这个提取、测试、到发库周期基本是一天以上。非云杀毒软件都要靠升级病毒库才能查杀，而云杀毒软件不需要发库就能实现在线查杀。总体特点就是几乎不抗免杀。
QVM本身就是一个决策引擎，不要外部手段就能自主判毒。qvm学习是自动学习，周期是小时级别，广谱性非常强，一学会，木马作者就进入痛苦的免杀周期。再加上这套引擎放在云端，快速学习，快速上线、快速参与查杀。
附一张痛苦的木马作者

QVM对于壳的处理 及测试中遇到问题的解答
原贴出自QVM组工作人员junyang

这几天，看到卡饭上出现多位职业化的高手，比较辛苦地加壳测试qvm的误报和漏报。在这里对这些高手表示感谢。另外，也将QVM的壳处理及相关的问题做一些解答。
（1）QVM能识别并脱的壳有几百种，这个能力不会低于任何国产的传统引擎。
（2）对于冷门壳和新出的壳，QVM不脱也能学会。
（3）QVM是学习用户使用、功能正常、手法常规的白文件。我们曾经也考虑过去制造一些文件来学习，后来这个方案否定了。因为这会打破文件的自然生态环境。
有人会拿系统文件加小众壳测试qvm
有人会拿小众文件加常见壳测试qvm
有人会创建半个文件测试qvm
有人会将白文件修改后测试qvm
有人会将两个白名单合体后测试qvm
但是这些情况，在真正用户那里确实很少见。国际测试中，测试误报也是用真实环境中的文件，不会臆造文件来测试。
目前的效果看：
（1）QVM的引擎已经完全覆盖了360所有的用户，从各种数据反馈看，误报远远低于其他引擎。
（2）作为负责任的引擎，会长期对各个引擎做大数据集对比测试。我们的结论是，检出与误报的比率，qvm的得分是最高的。
谈谈我对QVM引擎的理解_by jefffireby jefffire
   360推出QVM智能引擎后，一石激起千层浪，赞赏者有之，质疑者有之。今天我就来谈谈我对这个智能引擎的一些不成熟看法。     
    为了识别病毒，反病毒手段在不断改进，从最初的简单特征码，到复合特征码、广谱特征码，到虚拟启发，到行为判定，经历了不少阶段（具体可参见此文：http://bbs.kafan.cn/thread-866036-1-1.html）。今天让我们跳出这些个条条框框的思维限制，让我们从根本上来思考一下，这样一个问题：区分病毒文件和正常文件，究竟靠的是什么？？
      我反复思考，得出一个自认为正确的答案：difference，也就是差异、不同。 只有靠发现病毒文件和正常文件的difference，才能识别出病毒文件。这一点是我讨论的理论基础。纵观特征码，启发，还是行为，实质上都是在找出差异：病毒文件和正常文件行为上的差异，文件代码上的差异。所谓特征码，其实就是病毒和正常文件的差异特征代码罢了。
     找到了问题的本质，解决问题的方法也就千变万化了。     
     于是，有人就想到，既然是找出差异，那能不能利用搜索引擎广泛使用的一些智能算法来完成目标呢？搜索引擎需要完成的任务和我们的反病毒任务有很多相似之处：1、都是海量文件的分析  2、都是去寻找特定特征的目标。设想就这样确立了。
     我为了使介绍更通俗易懂，先介绍一个广泛运用于拦截垃圾邮件的智能算法——贝叶斯算法。贝叶斯是基于概率的一种算法。是Thomas Bayes：一位伟大的数学大师所创建的，贝叶斯过滤器是基于自我学习的智能技术，能够使自己适应垃圾邮件制造者的新把戏。
   我就不讲述复杂的算法步骤，我就举一个实际例子，让大家知道，贝叶斯算法是如何去区分垃圾邮件和正常邮件的。


   例：一封含有  字样的垃圾邮件 A 和一封含有 “ 法律 ” 字样的非垃圾邮件 B 。 根据邮件 A 生成 哈希表（坏），该表中的记录为
　　法： 1 次
　　轮： 1 次
　　功： 1 次
　　计算得在本表中：
　　法出现的概率为 0.3
　　轮出现的概率为 0.3
　　功出现的概率为 0.3
　　根据邮件B生成哈希表（好），该表中的记录为：
　　法： 1 次
　　律： 1 次
　　计算得在本表中：
　　法出现的概率为 0.5
　　律出现的概率为 0.5
　　综合考虑两个哈希表，共有四个 字符串：法 轮 功 律
　　当邮件中出现“法”时，该邮件为垃圾邮件的概率为：
　　P = 0.3/ （ 0.3 + 0.5 ） = 0.375
　　出现“轮”时，该邮件为垃圾邮件的概率为：
　　P = 0.3/ （ 0.3 + 0 ） = 1
　　出现“功”时，该邮件为垃圾邮件的概率为：
　　P = 0.3/ （ 0.3 + 0 ） = 1
　　出现“律”时，该邮件为垃圾邮件的概率为：
　　P = 0/ （ 0 + 0.5 ） = 0
　　由此可得第三个哈希表 hashtable_probability （也就是数据库文件），其数据为：
　　法： 0.375
　　轮： 1
　　功： 1
　　律： 0
　　当新到一封含有“功律”的邮件时，我们可得到两个字符串：功 律
　　查询哈希表 hashtable_probability 可得：
　　P （垃圾邮件 | 功） = 1
　　P （垃圾邮件 | 律） = 0
　　此时该邮件为垃圾邮件的可能性为：
　　P= （ 0*1 ） /[0*1+ （ 1-0 ） * （ 1-1 ） ] = 0
　　由此可推出该邮件为非垃圾邮件。
   从这个例子我们可以看出，贝叶斯算法是先通过对垃圾邮件和正常邮件的“学习”，得出模型数据（即上例中的哈希表 hashtable_probability），然后利用模型数据，去区分新的垃圾邮件。显而易见，学习的越多，模型数据越大，则最终的鉴别结果也就越准确。
    而QVM使用的也是类似的技术，即利用一套智能算法（当然并不是上例中的贝叶斯算法，而是一种独创的算法）学习海量的病毒文件以及正常文件，得出数据模型（也就是分发到客户端的MDF文件），最后利用模型数据区分新的病毒。为什么说QVM是智能引擎？？并不是说QVM，具有人类的智能和情感，而是指这套算法是可以不断归纳总结新的数据模型，不断适应新的病毒变化。


    因此千万不要被名字中的VM迷惑，以为是Virtual Machine.  实质这个VM是support vector machine的缩写。其具体理论细节可以参见Vapnik著作的机器学习经典《Statistical Learning Theory》
   从上述可以看出，这类技术有明显的优点：
1、只要算法得当，完全可以自我学习，减少的人力成本。
2、对病毒的变形，加密，加壳，具有良好的效果
3、病毒编写者完全不知道你的算法是如何去区分病毒的，定位特征也就无从谈起了
   也可以看出，明显的缺点：
1、对算法，数学功底要求高，如果算法不行，效果大打折扣
2、对和正常文件特征较近的流氓软件，不易区分。
3、要求具备海量的病毒和白文件库，以供算法学习。若数量过少，则效果大打折扣。
QVM主防初体验【实时云鉴定，无时差拦截】QVM主防简介：在原360云主防上基础上添加了360自主研发的全新QVM云鉴定技术，和云主防逻辑紧密结合在一起，秒杀多钟免杀技术，无需上传，实时云鉴定，无时差拦截
QVM主防初体验：请先确保以下两个文件升级到下面版本（一次更新未到达此版本可以多试两次）
360\360safe\ipc\ipcservice.dll 的版本为 7.1.0.1003或以上版本


360\360safe\deepscan\QVM\360qvm.dll 的版本为 1.3.0.1004或以上版本

这样你就拥有具备QVM的主防啦，记住重新启动一下360，就可以生效了。
我们可以测试一个QVM拦截的木马（注意看所报病毒名称，QVM报毒名称均为Malware.QVM**.Gen）


主防拦截了，现在来MD5免杀一下，给PE头修改一下


然后再次测试，发现马上就拦截了，QVM主防秒杀MD5免杀


这里特别说明一下，我这里设置的是关闭云上传，看图


这就是QVM主防的特质：无需上传，实时云鉴定，无时差拦截
我们再试一下加壳，我们首先找一个无壳的样本，试试最简单的UPX加壳


QVM主防再次轻松秒杀
我们再来试一下FSG壳


QVM主防依然秒杀
从这里我们可以初步体验到QVM主防的实力，欢迎杀软爱好者们进行测试
备注说明：以上测试内容来自于360内核驱动大牛、木马防火墙核心工程师MJ0011，非本人测试，勿对号入座，原话为【零秒云鉴定，零时差拦截】改为【实时云鉴定，无时差拦截】与1秒云鉴定科普贴感觉更为贴近，有不足的话欢迎大家指出

QVM引擎误报和漏报样本收集专帖，大家一起来帮忙改进QVM，谢谢！QVM是一个自学习的人工智能引擎，由于学习样本的局限性，可能会误报和漏报一小部分文件。为了更好的改善产品，欢迎大家提交误报和漏报样本。
Q&A：
1、
Q：哪些样本需要上报？
A：360杀毒或卫士报的病毒名称中含 QVM，就是QVM检出的样本。如果你认为白文件被报成Malware.QVM**.Gen，就可能产生误报了，需要上报；如果你认为是黑的文件，360杀毒或卫士都没有报毒，那么就可能漏报了，也请上报。
2、
Q：样本放在哪里？
A：请将样本压缩后上传至此帖(注意压缩包大小不能超过5M）；如果样本过大，请发到115网盘，再贴链接；
注意事项：
如果是已经确定样本报正确了，请不要上传。因为人力确实有限。
谢谢大家的支持和帮助，大家的关注和期待是QVM进步的动力和源泉。



@moonsilver 这个贴必须置顶
360QVM引擎官方上报地址：http://bbs.360safe.com/thread-37608-1-1.html

moonsilver

原创or转载？

一个笨鸟

看了此文，感觉360 QVM没秘密了

XMonster

moonsilver 发表于 2013-7-9 17:43
原创or转载？

目测是转.

sjneng

不管是转还是原创。。。

顶一个！

maomao110

moonsilver 发表于 2013-7-9 17:43
原创or转载？

感觉很不错   

zouguan508

楼主转载不标明原作者和我这个“集贴人”这也算是俺当年的“劳动成果”之一呢

流星街

QVM真心不錯~

love22

看到这个，我激动啦，学习了

88865ff

对QVM终于有个基本的了解了