云中利剑 ——浅谈百度杀毒自有云查杀技术

冷兮棱子

云中利剑
——浅谈百度杀毒自有云查杀技术

随着互联网越来越深入到大家的生活，网络安全问题也日益突出。木马盗号、钓鱼网站、病毒蠕虫、恶意广告软件等等令大家防不胜防。传统的杀毒软件是基于特征进行查杀，但这种方式需要提前获得样本，再经过人工分析以后才能更新病毒特征库。这也就导致本地特征库不断更新，而且会越来越大，再以后的扫描过程中需要扫描比对的特征也越来越多，最终导致用户电脑卡慢，用户磁盘空间浪费等想象，严重影响用户的使用体验，给工作和生活造成了诸多不便。

云查杀是什么
大概在2009年前后，兴起了“云查杀”。顾名思义，云查杀就是将可疑文件的鉴定过程放在云端进行，依靠云端强大的计算能力对可疑的文件进行鉴定。这样杀毒客户端就不需要在本地存储特征库了，大大减少了更新病毒库带来的开销，通过“管道”的形式，批量的向云端发送请求，能大大的提高鉴定速度。

传统云查杀技术
传统的云查杀技术主要是依靠于云端强大的存储能力。一方面，云端服务器会存储大量的操作系统文件，带有公司签名的可靠的文件作为“白名单”；另一方面，云端服务器会根据参与云查杀计划的用户上报的可疑文件进行分析，云端强大的鉴定中心给出文件的详细属性。这些黑白文件的哈希值和属性的键值对信息存储在云端，客户端的查杀就告别了传统的特征比对，采用更简单有效的方式，文件哈希比对即可。这也是为什么云端查杀的速度会更快。
目前百度杀毒和百度卫士的后台经过2年时间的建设，已经迅速缩小与竞争对手的差距，云端样本查杀覆盖度达到98%。

图1：引擎发展趋势

百度独有的云查杀技术
传统的云查杀技术虽然简单有效，但是面对未知的样本却一筹莫展。2012年以后，大数据和机器学习等互联网新技术的发展也日新月异。依托百度的大数据处理平台和海量的样本分析处理能力，百度杀毒研发了具有启发能力的云查引擎，并提交了相关专利4篇和论文1篇，推出了强大的两把神剑：干将和莫邪，解决了传统云查杀不能检出未知文件的缺点。

图2：百度独有云查杀技术

干将神剑又名CCE，是特征云引擎（Characteristic-based Cloud Engine）的英文缩写，特征云引擎相对于传统的云查杀系统而言具有如下特点，扫描更快、云端存储特征更小。CCE通过对已有黑白样本的学习，重新提取发现了具有相似特点的家族类型的文件的特征，将这些特征取代之前存储在云端的文件哈希值，使得不断膨胀的传统哈希云的存储开销大大降低，而且在扫描时候计算特征只需要提取一些区段的信息，比计算哈希值的速度还要快上3~5倍，尤其对一些比较大的文件效果更佳明显。此外，由于CCE的特征具有一定的广谱特性，不仅能够表征已知的文件，而且还能够对未知的一些相同家族的文件进行检出，这个是传统的云查杀系统不具备的。CCE的上线，在未知文件检出方面，大概提升了10%左右云端检出能力，使我们百度杀毒的云端变的更强大。

图3：云查杀CCE（干将）

CCE虽然增强了我们传统云查杀的能力，但是其本质还是一种基于文件特征的表示，对于一些构建复杂的病毒的查杀能力还是不足。这里我们利用多种机器学习算法，研发了具有更高检出能力的一款高启发式智能引擎——莫邪（BVM）。莫邪神剑通过海量的样本的学习，通过SVM和独有的rule-based 自动优化算法，并借鉴深度学习技术来打造一系列的模型，这些模型完全是通过我们上百台服务器通过大规模分布式训练得来，提取特征点的位置依赖于统计和机器学习模型，完全脱离了的人工的干预，更难“免杀”。这些模型部署在云端，客户端在扫描的时候只需要将一些区段位置的信息转化为一些bitmap表传送到云端，云端根据这些模型通过计算就能够返回结果。BVM的高度智能性具有更高的检出率，目前仅有8个模型，就已经达到了未知文件70%的检出率，并且对于隐蔽型的变种的查杀能力比CCE更强大。对于一些具有断网查杀需求的用户，莫邪神剑的模型也可以精选下放到客户端，直接进行查杀，可谓云端，终端伸缩自如，灵活多样。

图4 云查杀BVM（莫邪）

综上所述，百度云端查杀系统目前不但具有日趋成熟的传统云查杀系统，而且还拥有干将、莫邪两把神剑的保驾护航。从用户的角度来看，这样的配置将会给用户带来更加轻快、安全的使用体验。

与自己快乐相

想起以前评论国外的四大杀软  把我NOD32比为东邪！！

冰玉

误杀率不要太高，不要过多的占用资源 ，就成。

519874810

我只知道名字还不错

花泽恰聚

内个内个  杀毒可能和卫士合并了。。。

键盘的爱

冰玉 发表于 2015-2-9 15:54
误杀率不要太高，不要过多的占用资源 ，就成。

还有一个必须要联网！

都要给我地僚

满满的画面感

yzt1004

百度的公关文怎么读都是干瘪的，就是没有数字家的有热情，就不能多用用修辞手法吗？

————————————————————————————
能大大的提高鉴定速度
已经迅速缩小与竞争对手的差距 （这是变相说自己不如别家吗！！）
解决了传统云查杀不能检出未知文件的缺点
使我们百度杀毒的云端变的更强大
直接进行查杀，可谓云端，终端伸缩自如，灵活多样
————————————————————————————

除了最后一句有点灵动外，其他的都是皱巴巴的句子，请一个妙笔生花的文案有多难？

情绪控臭臭

yzt1004 发表于 2015-2-9 16:02
百度的公关文怎么读都是干瘪的，就是没有数字家的有热情，就不能多用用修辞手法吗？

————————— ...

哈哈，不要为难他们，公关文案为什么要有数学家的热情呢？

泰山和黄山考

yzt1004 发表于 2015-2-9 16:02
百度的公关文怎么读都是干瘪的，就是没有数字家的有热情，就不能多用用修辞手法吗？

————————— ...

下次必须上八古文