鸭鸭在线杀毒引擎

huoji120

工作太忙.项目不维护了,准备开源.等我把手头的事情搞完 -2022/8/24

做这玩意做得很久了,头疼,一个人调试贼难受,一个人做要样本没样本,要建议没建议,于是开放给大家大家一起测试一起研究一下这个东西,看看能不能搞好来
这是2021.10.3日的卡饭样本库,没有入库的启发查杀情况:

一些问题:
为什么不封装成本地应用而要做成在线形式?
本来想封装成本地应用的,但是这个涉及到python转C的问题,还要做界面,而且目前引擎各种bug,虚拟机动态运行部分也没做完,就先暂时做成云端的,实际上是一个flask+之前的demo

为什么没有批量杀毒?
因为服务器拉胯,1h4G的连模型跑起来都费劲,更别说批量杀毒了,但是你可以用下面的API做一个批量扫描的,仅限于夜深人静的时候测试一下,因为用的人多了真的会炸

鸭鸭杀毒引擎怎么工作的?
当一个病毒送入鸭鸭服务器后,将会进行如下操作
1.做CPU仿真,模拟程序执行,从内存中dump出脱壳后的文件(这部分没做完)
2.获取PE文件各种特征信息,比如导入表、字符串等后送入神经网络进行学习
3.然后看黑箱AI怎么说了

样本保留几天?
已经设置为7天删一次,样本仅用于调试鸭鸭引擎,仅当你发邮件或者在卡饭论坛跟我说误报或者不报的时候我会看看,其他时间一律不碰(我也没啥时间天天分析样本),上传即默认你允许与我共享样本


提供一个杀毒api:
网址: post 域名/api/post_file
参数: file 直接post上传文件即可,只支持exe或者lib并且小于20M的文件
成功会返回一个json,里面有是不是病毒、是病毒的概率,长这样:

1. {'success': 1, "data": {
   
2.             'virus': 是不是病毒,
   
3.             'possibility': 病毒的概率
   
4.         }}

复制代码

在引擎做完后,我会考虑开源的,不过目前不是开源的时候,因为还有很多要做,总不能开源一个半成品

如果有误报、没报的情况跟我说,带上样本sha256, 我们一起研究一下为什么会这样
地址: https://vt.key08.com/
关于打不开打不开多半是服务器内存不够了,跑虚拟机2G内存的服务器最多同时跑4个,如果同时提交4个以上的任务,鸭鸭就会炸掉,必须要我人工重启.
还有一种情况是更新,多半发生在半夜,但是也可能打不开

关于误报这里解释一下为什么会误报
大部分误报出现在PE头结构,但是带数字签名的是不会出现这个情况的
带数字签名误报的情况一般是NLP自然语言处理部分出现了问题
根据shape所看到的的NLP这部分的问题
比如一段汇编:

1. <span style="background-color: rgb(255, 255, 255);">edit:</span><div>我不知道为什么,我编辑汇编代码总是给我删掉,然后样式总是没有调整好, 算了....
   
2. </div>

复制代码

这一段汇编是一段for 可能会被病毒用于遍历目录,也有可能会被绿色软件遍历目录
由于目前黑样本比白样本多,所以鸭鸭会认为带有这段汇编的会是病毒,所以误报

如果带数字签名误报,请忽视掉它,因为我没有做数字签名判断,加上数字签名判断这些都不是问题.
如果是普通软件误报,那没办法,只能积累更多的东西

swizzer

支持~

但是把Comodo安装包（https://funami.lanzouw.com/iODx9uxcjkj）给报毒了···还带有有效数签啊···

huoji120

swizzer 发表于 2021-10-5 15:54
支持~

但是把Comodo安装包（https://funami.lanzouw.com/iODx9uxcjkj）给报毒了···还带 ...

是这样的,一般杀毒软件的启发引擎也会"报毒"这种带敏感行为的,但是一般杀毒软件在查杀之前是会进行白名单校验的,包括不限于hash校验和可信数字签名校验,不过我这边就只是一个后端引擎,不做这种前端的事情. 主要是没时间做

xuhan

这个模型很难有很多的正样本训练吧

huoji120

xuhan 发表于 2021-10-5 19:46
这个模型很难有很多的正样本训练吧

减少误报有很多方法

xiaozuanfeng

感谢分享

wwwab

“出现异常文件太大”

文件是限制多大的啊？……