搜索
楼主: yjwfdc
收起左侧

[误报文件] 智量误杀测试

  [复制链接]
智量官方
发表于 2019-5-16 22:12:12 | 显示全部楼层
学雷锋做人 发表于 2019-5-16 19:16
我怎么得出的?我前面一个帖子里已经说过了,上次在卡饭论坛看到一个反馈C代码写hello world被报毒,帖子 ...

你的做法就是先抛出几个结论, 但是随后你不会用严谨的事实基础来支撑你的逻辑链条. 取而代之使用"我记得","我判断", "我赌"等一些毫无意义的词汇。

helloworld这个例子我们之前已经在帖子中做了解释,有兴趣可以搜搜。AI判定恶意程序视野和人类是不一样的, 人把helloworld拖进IDA一看,发现简单几句代码肯定不是毒,那是以人类的方法论去判定的。AI判定恶意程序是以多个向量来判定的,HelloWorld在AI看来和恶意程序在空间距离上很接近。举个例子, AI判定一个几百KB的勒索病毒只需要几十毫秒, 看起来整个过程是非常简单的。但是以人类的方法论就比较麻烦,导致某些传统杀毒引擎就是识别不出来,这种情况下你会不会笑喷呢?

上面不是为误报洗地。我们承认AI引擎确实在误报上比传统引擎高, 可能不管怎么努力都无法达到传统引擎的误报率。但是在目前恶意程序井喷的前提下, AI还算是一种很有前途的解决办法。并且我们会努力持续降低误报。

我们想讨论的重点是高误报率=高查杀率。这意味着高误报率是高查杀率的充分条件. 你提到高查杀率就是为了忽悠小白,恰恰相反,智量是开放下载的,任何人是不是小白都可以下载。小白也可以通过较长时间的使用来对软件有一个基本的判断,哪有那么好忽悠,反而是你的言论比较符合人的朴素理解,高查杀率不就可以通过高误报来获得么? 还是用公式来解释吧,

tp = true positives
fp = false positives
fn = false negatives
tn = true negatives
查杀率 = 召回率 = tp / (tp + fn)
误报率 = 1 - 准确率 = 1 - tp/(tp + fp)

你看看, 1 - tp/(tp + fp) 是 tp / (tp + fn)的充分条件吗? 这么说有些复杂,但是在业内大家都知道, 召回率与准确率有联系,但是没有必然的关系. 如果用提高误报率来提高查杀率,不仅得不偿失,也不是可持续发展的道路。在论坛里有人也这么说过,这次算统一回应一下吧.


评分

参与人数 1人气 +3 收起 理由
学雷锋做人 + 3 主动承认问题,值得鼓励!

查看全部评分

智量官方
发表于 2019-5-16 22:13:57 | 显示全部楼层
yjwfdc 发表于 2019-5-16 21:32
刚才试了一下,关闭了智量的基础监控,直接用winrar打开压缩包运行一楼程序,智量报高级防护。

感谢支持,如果直接从压缩包运行里你发出的样本, 可能会被主防判定为恶意的。
学雷锋做人
发表于 2019-5-16 22:24:48 | 显示全部楼层
智量官方 发表于 2019-5-16 22:12
你的做法就是先抛出几个结论, 但是随后你不会用严谨的事实基础来支撑你的逻辑链条. 取而代之使用"我记得" ...

既然你们也知道上次C代码的事情,那我也不多说了;你们在回复中也承认AI引擎确实在误报上比传统引擎高,并且不管怎么努力都无法达到传统引擎的误报率!,这个是重点,我希望能够让所有使用智量的人看见这句话。
“AI还算是一种很有前途的解决办法”,我不否认你们采取的技术方案,只是说你们目前高误报率的情况下,不可避免的存在“运气”成分,就是说查杀率跟误报率是相互交接的。你们查杀率确实高,但被报毒的文件中可能引用存在“误报”白文件的判断,但正好报的是黑文件,所以这就变为合理性了!
病毒样本区基本上放的都是毒,误报测试偏少,像你们这种高查杀率的情况下,有些小白一看查杀率这么高,肯定就想下载玩玩,但殊不知误报率也高!
就目前情况来看,你们拥有高查杀率的同时也拥有高误报率,这难道不是事实吗,所以这个还有什么可反驳我的吗?
lovelive10010
发表于 2019-5-16 22:26:44 | 显示全部楼层
学雷锋做人 发表于 2019-5-16 17:56
很早以前看到一个发帖说C代码写个hello world也被智量报毒,当时差点笑喷,智量是我见过目前误报率最高的杀 ...

红伞的误报高吗?
学雷锋做人
发表于 2019-5-16 22:28:03 | 显示全部楼层

红伞不用,未做测试,不评论
lovelive10010
发表于 2019-5-16 22:28:22 | 显示全部楼层
www-tekeze 发表于 2019-5-16 20:22
行啊,大佬,就等着你放这类样本,智量会是杀得最狠的??放心!智量绝不会是前三甲。。

用智量 ...

前三甲是谁?360那个qvm估计要预定一个席位了

评分

参与人数 1人气 +1 收起 理由
www-tekeze + 1 哈哈,谁知道呢。。。

查看全部评分

智量官方
发表于 2019-5-16 22:33:09 | 显示全部楼层
学雷锋做人 发表于 2019-5-16 22:24
既然你们也知道上次C代码的事情,那我也不多说了;你们在回复中也承认AI引擎确实在误报上比传统引擎高, ...

你现在的观点是智量拥有高查杀率的同时也拥有高误报率

你之前的观点是"智量目前用的引擎公式:高误报率=高查杀率,通过提高误报率来提高查杀率"
学雷锋做人
发表于 2019-5-16 22:34:21 | 显示全部楼层
智量官方 发表于 2019-5-16 22:12
你的做法就是先抛出几个结论, 但是随后你不会用严谨的事实基础来支撑你的逻辑链条. 取而代之使用"我记得" ...

隔了这么长时间并且回复我这么多的话,是拉着工程师团队一块讨论怎么反驳我的吗?你们不需要向我证明什么,我本来也不是你们用户,你们只要把误报率降下去,降到我说不话的那种,我不是自然就安静了,没有质疑点了吗?
lovelive10010
发表于 2019-5-16 22:35:08 | 显示全部楼层
学雷锋做人 发表于 2019-5-16 22:24
既然你们也知道上次C代码的事情,那我也不多说了;你们在回复中也承认AI引擎确实在误报上比传统引擎高, ...

卡巴的机器学习误报好像很低,但检出率也不高,红伞的NightVision也没看到太多误报,是否说明,在降低查杀率的情况下,机器学习时可以把误报压下来的,只是智量把机器学习作为主引擎肯定不能像卡巴红伞这样压误报
学雷锋做人
发表于 2019-5-16 22:35:56 | 显示全部楼层
本帖最后由 学雷锋做人 于 2019-5-16 22:38 编辑
智量官方 发表于 2019-5-16 22:33
你现在的观点是智量拥有高查杀率的同时也拥有高误报率

你之前的观点是"智量目前用的引擎公式:高误报 ...

高误报率=高查杀率,通过提高误报率来提高查杀率;确实我的原话,我没有做什么改变啊,我前面提到了运气成分
只是说你们目前高误报率的情况下,不可避免的存在“运气”成分,就是说查杀率跟误报率是相互交接的。你们查杀率确实高,但被报毒的文件中可能引用存在“误报”白文件的判断,但正好报的是黑文件,所以这就变为合理性了!

难道我说得不对?你敢说目前的高误报率不会间接提高你们的高查杀率?虽然可能并不是你们直接主观的目的,也是间接被动的,这个问题没有办法避免!
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛|纳美地| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 苏ICP备07004770号 ) GMT+8, 2019-6-19 01:10 , Processed in 0.028791 second(s), 3 queries , MemCache On.

快速回复 返回顶部 返回列表