智量误杀测试

智量官方

学雷锋做人 发表于 2019-5-16 19:16
我怎么得出的？我前面一个帖子里已经说过了，上次在卡饭论坛看到一个反馈C代码写hello world被报毒，帖子 ...

你的做法就是先抛出几个结论, 但是随后你不会用严谨的事实基础来支撑你的逻辑链条. 取而代之使用"我记得"，"我判断", "我赌"等一些毫无意义的词汇。

helloworld这个例子我们之前已经在帖子中做了解释，有兴趣可以搜搜。AI判定恶意程序视野和人类是不一样的, 人把helloworld拖进IDA一看，发现简单几句代码肯定不是毒，那是以人类的方法论去判定的。AI判定恶意程序是以多个向量来判定的，HelloWorld在AI看来和恶意程序在空间距离上很接近。举个例子, AI判定一个几百KB的勒索病毒只需要几十毫秒, 看起来整个过程是非常简单的。但是以人类的方法论就比较麻烦，导致某些传统杀毒引擎就是识别不出来，这种情况下你会不会笑喷呢?

上面不是为误报洗地。我们承认AI引擎确实在误报上比传统引擎高, 可能不管怎么努力都无法达到传统引擎的误报率。但是在目前恶意程序井喷的前提下, AI还算是一种很有前途的解决办法。并且我们会努力持续降低误报。

我们想讨论的重点是高误报率=高查杀率。这意味着高误报率是高查杀率的充分条件. 你提到高查杀率就是为了忽悠小白，恰恰相反，智量是开放下载的，任何人是不是小白都可以下载。小白也可以通过较长时间的使用来对软件有一个基本的判断，哪有那么好忽悠，反而是你的言论比较符合人的朴素理解，高查杀率不就可以通过高误报来获得么? 还是用公式来解释吧,

tp = true positives
fp = false positives
fn = false negatives
tn = true negatives
查杀率 = 召回率 = tp / (tp + fn)
误报率 = 1 - 准确率 = 1 - tp/(tp + fp)

你看看, 1 - tp/(tp + fp) 是 tp / (tp + fn)的充分条件吗? 这么说有些复杂，但是在业内大家都知道, 召回率与准确率有联系，但是没有必然的关系. 如果用提高误报率来提高查杀率，不仅得不偿失，也不是可持续发展的道路。在论坛里有人也这么说过，这次算统一回应一下吧.

智量官方

yjwfdc 发表于 2019-5-16 21:32
刚才试了一下，关闭了智量的基础监控，直接用winrar打开压缩包运行一楼程序，智量报高级防护。

感谢支持，如果直接从压缩包运行里你发出的样本， 可能会被主防判定为恶意的。

学雷锋做人

智量官方 发表于 2019-5-16 22:12
你的做法就是先抛出几个结论, 但是随后你不会用严谨的事实基础来支撑你的逻辑链条. 取而代之使用"我记得" ...

既然你们也知道上次C代码的事情，那我也不多说了；你们在回复中也承认AI引擎确实在误报上比传统引擎高，并且不管怎么努力都无法达到传统引擎的误报率！，这个是重点，我希望能够让所有使用智量的人看见这句话。
“AI还算是一种很有前途的解决办法”，我不否认你们采取的技术方案，只是说你们目前高误报率的情况下，不可避免的存在“运气”成分，就是说查杀率跟误报率是相互交接的。你们查杀率确实高，但被报毒的文件中可能引用存在“误报”白文件的判断，但正好报的是黑文件，所以这就变为合理性了！
病毒样本区基本上放的都是毒，误报测试偏少，像你们这种高查杀率的情况下，有些小白一看查杀率这么高，肯定就想下载玩玩，但殊不知误报率也高！
就目前情况来看，你们拥有高查杀率的同时也拥有高误报率，这难道不是事实吗，所以这个还有什么可反驳我的吗？

lovelive10010

学雷锋做人 发表于 2019-5-16 17:56
很早以前看到一个发帖说C代码写个hello world也被智量报毒，当时差点笑喷，智量是我见过目前误报率最高的杀 ...

红伞的误报高吗？

学雷锋做人

lovelive10010 发表于 2019-5-16 22:26
红伞的误报高吗？

红伞不用，未做测试，不评论

lovelive10010

www-tekeze 发表于 2019-5-16 20:22
行啊，大佬，就等着你放这类样本，智量会是杀得最狠的？？放心！智量绝不会是前三甲。。

用智量 ...

前三甲是谁？360那个qvm估计要预定一个席位了

智量官方

学雷锋做人 发表于 2019-5-16 22:24
既然你们也知道上次C代码的事情，那我也不多说了；你们在回复中也承认AI引擎确实在误报上比传统引擎高， ...

你现在的观点是智量拥有高查杀率的同时也拥有高误报率

你之前的观点是"智量目前用的引擎公式：高误报率=高查杀率，通过提高误报率来提高查杀率"

学雷锋做人

智量官方 发表于 2019-5-16 22:12
你的做法就是先抛出几个结论, 但是随后你不会用严谨的事实基础来支撑你的逻辑链条. 取而代之使用"我记得" ...

隔了这么长时间并且回复我这么多的话，是拉着工程师团队一块讨论怎么反驳我的吗？你们不需要向我证明什么，我本来也不是你们用户，你们只要把误报率降下去，降到我说不话的那种，我不是自然就安静了，没有质疑点了吗？

lovelive10010

学雷锋做人 发表于 2019-5-16 22:24
既然你们也知道上次C代码的事情，那我也不多说了；你们在回复中也承认AI引擎确实在误报上比传统引擎高， ...

卡巴的机器学习误报好像很低，但检出率也不高，红伞的NightVision也没看到太多误报，是否说明，在降低查杀率的情况下，机器学习时可以把误报压下来的，只是智量把机器学习作为主引擎肯定不能像卡巴红伞这样压误报

学雷锋做人

智量官方 发表于 2019-5-16 22:33
你现在的观点是智量拥有高查杀率的同时也拥有高误报率

你之前的观点是"智量目前用的引擎公式：高误报 ...

高误报率=高查杀率，通过提高误报率来提高查杀率；确实我的原话，我没有做什么改变啊，我前面提到了运气成分

只是说你们目前高误报率的情况下，不可避免的存在“运气”成分，就是说查杀率跟误报率是相互交接的。你们查杀率确实高，但被报毒的文件中可能引用存在“误报”白文件的判断，但正好报的是黑文件，所以这就变为合理性了！

难道我说得不对？你敢说目前的高误报率不会间接提高你们的高查杀率？虽然可能并不是你们直接主观的目的，也是间接被动的，这个问题没有办法避免！