搜索
查看: 3496|回复: 32
收起左侧

[分享] ESET的一些内部测试数据

  [复制链接]
B100D1E55
发表于 2019-2-28 14:44:57 | 显示全部楼层 |阅读模式
本帖最后由 B100D1E55 于 2019-3-1 06:22 编辑

这两天刚看到的,顺手分享一下:
sd0.jpg
这张图讲的是DNA侦测的有效性。上图深绿色是Emotet的全网检测量走势,而黄色的是靠着单条DNA特征(18年6月机器学习模型更新后)检出的Emotet的数量。可以看到DNA检测的高效性
sd1.jpg
新的云端样本自动处理管线图,其实和上次差不多,主要分三个部分:最顶上的是静态ML分析,中间的是仿真后DNA分析,用了6个传统分拣算法+一个deep learning模型,最底下的是沙盒内存分析,然后用LSH等手段进行已知威胁的相似性比对

接下来的两组数据相对有点意思,是他们实验室内部测试数据:
用18年10月的机器学习模型(上图那个)来侦测18年12月VT上的样本,下图是检测率对比:
sd2.jpg
NG1~6就是那些所谓next-gen产品,他们自然不会说哪家是哪家咯。我赌五毛几个NG的数据是纯扫描的,倘若如此就不是100%公平(毕竟ESET管线有跑沙箱)。不过还是能看出其实厂家之间的检测能力差距可以很悬殊,而这种差距往往不能被客户直观感受到
sd3.jpg
这张图是他们实验室内部测试的误报率。这图我是相信的,而且我觉得ESET端点误报也差不多是这个水准。NG6那个误报率……我大概知道是哪一家了 我个人一贯的看法是AVC/AVTEST那种误报测试没法区分开上图0.1%和2%那种误报率差距,顶多是区分一下0.1%和7%或者25%。但实际使用的时候0.1%和2%的差别能感受到,且越爱折腾的用户越能感受到。

没什么干货不过难得看到他们公开了内部的测试数据就贴一下咯
新增几张图:

关于ESET病毒实验室的人员构成
sd10.jpg
36%是侦测工程师,27%是软件工程师,17%是恶意程序分析师,13%是恶意程序研究员,剩下的7%是PR等人员
sd01.jpg
样本处理流程和大多大厂类似,大部分云收集的样本走自动处理管线,其中一小部分难以判定的样本则交给人工处理(即恶意程序分析师),如果恶意程序分析师鉴定文件为黑,则转交给侦测工程师创建新的定义并发布到客户端。
emotet.png
去年CyberMonday的时候Emotet曾经大幅爆发过一次,他们当时放出了不同防御层的侦测占比,其中Documents是云端防护系统的侦测,Trojan是高级内存扫描的检测,而Kryptik则是DNA扫描的检测。要说这张图传达了什么重要信息,那就是请还在用4.x之类版本的同学尽早升级吧


至于他们总部的viruslab长什么样,某网站上有个视频有条件的同学可以去围观:https://www.youtube.com/watch?v=PxJW6WZN3zs 应该还是布拉提斯拉发的那幢楼。里面接受采访的那个小哥就是经常在各种conf演讲的研究员之一


评分

参与人数 6分享 +3 人气 +12 收起 理由
Jirehlov1234 + 3 版区有你更精彩: )
屁颠屁颠 + 3 版区有你更精彩: )
cect258 + 1 版区有你更精彩: )
七游 + 2 版区有你更精彩: )
xiaofeizei + 3 版区有你更精彩: )

查看全部评分

191196846
发表于 2019-2-28 15:20:40 | 显示全部楼层
我来猜猜

NG6 -> Cylance

tihs
发表于 2019-2-28 15:24:43 | 显示全部楼层
看不懂,但是高大上。国内的安软企业也能这么努力就有希望了。
看好ESET未来。

STCn1000
发表于 2019-2-28 15:33:21 | 显示全部楼层
191196846 发表于 2019-2-28 15:20
我来猜猜

NG6 -> Cylance

我同意。
不过我很好奇NG3是啥。哈哈哈。
xiaofeizei
发表于 2019-2-28 18:40:07 | 显示全部楼层
主防啥时候能正式出来我比较关心这个
istillmissher
发表于 2019-2-28 21:35:46 | 显示全部楼层
NG1 2 4 感觉应该是大厂
85683213
发表于 2019-2-28 21:47:15 | 显示全部楼层
本帖最后由 85683213 于 2019-2-28 22:22 编辑

ESET 也是纯扫描啊,哪有跑沙箱?

NG1: AVIRA
NG2: Avast
NG3: Microsoft
NG4: Bitdefender

...没办法猜了

不过他到底怎么测的...
这种最理想的是AVIRA这种纯扫描的杀毒

Trend Micro
Kaspersky
Symantec
Bitdefender

这种功能复杂的到底怎么测试?


generalbasic008
发表于 2019-2-28 21:56:47 | 显示全部楼层
ESET的沙箱一直没感觉到,难道就是高启发的沙箱?NG1是哪家 ,还不错嘛?
B100D1E55
 楼主| 发表于 2019-2-28 23:36:27 | 显示全部楼层
191196846 发表于 2019-2-28 15:20
我来猜猜

NG6 -> Cylance

嘿嘿Cylance误报的确可以算惊天地泣鬼神
B100D1E55
 楼主| 发表于 2019-2-28 23:37:13 | 显示全部楼层
STCn1000 发表于 2019-2-28 15:33
我同意。
不过我很好奇NG3是啥。哈哈哈。

有那么一秒钟我在想NG3是不是sophos
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛|优惠券| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 苏ICP备07004770号 ) GMT+8, 2019-3-26 00:52 , Processed in 0.045427 second(s), 4 queries , MemCache On.

快速回复 返回顶部 返回列表