搜索
查看: 8553|回复: 36
收起左侧

[分享] ESET的一些内部测试数据

  [复制链接]
B100D1E55
发表于 2019-2-28 14:44:57 | 显示全部楼层 |阅读模式
本帖最后由 B100D1E55 于 2019-3-1 06:22 编辑

这两天刚看到的,顺手分享一下:

这张图讲的是DNA侦测的有效性。上图深绿色是Emotet的全网检测量走势,而黄色的是靠着单条DNA特征(18年6月机器学习模型更新后)检出的Emotet的数量。可以看到DNA检测的高效性

新的云端样本自动处理管线图,其实和上次差不多,主要分三个部分:最顶上的是静态ML分析,中间的是仿真后DNA分析,用了6个传统分拣算法+一个deep learning模型,最底下的是沙盒内存分析,然后用LSH等手段进行已知威胁的相似性比对

接下来的两组数据相对有点意思,是他们实验室内部测试数据:
用18年10月的机器学习模型(上图那个)来侦测18年12月VT上的样本,下图是检测率对比:

NG1~6就是那些所谓next-gen产品,他们自然不会说哪家是哪家咯。我赌五毛几个NG的数据是纯扫描的,倘若如此就不是100%公平(毕竟ESET管线有跑沙箱)。不过还是能看出其实厂家之间的检测能力差距可以很悬殊,而这种差距往往不能被客户直观感受到

这张图是他们实验室内部测试的误报率。这图我是相信的,而且我觉得ESET端点误报也差不多是这个水准。NG6那个误报率……我大概知道是哪一家了 我个人一贯的看法是AVC/AVTEST那种误报测试没法区分开上图0.1%和2%那种误报率差距,顶多是区分一下0.1%和7%或者25%。但实际使用的时候0.1%和2%的差别能感受到,且越爱折腾的用户越能感受到。

没什么干货不过难得看到他们公开了内部的测试数据就贴一下咯
新增几张图:

关于ESET病毒实验室的人员构成

36%是侦测工程师,27%是软件工程师,17%是恶意程序分析师,13%是恶意程序研究员,剩下的7%是PR等人员

样本处理流程和大多大厂类似,大部分云收集的样本走自动处理管线,其中一小部分难以判定的样本则交给人工处理(即恶意程序分析师),如果恶意程序分析师鉴定文件为黑,则转交给侦测工程师创建新的定义并发布到客户端。

去年CyberMonday的时候Emotet曾经大幅爆发过一次,他们当时放出了不同防御层的侦测占比,其中Documents是云端防护系统的侦测,Trojan是高级内存扫描的检测,而Kryptik则是DNA扫描的检测。要说这张图传达了什么重要信息,那就是请还在用4.x之类版本的同学尽早升级吧


至于他们总部的viruslab长什么样,某网站上有个视频有条件的同学可以去围观:https://www.youtube.com/watch?v=PxJW6WZN3zs 应该还是布拉提斯拉发的那幢楼。里面接受采访的那个小哥就是经常在各种conf演讲的研究员之一


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?快速注册

x

评分

参与人数 6分享 +3 人气 +12 收起 理由
Jirehlov1234 + 3 版区有你更精彩: )
屁颠屁颠 + 3 版区有你更精彩: )
cect258 + 1 版区有你更精彩: )
七游 + 2 版区有你更精彩: )
xiaofeizei + 3 版区有你更精彩: )

查看全部评分

Jerry.Lin
发表于 2019-2-28 15:20:40 | 显示全部楼层
我来猜猜

NG6 -> Cylance

tihs
发表于 2019-2-28 15:24:43 | 显示全部楼层
看不懂,但是高大上。国内的安软企业也能这么努力就有希望了。
看好ESET未来。

Miostartos
发表于 2019-2-28 15:33:21 | 显示全部楼层
191196846 发表于 2019-2-28 15:20
我来猜猜

NG6 -> Cylance

我同意。
不过我很好奇NG3是啥。哈哈哈。
xiaofeizei
头像被屏蔽
发表于 2019-2-28 18:40:07 | 显示全部楼层
主防啥时候能正式出来我比较关心这个
微雨燕双飞
发表于 2019-2-28 21:35:46 | 显示全部楼层
NG1 2 4 感觉应该是大厂
85683213
发表于 2019-2-28 21:47:15 | 显示全部楼层
本帖最后由 85683213 于 2019-2-28 22:22 编辑

ESET 也是纯扫描啊,哪有跑沙箱?

NG1: AVIRA
NG2: Avast
NG3: Microsoft
NG4: Bitdefender

...没办法猜了

不过他到底怎么测的...
这种最理想的是AVIRA这种纯扫描的杀毒

Trend Micro
Kaspersky
Symantec
Bitdefender

这种功能复杂的到底怎么测试?


generalbasic008
发表于 2019-2-28 21:56:47 | 显示全部楼层
ESET的沙箱一直没感觉到,难道就是高启发的沙箱?NG1是哪家 ,还不错嘛?
B100D1E55
 楼主| 发表于 2019-2-28 23:36:27 | 显示全部楼层
191196846 发表于 2019-2-28 15:20
我来猜猜

NG6 -> Cylance

嘿嘿Cylance误报的确可以算惊天地泣鬼神
B100D1E55
 楼主| 发表于 2019-2-28 23:37:13 | 显示全部楼层
STCn1000 发表于 2019-2-28 15:33
我同意。
不过我很好奇NG3是啥。哈哈哈。

有那么一秒钟我在想NG3是不是sophos
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 湘ICP备2021004765号-1 ) GMT+8, 2021-9-17 05:52 , Processed in 0.134355 second(s), 19 queries .

卡饭网所发布的一切软件、样本、工具、文章等仅限用于学习和研究,不得将上述内容用于商业或者其他非法用途,否则产生的一切后果自负,本站信息来自网络,版权争议问题与本站无关,您必须在下载后的24小时之内从您的电脑中彻底删除上述信息,如有问题请通过邮件与我们联系。

快速回复 客服 返回顶部 返回列表