启发就是主防？

显示全部楼层 · 发表于 2017-6-4 12:50:46

本帖最后由 B100D1E55 于 2017-6-4 12:54 编辑

ccboxes 发表于 2017-6-4 09:21
路径依赖，主防的开发难度不亚于一款新引擎，也不能套用以前的代码，风险相当大。而任何公司在开发新功能 ...

ESET机器学习已经搞了十年以上了，他们称之为automated detection。只不过他们为了控制误报不看好unsupervised learning
而且ESET并不是没有行为检测框架，只不过他们不喜欢用户介入而且要严格控制误报，所以ransom protection的规则都很保守

显示全部楼层 · 发表于 2017-6-4 13:32:45

B100D1E55 发表于 2017-6-4 12:50
ESET机器学习已经搞了十年以上了，他们称之为automated detection。只不过他们为了控制误报不看好 ...

抱歉我说的机器学习特指2016年才受业界重视的“深度学习”，也就是“Deep Learn”。目前也就只有几个大厂（诺顿、趋势等）和几个新兴厂商投入了实用。在这之前，“深度学习”不过只是几个大学教授的玩具，并没有厂商投入。

如果你是指传统的向量机或者神经网络的话，我只能说现在也就只有像火绒这样的微型厂商才没有了，各大的自动分析系统皆以这样的技术支撑，不然也没办法一天处理上百万样本，还要顾及误报。

至于“不喜欢用户介入而且要严格控制误报”则只能说是托词，现在这几个比较成熟的主防都是全自动的，在处理完后才会通知用户，也就只有Emsisoft需要大量的用户决策。而误报方面，如果ESET真的如此注重误报，反而不该先推出基于行为分析的防勒索，因为勒索软件本身就是因为可疑动作少，与正常软件行为过于相似才能如此泛滥。主防检测勒索要比检测其他病毒更容易误报，更别提误报率很容易就能通过白名单压下去，达到不影响大部分用户使用的水平。

所以我认为ESET不研发主防更可能是客观原因导致的，不是没有对口的人才，就是认为开发失败的风险过高。

显示全部楼层 · 发表于 2017-6-4 14:20:26

本帖最后由 B100D1E55 于 2017-6-4 14:26 编辑

ccboxes 发表于 2017-6-4 13:32
抱歉我说的机器学习特指2016年才受业界重视的“深度学习”，也就是“Deep Learn”。目前也就只有几个大厂 ...

deeplearn误检率低的有哪几家？(这句是问句，因为我不是非常了解几个新兴ml引擎)DL这块就是靠试错出来的，现阶段根本做不到proven to be effective，所以在安全领域有翔实案例前我不认为追随这个潮流就是有优势，而不追随就是没能力或者不思进取。或许只是试过了发现效果不令人满意
eset基于hips的防ransom基本只是针对少数几个家族特殊行为的检测，和那些打分系不是一个类型，如果有误报的话我倒是很想测一测。反过来自动打分系误报并不少，本身从行为层面来自动判断程序就有这方面缺陷。稍微好一点的bd avc根据当期样本训练模型，样本变身之后同样也哑火。到头来还是hips手动加一两条文件访问规则有效(eset针对企业就是这样部署的)
我觉得avc等测误报除了测扫描误报外还应该加入行为防御误报测试。emsi这种靠黄bar撑起检测半边天的说不定在行为误报测试也能靠黄bar撑起半边天。至于其他家的也令人期待

显示全部楼层 · 发表于 2017-6-4 14:51:37

B100D1E55 发表于 2017-6-4 14:20
deeplearn误检率低的有哪几家？(这句是问句，因为我不是非常了解几个新兴ml引擎)DL这块就是靠试错出来的 ...

什么技术都是要推广后才能成熟，想要引领业界的话，试错是必不可少的。等到“安全领域有翔实案例”的时候就已经被落下了。

我也说过，误报只要依靠白名单就可以压制到大部分人能接受的水准。，如果不算我频繁尝试的绿色软件的话，加入ML检测的诺顿也没出现过误报。而EndGame和FireEye等虽然我没有用过。但他们只提供企业安全解决方案，难道企业不是最重稳定与低误报的吗？相对的，这几家的ML引擎在VT上总是最先响应的，ESET的响应速度则只是平均水平。

另外，所谓自动打分的主防，其实只有BD和费尔，BD的误报也总是AVC前列（请注意AVC测试并不是只测扫描，误报测试也是包括主防的）。其余的主防都是基于启发特征的，都很成熟，结果ESET还是不愿意引入，只是半遮半掩的搞一个勒索防护。等深度学习成熟了，估计也是一样。

这种完全不冒险的态度并不好，你不觉得ESET太过保守了吗？

显示全部楼层 · 发表于 2017-6-4 15:47:06

本帖最后由 B100D1E55 于 2017-6-4 16:16 编辑

ccboxes 2017-6-4 14:51
...

你说得这几点都经不起推敲：
比起个人用户的软件环境，企业软件环境实际上相对简单（安装的软件固定，权限限制的死，组件迭代慢，还有网管帮忙预测试和添加白名单），这些在个人用户电脑上不可能实现。此外，企业实际上对新文件误杀更容忍，只要不影响实际客户端运作，一些所谓绿色软件误杀的苦恼在企业用户来看只能算是“审慎”的行为。宁可误杀新文件也不要影响正常运作反倒在企业中才有实行价值。企业能通过添加管理员密码来保护杀软不被关闭，个人用户遇到疑似误报往往第一反应就是关掉杀软，出了问题这个锅谁来背？为什么anomaly detection只能用在企业网关/客户端上，而普通用户机器上却没听说有用这些技术？

VT最先响应就能证明他们厉害吗？VT接收的白文件不在少数，他们vt上第一时间检出率普遍高是不是已经说明了一些问题了呢？就算能第一时间检出黑文件，能证明他们第一时间不会把白文件也鉴定成黑吗？我写的那些破烂hello world在VT上最爱报毒的恰恰是那几家“最先响应”的厂商。VT上ESET响应慢除了产品本身的局限性我也可以这样解读：1）一些文件可能是白的 2）针对ESET的表层免杀远比那些公开程度极低的产品来得多3）VT上bypass了不代表能bypass后续的防御措施
VT自己都多次声明别把它的结果作为自己产品厉害的佐证，因为VT本身没有鉴别黑白的能力，到头来只是展现各家结果罢了。对于防御纵深的产品来说，VT更是只能展现扫描层面

正如你说的一些产品主防是基于启发特征，难道ESET AMS不是吗？一个是监控实际执行API给进程打分，一个是实时监控进程API call+扫描内存页中API序列打分，真的是天差地别吗？

没把这些“先进”技术下放到产品上代表他们没在研究吗？在这些技术成熟之前就下放给客户的冒险行为要唱赞歌吗？

AVC的误报测试：http://www.av-comparatives.org/w ... c_fps_201703_en.pdf
从这些报毒名来看哪些是行为测试出来的误报？关于这点如果你知道的话烦请指出

显示全部楼层 · 发表于 2017-6-4 16:20:45

B100D1E55 发表于 2017-6-4 15:47
你说得这几点都经不起推敲：
比起个人用户的软件环境，企业软件环境实际上相对简单（安装的软件固定，权 ...

你这么说的话，“VT上bypass了不代表能bypass后续的防御措施”，但是就eset来说尤其是个人版hips的默认设置，似乎后续没有什么措施了……

显示全部楼层 · 发表于 2017-6-4 16:45:28

B100D1E55 发表于 2017-6-4 15:47
你说得这几点都经不起推敲：
比起个人用户的软件环境，企业软件环境实际上相对简单（安装的软件固定，权 ...

你说的第一点当然是用户来背，绿色软件大部分都经过第三方的修改，本身就伴随着风险，何况大部分人都不会使用，不要犯幸存者偏差的错误。对于一般用户来说，不要说正经的白名单，可信签名库都足以覆盖所有常用软件了，这些不折腾电脑的人是不会有绿软被误杀的苦恼的。

而你说anomaly detection不用在个人产品上，首先这是因为其主要应用在IDS上，而个人极少有成规模的网络，你什么时候听说哪家的个人产品提供IDS？其次其本身的原理就是检测与”常态“的差异，只适用于非白即黑的环境。而DeepLearn作为通用的、提取病毒特征的检测方式则不然。

VT先响应不能证明吗？检测率当然是最重要的指标，误报控制参见第一条，另外请不要拿个例证明，我的编译目录没有排除过，也没有被诺顿报。就算不说你的例子是不是个例，helloworld被报是什么严重的误报吗?新手的程序本来就功能残缺，结构异常，存在与恶意软件的相似之处。现在ML不够完美，可是这就是你否定它的理由？

当然你可以说ESET可能在实验室里正在研究新一代引擎，只是觉得不够完美才没有推出，但也无凭无据，都是猜测不是吗？我们只能通过它公开的产品和文章来看。而从它公开的东西看，ESET并不是错过一波的问题，而是在已经非常成熟的行为检测上进展缓慢的同时，又表现出了对再下一代技术的怀疑和保守。你要是想用这个反驳我，至少等ESET11有新引擎的消息再说。

我对安软没啥偏好，并没有对ESET有啥贬低。至少从目前的情况看来，ESET并不是很重视新技术（无论是不是ML），是有可能掉队的。

显示全部楼层 · 发表于 2017-6-4 17:27:15

欧阳宣发表于 2017-6-4 16:20
你这么说的话，“VT上bypass了不代表能bypass后续的防御措施”，但是就eset来说尤其是个人版hips的默认设 ...

http://bbs.kafan.cn/thread-2090961-2-1.html AMS可以杀很多

显示全部楼层 · 发表于 2017-6-4 17:27:36

本帖最后由 B100D1E55 于 2017-6-4 17:39 编辑

欧阳宣发表于 2017-6-4 16:20
你这么说的话，“VT上bypass了不代表能bypass后续的防御措施”，但是就eset来说尤其是个人版hips的默认设 ...

二连编辑掉

显示全部楼层 · 发表于 2017-6-4 17:51:38

本帖最后由 B100D1E55 于 2017-6-4 18:07 编辑

ccboxes 发表于 2017-6-4 16:45
你说的第一点当然是用户来背，绿色软件大部分都经过第三方的修改，本身就伴随着风险，何况大部分人都不会 ...

安软设计原则在于精准判断，这意味着不应把白判黑损失易用性，也不应把黑判白损失安全性。既然你叫用户背锅，那要安软何用呢？遇到问题就怪用户使用习惯不好，乱报毒就可以免责了？这无异于叫用户直接决策操作行为的风险，已经违背了安软设计原则

我举anomaly detection纯粹是说明企业对误报的需求。你可以说我的程序结构残损导致报毒，但这件事本质在于这个程序不包含任何恶意行为，理应不当被报毒。难道杀毒软件还要设立一条编程准则，不按规则写的被报毒后果自负？本身各种检测方法就是为了最大程度上将非恶意文件和恶意文件区分开来，而今一个模型错觉得一个正常程序和恶意程序相似，不已经说明这个模型本身就不靠谱吗？我的例子固然不能直接推论实际情况，但你提及的那些进步厂商的不少用户抱怨各种误杀，加上专业机构的误报测试还算个例吗？本来很多机器学习就是为了解决人类思考盲区提高自动化程度，而今出了问题却要用人工白名单这种下下策擦屁股，未免有些讽刺

我并没有主张eset开发什么未投放的技术，只是提出了你主张中疏忽的一个可能性，因此我并没有继续举证的必要。我只是觉得这种产品设计思路的问题被推论到公司态度和能力层面有点偏颇了。每个产品都有其局限性，eset为了误报控制损失了查杀率也在所难免。一些产品或许有很高检出率，但倘若这是以牺牲易用性为代价，我觉得也没有太多价值

[讨论] 启发就是主防？