念念不忘，未见回响。-- 悼 BD

灭灭之痕

B100D1E55 发表于 2018-5-23 10:41
这个设计理念非常类似ESET啊，国内估计就火绒走这条路子了？难道是火绒的人？
啊找到那个帖子了，果然非 ...

这个观点我也觉得挺有道理。
个人认为机器学习可能遇到的最大问题就是“脱离了人的定义”，因为人对于一个文件是否有害，行为是否存在相关风险是有明确的判定基准的，不足的是时间成本以及计算能力上的限度，简单来说“给我源代码，我必然能判定你是否是病毒”。因为“病毒”或者“有害文件”本身定义来源于人类的共识，即使是灰色文件，也可以通过某些方式对文件下一个定义，并对其性质进行论断。
但是机器学习缺乏这一基本要求“定性判断”，问题变成了一个定量问题，问题从“是不是病毒”变成了“有多大的概率是病毒”，这个结果非常尴尬。这点对于普通用户来说几乎没有任何实质性的帮助，特别是如今的很多病毒都学会了伪装，没有虚拟机、没有主防甚至很多时候文件都没有真正执行，最后就靠着一堆模糊的“类特征”试图找到那一条边界，然后各色灰色文件在黑名单内进进出出，普通用户陷入一脸懵逼。
上面有朋友说ML之类主要用于内部分拣，我觉得还是很有道理的，要是拿来做核心技术，真的不成熟。

极简极纯

我之前跟BD官方多次就中国更新问题以及客服问题进行反馈，然后态度很好的答应着，然后石沉大海...我倒是还在用BD，因为我还是更喜欢强大的主防，并且之前本来准备停止续费BD结果被给了优惠然后停不下来一时冲动然后又续了一年...（参见我的BD区帖子）但愿BD也能在中国建立分公司，或者哪怕有个官方总代{过}{滤}理呢...最近更新倒是在反馈之后变快了，希望不远的将来能等到官方中文版吧...

诺顿云偏重更大，BD...唉...我大概是时候开始用卡巴全家桶了...

www-tekeze

灭灭之痕 发表于 2018-5-23 16:58
这个观点我也觉得挺有道理。
个人认为机器学习可能遇到的最大问题就是“脱离了人的定义”，因为人对于一 ...

这个问题某方面来看，就象“机器人能不能替代人类”，详细就不科普了，最起码现在的算法还达不到那种先进程度，而算力也还远达不到 (需要量子计算机么？需要生物计算机么？) 。。。别看谷歌的“阿尔法狗”轻松战胜了人类 (而国际象棋多年前电脑的算法就可以战胜人类)，但棋界的规则是死的，而现实当中的“安全”却是不停在变的，所以，象楼上那位朋友说的，物尽其用就行了，反之滥用或者说过度云化，那用户们轻则会一脸懵逼，重则可能被当成壮烈牺牲的小白鼠，惨。。。

横戈熔情

此贴的各种回复多数都是高手，太专业。用BD的一种感受，界面、模块设置一直都没搞得清楚，可能是个人水平有限。使用BD中，想找“厕所”，却找到“卧室”、“厨房”、“地下室”，就是找不到“厕所”模块；有时点击的“理发店”，进去了，才发现是个“肯德基”。至今为找隔离模块，就象记忆力自我测试一般。

B100D1E55

灭灭之痕 发表于 2018-5-23 16:58
这个观点我也觉得挺有道理。
个人认为机器学习可能遇到的最大问题就是“脱离了人的定义”，因为人对于一 ...

一些情况下让机器赶上人还是很难的。比如一个批量删除指定文件夹的程序，它可能被恶意程序利用，也可能被用于清理磁盘空间等。人之所以能判定恶意与否是因为人知道这个程序的行为结果和自己的目的是否一致，如果不一致就可能是恶意程序，而很多情况下机器不知道操作者的意图，不同机器/环境上这个准则可能还不一样。有的杀软对于这类直接判黑；有的杀软不杀而只杀利用它的程序；有的杀软则会归类为risktool，提醒用户注意潜在危险。这些理论上都有一定道理，所以评测这类样本查杀率我个人觉得是没有意义的

当“恶意”上升到比对用户初始的意图后，判定程序恶意与否就很难了。此外操作系统API层面能捕捉到的行为颗粒度和抽象层都有限，并没法提供像人肉判定那样完整的信息。再者，图灵机的局限注定了很多精巧的定时炸弹不用人肉分析是很难看出来的。
我觉得第一条也是当代行为启发的一个主要困境，ESET在早年的一篇文章中都有提到（以下为我人肉翻译后的文本）：

时至今日，病毒（即有自我复制功能的程序）在恶意程序总集中所占的比重越来越小了。这也使得启发式扫描面对的问题越发困难。虽然有自我复制能力的程序并不总能被侦测出来，但只要对程序代码解构足够深，一般而言通过启发规则发现程序自身复制的意图还是比较简单的。相比而言，自动检测一个程序是否是木马、僵尸等，或者检测程序是否有恶意意图，远比检测传统意义上的病毒难得多。举个很经典的例子，一个格式化磁盘的程序本质上不是恶意的，毕竟它本质上就只会格式化磁盘。但是，如果这个程序伪装欺骗用户使其认为是一个能播放视频的程序，那么基本而言它可以算是恶意的。这个案例说明侦测算法要能将用户对程序目的的理解，和作者编写这个程序要达到的真实意图进行比对，从而对程序进行分拣，而不是根据程序的其他一些特性来判定恶意与否。

（其实PUA的判定也是如此，一些程序被称作流氓正是因为其实际所做的事情超出了用户对程序明面上意图的认知）

我觉得现今ML的问题主要在于用在哪里而非ML本身是否合适，自动化本身就是大势所趋，但是对恶意程序侦测缺乏认知的数据科学家可能就寄希望于黑箱模型，祈求把一串二进制数据扔进去训练就会有奇迹诞生。现阶段而言似乎是有点“奇迹”，不过这个“奇迹”是否是真的、能否经得起对抗的考验要打个问号。CCleaner事件的时候机器学习引擎歇菜的不是一点两点，而且由于大量资源文件都是白文件特征（我猜测就算转制成图片用deep net侦测也没用），像Cylance那样纯靠机器学习引擎的厂家只好应急hash拉黑，而且还漏拉黑了几个样本。不仅修补模型麻烦，在不破坏原文件功能的前提下随便改改二进制串这些引擎报毒置信度马上变了，这说明这种侦测方式明显有缺陷。它不仅可以被免杀，更可以被恶意构造“黑”文件对IT管理进行密集疲劳攻击，可靠度堪忧。在没搞清楚侦测机制实质的前提下这种“奇迹”往往就只能是这么一回事

所以ESET一直在强调两点：
1）机器学习算法无法“理解”这些训练数据，即使一些信息在统计学上有意义，也不代表它们就是有效的

（其实我觉得这和科学/统计学上对causality的认知差不多）

2）不同于一些声称自己可以不用脱壳/行为分析/模拟执行就能侦测恶意程序的厂商，我们坚信这些方法对于为机器学习提取有效的训练数据至关重要。否则对压缩过/加密过的数据进行学习只不过是在分拣噪声罢了


（之前就有遇到Symantec ML引擎对正常自解压包都报毒的情况）

wangkaka

B100D1E55 发表于 2018-5-24 12:22
一些情况下让机器赶上人还是很难的。比如一个批量删除指定文件夹的程序，它可能被恶意程序利用，也可能被 ...

我在想，一些纯粹自动机器学习厂商，而没有人工手动置信（或人手严重不足），会不会出现有人恶意编一种恶意程序（但在其中加入了许多干扰性的正常系统文件或白文件二进制代码，现在xp源代码都有了），那些静态机器学习学习后大量误报系统文件或正常的白文件

Picca

B100D1E55 发表于 2018-5-24 12:22
一些情况下让机器赶上人还是很难的。比如一个批量删除指定文件夹的程序，它可能被恶意程序利用，也可能被 ...

那么像国产那样的基于大型云白名单库的呢？查杀方面，配合终端覆盖率极高的云快速的响应，QVM的敏感度都很高，用来对抗各种类型的面杀，再通过大量的人工鉴定和这么多年积累下来的云端白名单来降低误报，主防方面尽量增加程序行为的可读性，让用户自行判断，引入的人工判定对抗图灵机本身的局限，同时也搭配白名单减少弹窗，看上去似乎走出了一条路的样子

pal家族

你可以瞑目了

B100D1E55

Karna 发表于 2018-5-24 15:19
那么像国产那样的基于大型云白名单库的呢？查杀方面，配合终端覆盖率极高的云快速的响应，QVM的敏感度都 ...

靠白名单系统压误报的问题在于
1）误杀率极大取决于白名单收集范围，比如360 TSE早年刚进入国际市场的时候对FB客户端等超常见软件都杀得很厉害，更不用说用户较少的专业软件、新编译的程序等。现在大厂纷纷开始用更复杂的机器学习系统进行家族信誉判定（例如ESET虽然HIPS不检测键盘记录，但信誉系统中会给有潜在键盘记录的程序更低分数），这可以辅助其他判定手法，但很难作为唯一判定依据
2）第一批误报受害者问题：这个问题类似于第一批恶意软件受害人的问题，不少程序后台更新组件越发频繁，比如office365、Chrome……对于杀毒厂商，在新文件出来和信誉库加白中间的空窗期如何处理就比较微妙了，处理不好产生误报的话和病毒带来的危害没什么两样。

所以我认为基于白名单的手段缺陷同样明显，更不用说误加白等社工问题。

让用户自行判断也是伪命题，因为操作系统能捕捉的东西有限。比如程序试图覆盖一个文档文件，软件可以提示用户重要文件被覆盖有潜在危险，但是软件没法提示用户重要文件正在被覆盖为加密后的文件。有人可能会认为可以针对增加检测，但是很多洞是堵不完的。这个颗粒度的缺失导致用户询问意义不大。我可以做一个假美图软件，它实际上是加密用户选定的文件，但用户以为它是美图程序。对于这样的程序，弹窗提示写入文件用户也会放行的……而且弹窗过多用户马上会降低警惕心，一路允许过去……实诚一点的安全开发人员都会承认有一些类别的侦测（远控等）是很困难的，安全软件只能保障大部分情况

QVM敏感度很高是建立在高误报的基础上，已经导致有些用户看到QVM第一个想到的是误报（而事实也是如此）。一个检出类别多几次误报后续用户就很难信任了，之后社工绕过的概率会大很多，比如早年流氓都喜欢提醒用户先关闭360再装，而很多用户也照做了

当然我说这些不代表我否定国产软件这些努力，国内一流厂商若没有过硬的技术根本没法在持久攻防对抗上生存下来。我自己也用过360好几年而且我从不以此为耻或者以此嘲笑别人电脑水平。这些检测方法都有缺陷，但都是没办法的办法。为了普通用户的安全牺牲一些易用性和准确性也是能理解的吧。不同人解决同一问题方法不同，这对于安全界来说是好事，检测手段种类越多，病毒大规模扩散的难度就越大。

B100D1E55

wangkaka 发表于 2018-5-24 14:23
我在想，一些纯粹自动机器学习厂商，而没有人工手动置信（或人手严重不足），会不会出现有人恶意编一种恶 ...

肯定会有这种可能，其实symantec误判一些正常的sfx已经说明一些问题了。因此提取训练数据的深度很重要，现阶段浅层特征可能同样work，但一旦这些产品占有率高了之后针对性攻击必然会出现，到时候这些手段能不能经得起考验就要时间证明了。我个人不大相信这些黑箱手段作为首要侦测方法能经得起考验考验，关于ML adversarial attack的研究越来越多，早已经有人开始做相关对立面的learning了