#PACKAGE 0817

显示全部楼层 · 发表于 2018-8-18 21:20:40

Karna 发表于 2018-8-18 20:52
有的样本在虚拟机环境里跑不出行为，对于这个测试者很难判断是不是漏了，那个测试汇总贴，估计全部都算成 ...

只要样本真的是恶意软件，即使是在测试者的电脑上没有发做，那他也是malicious的呀
只不过由于防御手段确实一种，检测率不好看了。
我觉得你说的问题倒不大。各家有个家策略，只要是真实世界测试（样本真恶意+杀软不保留）就是有意义的。

显示全部楼层 · 发表于 2018-8-18 21:32:08

本帖最后由 Karna 于 2018-8-18 21:34 编辑

pal家族发表于 2018-8-18 21:20
只要样本真的是恶意软件，即使是在测试者的电脑上没有发做，那他也是malicious的呀
只不过由于防御手段 ...

像B神那个帖子提到的，要是恶意payload没有执行的可能，安软很难判断这个程序是不是malicious，而且图灵机本来也没办法准确判断，所以各家的检测模型有其策略，都是尽量逼近，就是这个测试对卡巴不太客观了而已......

显示全部楼层 · 发表于 2018-8-18 23:55:43

本帖最后由 Karna 于 2018-8-18 23:57 编辑

swizzer 发表于 2018-8-18 19:20
其实我觉得，应该把未跑出行为的样本剔除后再计算成绩，保证公平

可是你如何观察是否跑出行为了呢，反正我这里最多用process monitor和卡巴网络监控看看，要补充的话，也最多再看看注册表。要是样本有注入行为呢，要是fileless呢，要是各种漏洞利用隐藏了自身呢，等等，个人测试者很难照顾全的。。。

显示全部楼层 · 发表于 2018-8-19 00:39:25

本帖最后由 B100D1E55 于 2018-8-19 00:42 编辑

Karna 发表于 2018-8-18 23:55
可是你如何观察是否跑出行为了呢，反正我这里最多用process monitor和卡巴网络监控看看，要补充的话，也 ...

嗯，这个就是做严谨测试的难题所在。怎么界定跑出行为了？有很多不实际细致分析根本不知道，要不是专业做这个的每天谁有那么多时间每个样本检查过去？比如前两天那个盗qq token的动作就非常少，更别说一些游戏盗号/RAT之类的触发行为很麻烦。

虽然众测双击行为有这样那样的问题，但也可以看到防御点过分后置的一些潜在风险，行为一暧昧就很容易被过。
我之前做ESET测试的时候用的是一套自制的自动系统（实机环境），那种会好一些。估计把卡巴移植进去也行不过最近暂时不想研究卡巴日志导出之类的

显示全部楼层 · 发表于 2018-8-19 02:03:13

本帖最后由 Karna 于 2018-8-19 02:12 编辑

B100D1E55 发表于 2018-8-19 00:39
嗯，这个就是做严谨测试的难题所在。怎么界定跑出行为了？有很多不实际细致分析根本不知道，要不是专业做 ...

是的，就像你之前说的，行为暧昧只能依赖云端遥测后的快速拉黑了。SW没针对性收录行为流特征的话，估计很难防住。我觉得卡巴这个主防还是防御的广度上胜出，eset锁库对于完全新的毒，可能比不上卡巴

卡饭测试做到这就已经很不错了，真正严格的测试还是相信机构吧。AV-C那边我看了介绍，RWPT确认是他们自己的收集的URL，应该不存在厂商蹲点的可能，半年为跨度也能看出层次，其它MRG、SE也多少能看出层次。当然有人一定要说测试机构收钱办事，卡饭双击更客观，你也办法反驳，不是吗

显示全部楼层 · 发表于 2018-8-19 09:23:40

本帖最后由 B100D1E55 于 2018-8-19 09:38 编辑

Karna 发表于 2018-8-19 02:03
是的，就像你之前说的，行为暧昧只能依赖云端遥测后的快速拉黑了。SW没针对性收录行为流特征的话，估计很 ...

eset锁库肯定不行，免杀的人太多了。卡巴这种比较完整的行为监控对于定时炸弹倒是不错，但要以误报为代价

RWPT虽然是自己收集的东西，但是他们覆盖面是个问题。我觉得厂商就算不蹲点也能猜到有一些测试怎么针对性应对，比如误报测试就很有代表性（BD之类的误报都挺高但是测试中一直很好看）。而AVC对panda的评估也和毒区有出入。有时候这不是测试机构有意的偏袒或者造假，而是他们测试方法/样本收集方法本身有局限性，所以才会出现不同机构检测结果大相径庭的现象（性能测试就是很典型的一个例子）
比如可以思考一个问题：AVC自己爬虫后是如何判断这些“新鲜样本”是否是恶意程序呢？既然新鲜就代表厂商检出数不高，需要自己鉴定

1）他们不太可能有很完备的自动分析系统，否则就可以自己做一个杀软了。
2）如果是参考多引擎检出呢？如果真的是这样就可以解释为什么他们真实世界里什么99%之类检测率明显都偏高（说难听点大多杀软就算在卡饭样本区都达不到那么高的分数），那么这还是真实世界吗？
3）难道他们自己搞了一个行为沙箱？行为沙箱本身局限性也很大，很多定时炸弹之类的跑不出行为，不走人肉逆向是不行的……如果他们只收集行为沙箱里行为明显的样本那么样本本身偏差性就很大，因为基本把一些微妙的不好侦测的恶意程序排除在外了（很常见的现象就是若一个样本行为沙箱判分越高则多引擎检出越高，基本是送分题）。
4）难道真的有专人每天分析这么些样本？如果是这样那最好，但从很多杀软厂商的抱怨来看这些机构一般没有这样的资源

而现实中的解决方法之一是：当第三方机构并没有那么多人力物力逐个分析海量样本时，看到一个产品出了漏检会把这些工作扔给杀软厂商让他们自证清白，出现误报也是，这里面有一些非常微妙的操作他们肯定不会明面说。这无形中给杀软厂商增加了大量鉴定负担，让他们苦不堪言
AVC一众测试中有一些明显是付费的测试，也就是厂商付钱参测，如果成绩难看可以选择不公开测试成绩，这种基本上就是呵呵了

显示全部楼层 · 发表于 2018-8-19 09:37:55

本帖最后由 191196846 于 2018-8-19 09:40 编辑

B100D1E55 发表于 2018-8-19 09:23
eset锁库肯定不行，免杀的人太多了。卡巴这种比较完整的行为监控对于定时炸弹倒是不错，但要以误报为代价 ...

你觉得现阶段对众测的形式有什么需要提升的地方吗？

我有想过做以前的封测，结果可能会准确些

但是很耗时…… 我可能没时间

其次是上卡饭的人越来越少了，再做个封测，要求高些，不知道有多少人会参与

现在每天能花个时间筛毒，能一直坚持下来，我觉得挺不错的……不知道开学后还付得起吗……

Also @Karna

显示全部楼层 · 发表于 2018-8-19 09:44:40

191196846 发表于 2018-8-19 09:37
你觉得现阶段对众测的形式有什么需要提升的地方吗？

我有想过做以前的封测，结果可能会准确些

我觉得现在这样还不错，虽然不排除真有那种官人/狂热粉丝为了自家产品蹲点偷偷上报的情况，但因为毒区大家兴致都很高所以人肉响应结果还是很快的

我个人的建议是每段时间选取一个安全产品由测试组的人来做测试，其他网友可以汇报他们使用的产品的结果（比如9月1~15测试卡巴，16~30测试BD……），这样每款产品都有机会有“官方”测试结果，我可以考虑移植对应产品到我以前用过的实机测试系统来减轻双击测试负担。如果时间不够可以相关人员每人每天贡献一些样本，或者按天轮流贡献。实在没时间的时候不一定要每天发包。

显示全部楼层 · 发表于 2018-8-19 09:57:15

B100D1E55 发表于 2018-8-19 09:44
我觉得现在这样还不错，虽然不排除真有那种官人/狂热粉丝为了自家产品蹲点偷偷上报的情况，但因为毒区大 ...

嗯……我想如果用你自动化测试系统就可以做到每天测试，不至于耗太多时间

目前毒组还没啥人，要实现你的想法有些困难，可能这测试还会持续一段时间

显示全部楼层 · 发表于 2018-8-19 10:30:00

191196846 发表于 2018-8-19 09:57
嗯……我想如果用你自动化测试系统就可以做到每天测试，不至于耗太多时间

目前毒组还没啥人，要实现你 ...

理想化的测试需要尽可能做到精细，这对非专业人士来说确实十分困难。维持现在这种测试模式可能是目前没办法的办法。不过我在想能否使用第三方工具来监控样本的行为，以帮助测试者确认样本实际操作。以前我测试atd时，曾经用procmon来监视样本行为，但日志可读性实在不佳，经常得翻半天才能找到一些关键行为。费时费力，最后结果也不太理想。但是用hips来监控也有些问题，毕竟多数安软没有hips，使用第三方hips可能会造成冲突。雷锋的工具也可以监控行为，但不清楚会不会影响主防的监控。

[病毒样本] #PACKAGE 0817