[SecureArea]第一期 WindowsDefender & 360杀毒 个人恶意软件防护测试

Jerry.Lin

[SecureArea]WindowsDefender Malware Protection Test

[SecureArea]360杀毒 Malware Protection Test

==================================================================

本次测试的目的是在一个相对公平的实验环境下评估一款反病毒产品对新威胁的防护能力；由于个人精力有限，本次测试的某些方面可能需要进一步完善；测试结果仅供参考。

测试过程如下：

1、 测试产品以默认设置安装于虚拟环境中

2、 解压恶意软件样本包并依次执行样本，观察并记录反病毒软件的工作情况

3、 确认系统是否已被感染

4、 每天测试1次，持续测试5天，产生最终结果

样本来源：

测试所用的样本均来自手动捕获，以后门木马，注入者，间谍软件居多，其特点往往为隐蔽性极高，难以清除等，能够一定反映出当前木马的流行趋势。样本经过严格筛查，确保样本足够新鲜，并且保持当日捕获当日测试的过程，最大程度还原了用户遭到零日威胁的情景，以此测试反病毒软件对最新威胁的防护能力。所有样本都修改了Hash，避免采样偏差。

测试结果

测试结果将划分为4种类型，分别是：

执行前拦截：在恶意软件运行于内存之前拦截

高级拦截：通过行为分析，云，HIPS等先进拦截技术成功清除或抑制执行后的恶意软件

漏报：反病毒软件无任何警报或提示

系统状态：当日样本全部执行完后，若在进程，images，驱动，服务，启动项，系统目录，关键注册表发现任何恶意项目，系统状态认定为感染；反之，系统为干净

测试工具：

1、 Comodo Kill Switch (基于Process Explorer) 白名单模式

2、 Comodo AutoRun (基于 AutoRun) 白名单模式

3、 360急救箱：因其非白即黑的特性，用来最终确认系统是否干净

4、 PC Hunter 选择性使用

==================================================================

杀软评测确实难做，所以这几期视频将把重点放在考验杀软的检测率，后面的话可能会做几期Performance Test

由于是第一期，尚且存在以下几个问题：

1、0618，0619 测试样本时没有很好控制双击间隔，后续已改进。

2、0618， 0619 对系统是否干净没有很好的验证，后续已改进。

3、0622 网络环境波动较大

回答几个大家可能会问的问题：

1、没有误报测试？

误报样本收集工作可比恶意软件收集更困难，不仅要求收集范围广，对量的要求也很大，个人测试是做不到的；只能通过大家日常使用的实际情来看。

2、系统是否感染的验证环节？

由于时间和条件所限，无法做到双击一次样本后还原虚拟机再测试，只能全部测完后用Comodo 系列工具查看是否存在新增未知进程或项目；360急救箱扫描作为最后确认系统是否干净的依据（非白即黑）；这种方法怕的是Fileless attack（无文件攻击，既通过恶意脚本驻留在内存中），后续会想办法改进……

3、既然有AV-TEST，AV-Comparative的第三方测评，为何还要做这个测试呢？

首先是出于个人爱好；第二个是我觉得录视频能带给大家除数据外更直观的感受，像杀软清毒流程这些细节等；三是样本足够新鲜：虽然样本的广度肯定不及专业评测机构拿到的，但是比评测机构新：评测机构绝大部分都是月度评测，采用的样本往往已经流行一段时间，相当于给入库慢的厂商放水，而这次测试的样本都是当天捕获当天测试；四是针对性少：很多安全厂商有针对第三方机构的测试环境进行针对性优化

4、视频……

剪辑烂丑……我没办法，我尽力了，有什么对视频排版更好的建议请跟我说

大多数是回放5x，有些7x 8x 的（WD）

5、WD的版本？

没有在1803上测试（条件所限），引擎版本和病毒库版本跟1803都是一样的，差在客户端的版本……不知道能力会差多少

6、

所有样本都可以在论坛样本区找到哦……每天测完就把包发出去了

7、下期预告：AVAST! Internet Security & 腾讯电脑管家13.0中文版

==================================================================

谈谈个人测试这两款反病毒软件时的感想

WD：

清毒太慢，严重时CPU爆满；还有发现病毒时弹一次窗，清除完毕时弹一次窗，对样本文件夹刷新还弹一次窗，每次内容都是一样的……对后续的统计工作带来很大干扰；云不稳定，有几天测试结果波动幅度较大……

360：

总体来说很不错，就差个误报和断网

==================================================================

对这次测试觉得不科学或者说有哪些好的建议的，欢迎跟我说哦~

Jerry.Lin

ELOHIM 发表于 2018-7-2 21:02
IE 11 Windows 7 平台支持吗？？？

@2849

是……第一天 还没想好怎么测 全部一下双击感觉挺爽的 怪我

后来改正了

WD正在清毒时 就用COMODO 是我知道肯定感染了……当然也有不科学的地方，下次我会注意

主要是WD清毒流程太慢了，真的头痛（注意视频那是5倍速，有的时间久的更是8倍速）

关于为何不全盘扫描？因为真实环境下用户没事不会瞎全盘扫描，现在中毒的都不知道自己中毒了，自然不会花时间在扫描上，这也是为什么测试一次右键扫描，快速扫描，全盘扫描都不测。

COMODO AutoRun工具可以验证系统关键项（如启动项）是否有新增可疑项目，KillSwitch也可以查看是否有可疑进程；在两者都确定为干净后，会用360急救箱扫一遍，最终确认系统是否干净；如果COMODO已经有看到恶意项目，则不用360急救箱，系统直接判定为感染。

每天晚上坚持测试，通过尽可能多，新鲜的样本才能反映出一个杀软大致的检测水平

视频的话……确实要集中注意力，你有什么改进的办法吗……我想不到

驭龙

WD版本太老了，功能不完整，另外双击的时候，我注意到是一口气连续双击几个样本，这影响WD的行为分析，需要双击一个样本以后等一分钟再双击下一个样本，否则，很多东西无法检测到。

其实我是来支持的

引领五基生活

支持一下

Jerry.Lin

驭龙 发表于 2018-7-2 13:25
WD版本太老了，功能不完整，另外双击的时候，我注意到是一口气连续双击几个样本，这影响WD的行为分析，需要 ...

是的，因为第1，2天做的还是有点不完善的

由于是第一期，尚且存在以下几个问题：
1、0618，0619 测试样本时没有很好控制双击间隔，后续已改进。

之所以没装1803是因为机子空间不够，还有可能会影响测试的更新（SP4，猜猜做渲染时的样子）

感谢支持

驭龙

191196846 发表于 2018-7-2 14:47
是的，因为第1，2天做的还是有点不完善的

加油

pal家族

伪前排围观。
假装出售瓜子花生快乐水

KK院长

前排围观支持.

ELOHIM

老纳为了看这个视频还要安装上flash吗？



我再考虑几天……

2849

ELOHIM 发表于 2018-7-2 20:55
老纳为了看这个视频还要安装上flash吗？

视频右侧有三个点，点一下可以选html5,。话说现在B站默认H5播放器了啊，你用的什么浏览器？

ELOHIM

2849 发表于 2018-7-2 21:00
视频右侧有三个点，点一下可以选html5,。话说现在B站默认H5播放器了啊，你用的什么浏览器？

IE 11 Windows 7 平台支持吗？？？

@2849
我用手机看了。。
这十六分钟需要保持高度注意力集中啊。
速度太快。
另外，楼主一次双击辣么多样本是想验证什么？？

Windows Defender正在清理病毒，另一边的COMODO工具就开始出来验证成绩了，这样是不是也不太好。。

公平起见，我建议双击完以后，用测试的安软进行全盘扫描一次，再用COMODO等工具来检查结果。

测试病毒太急躁的话，额…………
。。。。。。




当然了，全盘扫描太浪费时间，还是算了吧。。