Cylance v.s. ESET锁库测试（更新至11月??日）

B100D1E55

杀软评测太难做了（否则也不会有这么多测试机构还天天互相口水），这里做个娱乐向的个人测试

传说中的机器学习杀毒软件和“传统而且似乎要没落”的杀毒软件的对比似乎很有意思，毕竟所谓“下一代”安全软件主打的是机器学习恶意软件特征，无需频繁升级。


“TEST FOR YOURSELF”这图来自Cylance的官方网站。他们甚至弄了一个自己的样本库来鼓励其他机构使用它们收集的样本进行测试。其实很多所谓下一代安全软件或多或少都和传统第三方测试机构结过梁子，例如CrowdStrike就起诉过NSS Lab并不让其公开测试成绩，而神奇的Cylance更是没怎么参加过公开测试。

于是那就看看到底“下一代”是否真的有这么强的预测未来的能力吧。我将两个杀软的库都锁在了9月17日并断网。Cylance的侦测库被称为“Infinity Model”，主要是三个巨型的dll文件。而且其文件修改日期还锁定在16年。目前不知道离线侦测除了这三个之外还有没有其他更新的模型库，不过从我之前零散的测试来看离线侦测率相当了得。Cylance报毒分为Unsafe和abnormal，应该后者的打分会相对低一点。至于ESET大家都很熟悉这里就不赘述了。


测试样本主要来自测试区和样本区，以及我自己用的一些源。打算采取逐日更新的的模式。这里先放上0915kfvt包的成绩作为预热，之后会逐日更新成绩。争取每日填坑

其中测试Cylance会进行文件扫描和双击，测试ESET也类似（AMS也算在内，因为属于特征侦测，但是HIPS模块的警示不算）

日期	类别	数量	Cylance	ESET	备注
					----------------
0917	SMPL	10	80%（？%）	80%
0918	SMPL	22	90.9%（？%）	100%
0919	SMPL	35	80%（？%）	88.57%	ESET扫描漏5个，AMS补杀1个 *剔除了5个重复样本
0920	SMPL	25	84%（？%）	72%	Cylance扫描漏5个，补杀1个的衍生物 ESET扫描漏9个，AMS补杀2个
0921	SMPL	30	90%（？%）	73.33%	Cylance扫描漏4个，补杀1个的衍生物 ESET扫描漏12个，AMS补杀3个，衍生物杀1个
0922	SMPL	30	73.33%（？%）	80.00%	Cylance扫描漏8个 ESET扫描漏13个，AMS补杀7个
0923	SMPL	27	74.07%（N/A）	70.37%	Cylance扫描漏7个 ESET扫描漏13个，AMS补杀5个
0924	SMPL				停测休息
0925	SMPL				停测休息
0926	SMPL	34	88.23%（？%）	82.35%	Cylance扫描漏4个 ESET扫描漏8个，AMS补杀2个
0927	SMPL	15	80.00%（？%）	80.00%	Cylance扫描漏3个 ESET扫描漏8个，AMS补杀5个
0928	SMPL				因故停测一天
0929	SMPL	31	96.77%（83.87%）	61.29%	Cylance扫描漏1个（4 abnormal） ESET扫描漏17个，AMS补杀5个，HIPS拦截4个
0930	SMPL	16	93.75%（？%）	68.75%	Cylance扫描漏1个 ESET扫描漏11个，AMS补杀6个，HIPS拦截2个
1001	SMPL	10	80.00%（70.00%）	70.00%	Cylance扫描漏2个（1 abnormal） ESET扫描漏5个，AMS补杀2个
1002	SMPL				停测休息
1003	SMPL	15	86.67%（86.67%）	46.67%	Cylance扫描漏3个，补杀1个衍生物 ESET扫描漏10个，AMS补杀1个，衍生物杀1个，HIPS提示3个
1004	SMPL	12	91.67%（83.33%）	58.33%	Cylance扫描漏1个（3 abnormal） ESET扫描漏7个，AMS补杀2个，HIPS提示2个
1005	SMPL				停测休息
1006	SMPL				停测休息
1007	SMPL	19	94.74%（78.95%）	52.63%	Cylance扫描漏3个（3 abnormal） ESET扫描漏15个，AMS补杀5个，HIPS提示4个
1008	SMPL	20	85.00%（65.00%）	60.00%	Cylance扫描漏3个（4 abnormal） ESET扫描漏12个，AMS补杀4个
1011	SMPL	46	95.65%（93.48%）	41.30%	Cylance扫描漏3个，补杀1个衍生物（1 abnormal） ESET扫描漏40个，AMS补杀13个，HIPS杀12个
1015	SMPL	81	90.12%（83.95%）	41.98%	Cylance扫描漏11个，补杀3个衍生物（5 abnormal） ESET扫描漏61个，AMS补杀14个，勒索防护杀2个
1020	SMPL	82	89.02%（78.04%）	24.39%	Cylance扫描漏12个，补杀3个衍生物（9 abnormal） ESET扫描漏65个，AMS补杀3个，勒索防护杀2个
1025	SMPL	71	81.69%（73.24%）	39.44%	Cylance扫描漏13个（6 abnormal） ESET扫描漏45个，AMS补杀2个
					----------------
0915	VC52	64	87.5%（？%）	93.75%	Cylance扫描漏8个 ESET扫描漏4个
0922*	VC52	66	89.39%（？%）	62.12%	Cylance扫描漏7个 ESET扫描漏35个，AMS补杀10个
0929	VC52	66	98.48%(93.94%)	63.64%	Cylance扫描漏1个(3 abnormal) ESET扫描漏31个，AMS补杀7个，HIPS杀3个
1006	VC52	74	91.89%(89.19%)	56.76%	Cylance扫描漏6个(2 abnormal) ESET扫描漏36个，AMS补杀4个，HIPS杀2个(仅启用防勒索)
1013	VC52	69	86.58%(80.49%)	59.42%	Cylance扫描漏11个(5 abnormal) ESET扫描漏41个，AMS补杀13个，HIPS杀4个
1020	VC52	66	87.88%(86.36%)	36.36%	Cylance扫描漏8个(1 abnormal) ESET扫描漏44个，AMS补杀2个
					----------------
8月	VRRS	22008	90.03%	96.47%	仅测试扫描

注：
1）类别：KFVT——病毒扫描测试区样本；SMPL——样本区+自己收集；VC52——精睿包；VRRS——第三方库
2）由于Cylance引擎的一些特性，目前样本仅纳入PE文件
3）样本时效：由于是断网锁库测试，样本时效性要求相对较低。测试日期对应的样本日期尽量控制在3天内
4）样本有效性鉴定：采取后验优先的策略，先采信ESET新毒库的鉴定结果，少量剩余的进一步人肉剔除无效/误报样本。VRRS库数量大的话仅测试扫描
5）理性解读测试结果：ESET用户基数现阶段远比Cylance来的高，被针对性免杀可能性更大，同时测试样本数量很小的情况下只能部分反映一些问题。一些因素，例如误报率、性能影响等也需要考虑。其他的常见解读误区点此
6）新增数据——Cylance的恶意和异常检出：Cylance将报毒分为两类，分别是恶意（Unsafe）和异常（Abnormal）。Cylance的扫描会给每个待测样本打分（0~100），其中60分以下的鉴定为“异常”，而60分以上的是“恶意”。之所以添加这个主要原因在于现阶段Cylance误杀太高，而用户可以选择关闭“异常”的警报而只杀鉴定为“恶意”样本。如果未来用户为了降低误报选了更高的报毒阈值，那么将这两者分开来可能更有参考价值。在统计表格中Cylance的总成绩仍为恶意+异常的总检出，但成绩后的括号内会加入仅启用“恶意”检出时的百分比。之前的老测试数据会陆续更新

一些看法：
如果此号不吱声/本贴无预兆停更的话90%可能性是因为账号强制绑定真实身份，望谅解。

1110更新
打算更新一期SMPL，精睿包之前一直没空更新，不过这样一来AMS的成绩可能变差因为有一些样本的时效过了。VRRS有三个巨型库待更新

1029更新
后续更新计划：1个多月后ESET成绩基本触底，因此个人计划11月初测最后一轮SMPL，精睿样本测试也同期结束。10月的样本截止到1025（尚未更新）。
从现在开始到11月初某日暂停样本收集（主要是忙），VC52最新的包成绩之后补上。

1026更新
可以看到依托特征检出的AMS在1个月后已经几乎没有作用了


1023更新
自动机调完了，明天开始跑新的样本……

1020更新
更新了VC52包的最新成绩

1017更新
终于把测试脚本修好了，更新了VC52包的最新成绩

1016更新
测试结果延迟更新。。主要是因为这两天批量测试的时候发现自动管线出现了一些死锁的情况，得修改一下代码然后重新跑一边。

1014更新
前两天开会去了。。今天看看有没有空更新一下。预计先把这两周VC52的成绩补上来

1009更新
今日起变更测试频度：
1） 从目前已有的数据来看趋势已经很明显：Cylance检出基本没什么变化，而ESET稳步下滑并已进入一个下滑梯度相对平缓的阶段
2） 每日新样本数量有限，减少测试频度有利于提升样本质量和总量，过滤噪声
3） 最近比较忙
综上所述今天起改为2~3日一测。我的目标是跟踪到ESET降低到10~20%的时候，具体什么时候完全停测视情况而定。感谢大家一直以来的支持和各种反馈。

1008更新
今日毒包加了一些近5天内threat intelligence的报告样本
1007更新
今日毒包包括卫队的样本

1005更新
ESET报毒名的一些解释

1004更新
ESET测试里的HIPS，除了防勒索模块的检出外还包括“智能模式”的弹窗
有意思的观察：一些样本在ESET的老毒库和新毒库都可以被检出，但报毒名可能不同。例如1001中的4号样本，在老毒库的检出是GenKryptik（8月30日添加的定义）, 而新毒库中检出名变更为Kryptik（9月27添加的定义）。早期的时候我曾经靠报毒名和相应定义添加日期来筛除老旧样本，但后来马上就意识到这个方法不准确。后来改用信誉云+编译时间戳等综合的筛选方法来筛除老样本

1002更新
今日更新了VC52 0929的结果。这里添加了Cylance的两种不同检出的具体结果（unsafe （恶意），abnormal（异常））。详细内容请看注释6）

VC52的包同样已经说明9月底达到了ESET扫描的半衰期，AMS自动鉴定时间较长，稍后更新

0929更新
昨日对前面一段时间收集的样本进行重新统计之后修改了一些抓样本的策略。新的样本集更注重时效性（文件出现日期尽量控制在3天内，之前复检的时候发现有一些文件是1~2周前的，只不过VT日期比较新）。剔除了一些重复的样本源以确保同一类型但hash不同的样本不会长期出现在样本包里。当然由于严格的剔除策略，未来每日样本数量也会下降（需要人工参与的成分更多了，而我每天时间有限）
几日成绩测下来基本可以看出半个月算是ESET扫描的半衰期了，而Cylance，基本没有下降的感觉

0927更新
有同学反馈了Cylance现阶段的误杀状况，我把回复置顶了。
今日相当神奇了，ESET虽然扫描漏过的不少，但是后续AMS杀了不少，有的等了大概3分钟以上才报毒
我顺便测了一下ESET的HIPS防勒索，剩余的3个未检出（均为勒索）都被HIPS模块侦测并绞杀（Beh.A行为启发）。但有一两个仍然有部分文件被加密了
这个结果相较于几个月前的锁库测试来说进步了。那时候防勒索基本上是不报毒的，而且有的时候还无法终止源程序反而隔离被加密的文件。后续会继续跟踪HIPS的拦截情况，但不计入成绩

0926更新
0926的SMPL包有一部分样本其实应该不是近3天内的，但是VT提交日期是近几天。因此今日成绩略有回升是正常现象，明天开始使用更严格的剔除策略

0924更新
0922的精睿包有一部分样本需要进一步鉴定以避免掺入白样本

0922更新
明日SMPL会包含精睿包，不过每次人肉筛查精睿包样本都很蛋疼
关于CCleaner事件的个人看法

0921更新
0921 SMPL测试发现自动机误判了一些侦测（有一些AMS/衍生物杀了但是输出的时候没有捕捉到，因此数据进行了修正）0921有多个ransom样本hash不同但行为/类别重复，这里不进行类别/家族上的去重。

0919-0920-0921中的不少ransom样本很明显是同一个家族（从mem footprint来看都是多个阶段内存内释放代码，延期执行，沙盒报告也高度相似），但是每日都有略微不同。这里开始出现“如果不更新，一旦开始被免杀后续就一直不杀”“如果一开始就能杀且没有针对免杀，就算一直不更新也一直能杀”的现象，体现了传统特征侦测的一些弊端

这个娱乐测试的局限性在于，不同类别威胁广度未知的前提下，如果样本源的采样出现了偏差，那么最终显示出的查杀率也会受到较大影响。例如我可以在30个样本中塞10个同一家族md5不同的免杀ransom，查杀率很容易马上就降低到66%以下。如果现实中这类样本并非如此流行，那么测试结果就出现了较大偏差。此外每日多个样本源无效样本剔除后出现了不同的样本组成情况，在样本数很小的情况下很容易通过“加料”来控制查杀率结果（例如添加新的非流行但易侦测样本）。当然每日样本总数不同并非我刻意，而是受条件限制。希望后期第三方库更多样本加入后统计数据能更严谨一点。

-------------------------------
统计图：
TBD

-------------------------------
SMPL样本下载（危险样本，出任何问题本人概不负责）：
0917 0918 0919 0920 0921 0922 0923(毒包遗失,sad)
0926 0927 0929 0930 1001 1003 1004
1007 1008 1011 1015 1020

iamLMH

B100D1E55 发表于 2017-9-26 12:37
对了，有件事情比较好奇：我想知道那些被误杀的文件Cylance评分是多少，在Device那页点到设备页面，底下 ...

还有一个淘宝的防护组件  已经变成7了

引领五基生活

支持一下

Jerry.Lin

滋磁滋磁

WCMS

前排围观大佬

欧阳宣

这种事当真做下去了的话，我的信仰怕是要松动啊

B100D1E55

欧阳宣 发表于 2017-9-18 02:34
这种事当真做下去了的话，我的信仰怕是要松动啊

娱乐测试，不过不考虑采样偏差的话，比AVC的那种老样本扫描要有参考价值。希望半个月之后能出现比较有意思的侦测率衰减曲线

ericdj

膜拜大佬

InnoriaAlter

后排围观大佬

righac

汽水，爆米花，瓜子了啊娱乐必不可少

chatterneykf

关注这个测试。