Cylance v.s. ESET锁库测试（更新至11月??日）

bbs2811125

B100D1E55 发表于 2017-9-28 10:00
火绒感觉走的和ESET是一条路子，刚好和Cylance相反，强调先展开行为再判识。其实我个人更偏爱ESET和火绒 ...

火绒我倒没觉得卡，用起来很流畅，也就是因为这个我才用的。只要不逛样本区拿包做扫描测试就没啥问题
火绒其实也有机器学习的，基本上都是支持向量机算法。库的大小决定了识别的能力，显然火绒相对保守，否则误报会高很多（参照cylance）。机器学习的问题就是对于超范围样本判定的不确定性，可以说基本是乱报

bbs2811125

开始出现差距了

B100D1E55

bbs2811125 发表于 2017-10-1 14:11
开始出现差距了

半个月的半衰期已经能接受了，Cylance那样子明显是没人做免杀的节奏。异常侦测在这种测试里会很吃香

bbs2811125

B100D1E55 发表于 2017-10-1 20:56
半个月的半衰期已经能接受了，Cylance那样子明显是没人做免杀的节奏。异常侦测在这种测试里会很吃香

我觉得也是，ESET能坚持半个月都还在60%以上我觉得对于当前的环境已经可以接受了
之前在avc好像是锁库一个月ESET的水平就在50-60%的样子，和avira差不多。不过avc现在已经不做这个测试了，毕竟不联网的情况只适合对比引擎库的外延

B100D1E55

bbs2811125 发表于 2017-10-1 23:26
我觉得也是，ESET能坚持半个月都还在60%以上我觉得对于当前的环境已经可以接受了
之前在avc好像是锁库一 ...

那就拭目以待了，有空把最新的精睿包成绩补上

bbs2811125

B100D1E55 发表于 2017-10-2 07:03
那就拭目以待了，有空把最新的精睿包成绩补上

这个测试你打算做多久？一个月？
关于cylance这类杀软的免杀确实少，毕竟还不算主流，所以针对机器学习的免杀目前应该还没有
如果这种技术后面得到普及，未来将是算法的对抗了

B100D1E55

bbs2811125 发表于 2017-10-2 10:39
这个测试你打算做多久？一个月？
关于cylance这类杀软的免杀确实少，毕竟还不算主流，所以针对机 ...

先做一个月，看看后期长尾效应有多厉害。。争取坚持到ESET基本侦测不出新样本的时候，毕竟我想画个漂亮的统计图

机器学习的免杀火起来之前，这些新机器学习的侦测算法得先把误报压下去。个人经验看这些引擎基本上误报都很高，就连QVM这种SVM的误报都不少（毕竟都是靠表层文件特征）。
长期样本收集下来就会发现很多毒源的样本都有掺误报（好一点的会等很久直到后续厂商鉴定差不多了再收纳，但那种毒源拿不到时效强的样本，基本上是给研究人员用的）。很多毒源verdict依据的一大来源就是靠多引擎扫描，而到ML扎堆报毒、传统引擎不报毒的时候就囧了。一般这种情况70%概率是误报，30%概率是新毒，但从报毒引擎数量来看似乎就是“多数投票”了。此外BD一误报就连带好几个一起报，甚至还有一些情况是先有一些厂商误报，后有跟屁虫厂商不人工分析就一起误报，后者这种情况多了基本上可以怀疑是后台靠其他厂家引擎鉴定谋生。

而ESET也有少许误报，一般集中在Generic.XXXXX侦测，一看就是自动机没家族归类的报法。其他几个臭名昭著的有：F-Prot和Cyren的Eldorado，百度的Wisdomeye，AVG的HackTool（windows系统文件），avast的Evo-gen，Symantec的MLAttribute，Ikarus的swrort，BD的Graftor。这些个要么系统文件不认得就会杀，要么写个hello world就会杀。Cylance只需要四条汇编就会杀，呵呵

bbs2811125

B100D1E55 发表于 2017-10-2 11:38
先做一个月，看看后期长尾效应有多厉害。。争取坚持到ESET基本侦测不出新样本的时候，毕竟我想画个漂亮的 ...

以现有的发展来看机器学习不成熟的地方太多，大面积推广可能性不大。暂时也就是作为辅助判定手段
当然现在有一部分被当作厂家的营销策略了

bbs2811125

这是avc锁库测试里显示引擎启发比较完整的数据了，感觉和现在的情况也差不多。
12年还有一个测试，但是那个只锁了一天就用来测试新样本了，各家的数据都比较高

wangkaka

大佬，eset也有主防了？竟然有beh.a报毒