【AV-C】2021年高级威胁防护测试（原增强真实世界测试）

anthonyqian

已经被大佬搬运了，不过以下是中文版~
最近AV-C挺忙，发布了性能测试之后又发布了年度高级威胁防护测试，简称ATP测试。AV-C的ATP测试侧重于评估杀软对常用黑客攻击或漏洞利用手法的防护，和之前的恶意软件保护测试和真实世界测试相比，有很大差异。其实ATP测试对于企业用户的价值要大于家庭用户，因为企业成为黑客攻击的目标的可能性更大。AV-C使用了以下15种场景进行测试。

这15个攻击场景的概述如下：
1）这种威胁是通过 Valid Accounts 引入的。PowerShell Empire 被用来创建一个HTA 文件，以执行一个包含其中的分阶段PowerShell有效载荷。
2）该威胁是通过Valid Accounts引入的。PowerShell Empire被用来创建一个 脚本，以执行base64编码的PowerShell有效载荷。
3）这种威胁是通过Valid Accounts引入的。一个包含AMSI旁路和单独的PowerShell Empire的有效载荷的 PowerShell 脚本被使用。
4) 这种威胁是通过Valid Accounts引入的。受信任的Windows utility MS Build 被用来通过启用恶意宏的方式来执行PowerShell Empire有效载荷（包括了一个AMSI旁路）。
5) 这种威胁是通过Valid Accounts引入的。利用BAT文件，执行了一个经过编码和部分混淆的分阶段PowerShell Empire有效载荷。
6）这种威胁是通过Trusted Relationship引入的。使用一个PowerShell脚本包含一个PoshC2 有效载荷和一个单独的 AMSI 旁路的 PowerShell 脚本。
7) 这种威胁是通过Removable Media引入的。通过使用MS Office宏来执行一个经过混淆的PoshC2 PowerShell有效载荷
8) 这种威胁是通过Removable Media引入的。使用一个VBScript被用来执行一个Base64编码的 PoshC2 PowerShell有效载荷。
9) 该威胁是通过Removable Media引入的。使用一个.LNK快捷方式文件被用来下载和执行一个严重混淆的PoshC2 PowerShell有效载荷。
10) 这种威胁是通过Spearphishing Attachment引入的。使用了一个VBScript被用来加载和执行一个经过混淆的PoshC2 .XSL有效载荷到客户端的内存中。
11) 该威胁是通过 Spearphishing Attachment引入的。使用了一个被分阶段x64 Metasploit shellcode后门化的x64 PuTTY 可执行文件。
12) 这种威胁是通过Spearphishing Attachment引入的。使用了一个PE文件使用adobe.exe的元数据进行伪装，执行Metasploit Meterpreter shellcode。
13) 这种威胁是通过 Spearphishing Link引入的。使用了一个通过DLL侧加载执行Metasploit Meterpreter shellcode的JavaScript。
14) 这种威胁是通过Spearphishing Link引入的。一个PE文件使用werfault.exe的元数据进行伪装，执行XOR编码的分阶段Metasploit Meterpreter shellcode。
15) 这种威胁是通过Spearphishing Link引入的。使用了一个JavaScript脚本，该脚本使用rundll32通过DLL侧加载执行Metasploit Meterpreter shellcode。

以下是结果：
需要注意的是，AV-C的ATP测试厂商可以选择不参加。和去年相比，F-Secure放弃了参加，取而代之的是McAfee和G-DATA。诺顿很遗憾没有参加。






总的来说，参与测试的杀软对12号，也就是“使用adobe.exe的元数据进行伪装的PE文件，执行Metasploit Meterpreter shellcode”这个攻击场景表现较差，只有卡巴和咖啡顺利阻挡了攻击。鱼叉式网络钓鱼链接也是杀软比较薄弱的。
Avast、AVG的表现在本次测试中最亮眼，是第一名，只在12号攻击场景中阴沟里翻船。
其次是传统优势选手卡巴、ESET。McAfee首次参加，表现也非常好。他们都只miss了两个。
BD系对此类攻击防护表现很差。和上一档呈现出比较明显的差距。

和2020年的结果相比，Avast进步最明显而BD系退步最明显。卡巴和ESET保持稳定。

关于Avast，有意思的是，在报告中提到：

In one case（应该是12号）, the Sandbox came back with the verdict that the file was safe.

体现了CC的形同虚设吧，如果CC给点力，估计Avast就取得15/15的满分成绩了。

2021：https://www.av-comparatives.org/ ... test-2021-consumer/
2020：https://www.av-comparatives.org/ ... test-2020-consumer/

syswow64

我记得BD在上次APT测试里很厉害，这次这么拉胯

anthonyqian

syswow64 发表于 2021-11-10 00:17
我记得BD在上次APT测试里很厉害，这次这么拉胯

说明BD技术在过去一年里面没啥长进，而别家进步速度快~

比较有趣的是Avast送测各大评测机构的都是用他们家的免费版，包括了这次ATP测试，这就给人一种免费吊打某些收费的感觉。。。

没有名字ssss

优等生的堕落......白买BD了

PanzerVIIIMaus

我对比了去年的成绩，感觉BD个人版从去年开始就对由Spearphishing（鱼叉式网络钓鱼）思路展开的攻击比较弱势，

去年虽然BD个人版总拦截达到了13/15，但漏的两个都与之有关，鱼叉从六个不同的攻击点出发，2020年BD个人版的拦截率也就4/6

今年，AV-C变换了使用了鱼叉式网络钓鱼攻击的方式，鱼叉从六个不同的攻击点出发，今年BD个人版的拦截率只有2/6

总结看来，BD个人版的主防在这方面非常弱势，如果没有早期见面杀、或者在执行时提前的封锁并不起作用，到了主防需要搏杀的行为展现阶段就相对容易就被绕过，
另外，没想到BD个人版在PowerShell/AMSI扫描这块也存在相对明显的弱点。


但其他的杀毒软件也不很乐观，在连续两年的测试可以看到，没有任何参测的个人级杀毒软件能够在“鱼叉式网络钓鱼”的攻势下独善其身。





AV-C对成功拦截的判定：威胁被拦截、或威胁无法建立C2连接时判定成功

威胁拦截阶段的判定：

见面杀（早期）：在相关威胁落地，尚未活动时就被拦截
执行：威胁执行时被拦截
行为：威胁展现行为时被行为主防拦截
GG：失败（威胁成功建立C2连接）
（*表示无警报，但威胁无法建立C2连接，属于已拦截）

2021 Test scenarios

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Avast

见面杀

执行

执行

执行

见面杀

执行

执行

执行

行为

执行

执行

GG

执行

行为

执行

AVG

见面杀

执行

执行

执行

见面杀

执行

执行

执行

行为

执行

执行

GG

执行

行为

执行

Bitdefender

见面杀

见面杀

GG

见面杀

执行

GG

执行

执行

见面杀

执行

见面杀

GG

GG

GG

GG

ESET

执行

执行

执行

见面杀

执行

行为

执行

行为

行为

执行

GG

GG

执行

见面杀

执行

G Data

见面杀

见面杀

执行

见面杀

执行

GG

执行

执行

见面杀

执行

见面杀

GG

GG

GG

GG

Kaspersky

执行

见面杀

执行

见面杀

执行

见面杀

执行

执行

见面杀

执行

见面杀

执行

GG

GG

行为

McAfee

执行

执行

执行

执行

执行

执行

执行

执行

执行

执行

见面杀

执行

GG

执行

GG

VIPRE

见面杀

见面杀

GG

见面杀

执行

GG

执行

GG

GG

执行

见面杀

GG

GG

GG

GG

2020 Test scenarios

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Avast

执行*

行为

见面杀

行为

见面杀

执行*

行为

GG

GG

执行

GG

行为

GG

行为

执行

AVG

执行*

行为

见面杀

行为

见面杀

执行*

行为

GG

GG

执行

GG

行为

GG

行为

执行

Bitdefender

见面杀

见面杀

见面杀

行为

见面杀

执行

见面杀

行为

见面杀

GG

见面杀

执行

GG

见面杀

见面杀

ESET

执行

执行*

执行

执行

执行

执行

行为

执行

GG

GG

见面杀

见面杀

见面杀

见面杀

执行

F-Secure

执行

执行*

GG

行为

GG

GG

GG

GG

见面杀

GG

GG

GG

GG

执行

执行

Kaspersky

行为

见面杀

见面杀

见面杀

见面杀

GG

执行

行为

执行

行为

见面杀

见面杀

行为

执行

执行

VIPRE

见面杀

GG

见面杀

GG

见面杀

执行

见面杀

行为

见面杀

GG

见面杀

GG

GG

见面杀

为什么要使用个人版杀毒软件进行这种企业才需要考虑的“高级安全威胁 - 高级持续性威胁”测试？

我猜测是这样的，不同的企业和机构情况复杂，我觉得对资料利用方式不能做到有效规定和限制的单位是占多数，
拥有相应权限的用户可能会将资料拷贝到个人电脑中利用，或者工作的资料频繁与个人电脑交互。
这意味着单位的“企业级安全软件/控制软件/防火墙/限制策略”等安全措施形同虚设，
根据木桶原理，黑客必定会寻找如此理想的一个突破口，谁会跟你机构级的安全措施杠正面？时间长不说万一留下了日志说不定就有了把柄，能悄悄抓落单，搞不好就有一个长期可靠的资源来源，为什么要打枪？

如“鱼叉式网络钓鱼”攻击，
其攻击形式其实与普通钓鱼别无二致，唯一区别在于“鱼叉”是针对性的，
甚至是根据个人的习惯设计钓鱼方案，专门把目标“叉上来”，这种进攻性的钓鱼成功率特别高。
这就是为什么鱼叉钓鱼在AV-C这类测试连续两年占领超过1/3席位如此恐怖的比例

anthonyqian

PanzerVIIIMaus 发表于 2021-11-10 21:01
我对比了去年的成绩，感觉BD个人版从去年开始就对由Spearphishing（鱼叉式网络钓鱼）思路展开的攻击比较弱 ...

会不会也有可能是BD对Metasploit攻击的防护比较薄弱？

确实，尤其是现在国外WFH的工作模式更是如此。

PanzerVIIIMaus

anthonyqian 发表于 2021-11-10 21:17
会不会也有可能是BD对Metasploit攻击的防护比较薄弱？

确实，尤其是现在国外WFH的工作模式更是如此。

去年四个项目涉及这个工具，今年五个，
但去年BD个人版的遗漏也不过1/4
今年BD个人版遗漏了4/5

——不过，我并不了解这类工具，所以不清楚今年有什么变化

love642108192

我用的bd企业版

lyqzg

为什么没有小红伞？

dongbingtuo

卡巴还是比较稳定啊