小红伞技术介绍2——应用程序人工智能对网络安全的影响

renyifei

目录：
1.前言
2.摘要
3.网络犯罪的步伐在变化
4.我们需要增强人工分析
5.人工智能的形式
6.AI的应用：机器和深度学习
7.Avira的具体方法
8.AI在网络安全方面的光明前景


感谢@pal家族 @191196846 @浦饭幽助  的指正，我进行了排版这样看起来更舒服一些
@屁颠屁颠 希望尽快审核通过





摘要
  机器学习 - 有时被称为人工智能（AI） - 是一种强大的工具，被网络安全公司用来扩展其对恶意软件行业不断升级的威胁的响应。
  创建恶意软件的速度远远超过了网络安全行业可用于为每种新形式的新兴威胁手动分析或创建规则的财务资源（或人力资源）。
  应用人工智能技术（由机器学习驱动的人工智能）是我们可以扩展恶意软件检测和分类的一种越来越重要的方式。我们不会将人工智能或机器学习推广为wunderheilung - 这是世界上所有网络的奇迹补救措施-evils。不过，我们相信它是一个非常强大的工具。
  虽然机器学习适用于许多黑人艺术，但它已经是Avira的第三代。我们的方法是将其嵌入我们的基于云的安全服务（Avira Protection Cloud）和我们的端点安全技术（SAVAPI）中。我们利用我们广泛的数据消息来源 - 全球拥有1亿个传感器，数十年来一直在不断发展 - 拥有专业的人工分析专业知识。结果是我们的AI平台NightVision，这是业界性能最佳的恶意软件检测服务的核心元素。

网络犯罪的步伐在变化

  成功的网络攻击可能对个人或企业造成破坏性后果。 我们的数字化存在包括我们无法承受的大量个人和财务信息。 在商业世界中也没有什么不同。 攻击有可能严重损害公司的声誉或完全降低公司的声誉，当然，如此多的攻击始于链条中最薄弱的环节 - 人员及其设备。
网络犯罪主要是数字涂鸦的日子已经一去不复返了。 今天，网络犯罪分子是数十亿美元的全球行业的一部分，目标是顶级品牌，政府，金融机构以及越来越多的个人。 最新研究表明恶意软件编写者的投资回报率为1,245％[Trustwave Global Security Report 2015]; 拥有如此丰厚的商业模式，这些犯罪分子继续投资于自己的贸易，探索破坏系统的新方法，从而迫使网络安全行业快速发展，预测和挫败新威胁，这一点也就不足为奇了。
  在任何给定的六个月内，Avira通常会将已知威胁增加100％。 木马恶意软件威胁将增加一倍以上; 勒索软件实例将增长20％以上; 网络钓鱼攻击将更具针对个人企业和消费者。 根据违规级别指数（BLI），这是一个跟踪数据泄露并测量其严重性数据的全球数据库，2017年将导致全球经济损失4500亿美元，这个数字将是不会固定的，随着网络攻击的性质日益成为目标，继续上升。


我们需要增强人工分析



  现在创建新威胁的速度远远超过了为每个威胁手动分析或创建规则所需的财务资源或人力资源。 现在，我们的行业寻求一种识别恶意文件的自动化方法比以往任何时候都更加重要，并且在过去几年中，更多安全供应商已经开始研究人工智能如何通过以下方式实现这一总体目标：

1.分析大量数据，以最大限度地减少网络解决方案对日常Web访问的影响
2.识别文件中的异常以突出可能的攻击
3.在发生网络事件时提供更快的检测，以最大限度地减少损害并允许更快的恢复

  我们估计端点攻击解决方案，即使是利用先进的启发式或基于签名的保护，也只能实现85-95％的保护。 这样做的原因是终端解决方案可能会让任何真正的新威胁 - 例如零日攻击 - 漏掉未被发现的漏洞。 事实是，对于要受到保护的威胁，必须首先了解端点解决方案。只有百分之五的现有恶意软件代码需要进行模糊处理才能创建一种能够绕过本地扫描引擎的未知恶意软件。
  每天都有数十万新的威胁被发现，它也是变得越来越难以不断推出最新的终端保护。 即使安全供应商拥有无限的人工容量来手动分析和编写规则以防范每天发现的每一个新威胁，所以推广到每个端点解决方案的更新的频率和大小将是站不住脚的，从而有效地破坏了 绝大多数客户的在线体验。 因此，我们认为，使用本地扫描引擎与云安全引擎结合使用的组合方法（均由AI /机器学习提供）是提供最佳恶意软件保护的最佳方法。

人工智能的形式
  从根本上讲，人工智能是什么？
  简而言之，AI是计算机科学的一个子部分，旨在开发能够执行人类认为“智能”的活动的计算机。 今天的AI可以分为三个基本类别：
1.应用AI - 有时被称为Narrow或Weak AI是一种旨在为特定任务提供卓越性能的系统，例如 恶意软件检测，图像中的对象识别。 它运行 - 并且能够在预定范围内持续改进。 它可能会或可能不会在人类大脑之后建模。 有一个强烈的迹象表明，在可预见的未来，人工智能的主要用途将是“应用AI”，专为电视或电影推荐等特定任务而设计.Netflix，通过亚马逊的Echo或Apple的Siri或自动驾驶的自动驾驶汽车提供特定问题的答案。 应用AI通常使用几种“众所周知”的技术之一来提供，包括监督或非监督机器学习（特别是深度学习/神经网络）和自然语言处理，每种技术都有其自身的应用所需的优势。
2.
（a）人工智能：一种系统，不仅可以执行一项智能（认知）任务，而且可以执行至少与人类一样好的任务（或学习如何操作）。 它可能会或可能不会在人类大脑之后建模.
（b）强AI：与2（a）相同，但系统有自己的意识和自我意识。 它可能会或可能不会在人类大脑之后建模。
  强或一般人工智能之间是否存在差异，这是一种哲学问题（什么是“意识”？它是否存在？）。
这就是为什么你经常看到人们将人工智能和强人工智能视为同义词，尽管事实上 - 与你在媒体或市场营销文献中看到或看到的相反 - 我们在实现人工智能或强AI方面还有很长的路要走。

AI的应用：机器和深度学习


机器学习有几种常见的类别，它们在应用中经常重叠，并且在使用时很少有特色。
  有监督或无监督的机器学习侧重于计算机程序的开发，这些程序可以在暴露于新数据时改变并不断改进。 在网络安全的背景下，这意味着让他们能够更快地识别和阻止新出现的威胁。 对数据测试假设'x'，得到结果'y'。 'y'不断更新新数据，结果将我们带回到新的'x' - 这个循环重复。 监督机器学习是一个重新培训和再学习的过程，由人工指导支持，以手动分析超过参数的任何数据技术，以便可以反馈调查结果，以更好地重新培训它。
  在恶意软件分类领域，用于实施有监督或无监督的机器学习的许多技术在具有非常低的假性的恶意软件的准确和快速分类方面提供了显着的益处，但是它确实需要大的训练基础，广泛的数据专业知识和资源。

深度学习：
  机器学习的一种特殊方法是深度学习。 这是基于（深度）神经网络的机器学习的子领域。 由许多层组成，受生物神经系统启发，人工神经网络最近在许多应用中非常成功，并用于估计可依赖于大量输入的功能。 可以引入的层数越多，系统就越能够像一个正常运作的大脑，从而使其能够适应和学习它的历史。

  深度学习是许多应用AI任务的当前技术水平，特别是在计算机视觉领域，但与其他机器学习技术一样，它在应用于恶意软件检测方面具有优势和劣势。深度学习的一个优点是它从原始数据开始，旨在避免使用显式特征工程，这是机器学习实践中最耗时的部分之一。这种方法在诸如图像分类的领域中很有效，其中所表示的数据（像素的集合）是反射需要分类的样本的真实性质。用于训练分类器的丰富数据起到了深度学习的作用。但是，深度学习系统需要大量的培训数据并在混淆和解密数据的情况下成为问题，这在恶意软件检测中非常常见。为了与通过使用更深层次的二进制分析或通过仿真，解包或去混淆获得的高级功能获得的手工制作的功能进行竞争，深度学习算法需要非常大量的数据来检测原始数据中的有意义模式。另一个缺点是，深度学习系统的“训练”计算成本极高 - 换句话说就是“学习”数据。即使系统训练适量的数据，也可能需要数周时间才能使用数百台机器和功能强大的图形处理器（GPU）进行聚类（学习模型，例如集群类似文件）。因此，培训时间很长，深度学习系统缺乏快速重新培训的能力，即模型面临着快速适应新恶意软件系列的挑战，如果系统对一个恶意软件进行错误分类，则会使用户容易受到攻击。

深度学习在许多引人注目的案例中的成功意味着工业界，甚至学术界都倾向于将机器学习方法重新命名为深度学习环境。它对商业和为研究筹集资金都有好处，但可能并不总能反映现实。这种盗用的一个着名例子是AI研究公司Google DeepMind所做的工作，他最近通过开发AlphaGo成为头条新闻，AlphaGo是一款基于机器学习的计算机程序，在Go游戏中击败了世界上最好的玩家。大众媒体报道说，这种成功是人工智能或深度学习的一个突破，但从技术出版物中可以清楚地看到通过Google DeepMind [Silver et al，2016]，AlphaGo实际上是许多不同技术的混合体。他们之前关于玩ATARI游戏的工作使用的是纯粹的基于深度学习的方法[Mnih等，2015]，但深层强化AlphaGo的学习组件只是众多的一部分。大部分工作实际上是通过一种称为蒙特卡罗树搜索的十年之久的“经典”技术完成的。尽管如此，它仍被描述为深度学习方法。

现实情况是机器学习和深度学习之间的区别有点人为。 虽然与传统机器学习的关键区别在于深度学习旨在从原始数据开始并学习代表数据的特征而不是以人为干预为指导，但其层中使用的基本构建块基本上与其他构建块相同。 机器学习方法：深度学习使用机器学习的许多不同领域中使用的基本概念，并且与其他机器学习方法互补，而不是更优越。


网络炒作与人工智能现实
  几乎每个安全供应商目前都声称提供某种形式的人工智能或机器学习功能，而且很多人都会从广告围栏中大肆宣传它。 然而，AI和机器学习这两个术语有多种定义和应用，更不用说经常过度使用和盗用，这些供应商正在做什么或者如何将机器学习应用于“AI提供的网络安全”之外并不总是很清楚。
  通常机器学习的进展和实施的规模有限。 现实情况是，人工智能进入网络安全的障碍非常高，原因有三个。 首先，构建该网站需要付出巨大的代价来操作该技术所需的基本系统，更不用说需要额外的成本来继续扩展系统以应对所分析的越来越多的威胁。 其次，工程师人才库有限，他们拥有AI编码和创建有效AI解决方案所需的复杂数学原理方面的专业知识。
最后，即使公司能够实现上述所有目标，他们仍然可能因缺乏网络安全传统而受到阻碍 - 以及用于培训人工智能的广泛数据库。 详细的知识和对进化的理解恶意软件威胁 - 其中的分数在多年的时间里不断发展和变异 - 无法轻易获得。 这并不像购买具有每种威胁的基本细节的数据库那么简单; 这是关于收集和分析每个文件都可以全面了解每个文件的运行方式，不同的恶意软件系列和编码模式如何相互关联和相互关联，代码中的微小混淆可以如何唯一地改变恶意软件的行为和分类等。人工智能网络安全解决方案 只能将数据输入AI平台，这些数据庞大，丰富且复杂。
  在Avira，我们在一个巨大的信息库中拥有30年的恶意软件数据，该信息库不断用新的智能进行更新 - 这就是我们基于机器学习的AI平台。

Avira是如何做到的
  今天，作为唯一的第三代人工智能安全供应商，我们独自在网络安全行业独树一帜，近十年前首次投资人工智能技术和专业知识。因此，我们可以为客户 - 包括消费者和我们的技术合作伙伴 - 提供混合的网络安全方法，通过先进，安全，基于云的AI技术增强我们领先的端点恶意软件防护。
  Avira不依赖单一方法解决问题，而是使用不同机器学习技术的集合，从逻辑回归等线性模型到核心支持向量机等非线性模型，深度学习和卷积神经网络等技术。这些技术适用于不同的检测任务，包括恶意软件检测和网络钓鱼检测，具体取决于用户的需求和底层平台的功能。
  通过基于云的安全解决方案增强本地端点安全措施 - 其中一种技术是机器学习AI - 我们为寻求逃避检测的恶意软件作者创建了许多额外的复杂性层。我们开发了Avira Protection Cloud以增强我们的端点安全解决方案，并使我们的客户能够访问我们的NightVision AI平台。将端点安全性与Avira Protection Cloud和我们的AIcapabilities相结合，可确保客户永久受益于高达99.9％的威胁防护。


AI在网络安全方面的光明前景
  在Avira，我们十年来一直处于人工智能网络安全创新的最前沿。作为安防行业内的第一家供应商,为了确定如何将AI应用于我们的领域，我们继续投资于NightVision的开发.现已成熟至第三代，并提供我们行业内无与伦比的能力水平。然而我们也知道其他安全厂商继续在人工智能中进行创新，最终，这对消费者和企业来说只是一件好事,人工智能的总体标准越好，他们提供的保护水平就越高。今天，潜在客户比较.在做出购买决定时扫描引擎;在两年的时间里，我们希望它们能够比较AI引擎。我们相信，该行业将始终需要人类继续坚持最高水平的保护.对于客户而言，是否进行深入分析以创建有助于AI学习的新文件属性更有效，或者是否确保监督和总体系统功能。我们知道这个威胁景观只会继续发展，我们相信它在增强技术方面具有强大的战略意义,具有人类专业知识的创新，以便在这些变化发生时进行最佳监控和响应。
  在Avira，我们对AI的潜力非常乐观。设计完成后，AI系统可以轻松快速地进行缩放,承担越来越多的功能 - 这只是一个资源问题，支持AI系统,以所需的速度和效率运行它们所需的技术。是的，这意味着额外的投资，但是在一个永远面临被恶意软件创造者资源匮乏和包抄的风险的行业中，这个未来人工智能的投资肯定被认为是必需品，而不是一件好事。如果您发现AI概述及其在网络安全领域的应用非常有用，请与您的同事分享,和同行们一起宣传使用人工智能技术防范网络犯罪的优势。

2018.7.8 by renyifei

屁颠屁颠

加点红伞的图

renyifei

屁颠屁颠 发表于 2018-7-16 10:42
加点红伞的图

加上了但他需要审核

pal家族

扫了一眼咽不下去啊
楼主要不美化下。。。。

Jerry.Lin

其实可以把英文删掉，然后最后贴原文链接

然后排版好看点就OK拉

浦饭幽助

原文第一行more和generally两个单词之间没空格。麻烦楼主稍微修整一下。

renyifei

pal家族 发表于 2018-7-16 14:58
扫了一眼咽不下去啊
楼主要不美化下。。。。

统一回复楼下@浦饭幽助 @191196846
OK

明月丶舞白衣

好的   真不错

追影子的十三

额，搞得我有点想把卡巴换成小红伞了...

boyving

还是觉得红伞误杀严重。