译文：avast! CTO、CEO对误报门的解释、道歉与改革措施

jason_jiang

之前我曾承诺，会公布具体的改革措施，防止此类事件再次发生。关键的步骤有三个：

* 只有少数经严格控制的工作人员有权发布更新
* 每个更新都需要在干净样本库（包含约1千万个已知的干净文件）中进行测试以确保无误报
* 更新发布后一段时间内持续监视官方论坛、误报反馈

我们做出的最大改革就是，除工作组成员外，没有任何人有权发布更新，甚至我自己、CTO和分析团队的其他成员也不例外。我们认为，我们的流程本身非常好，而这次事件完全是由于工作组以外的人发布了更新。我们还采取了其他措施，以及早发现并纠正问题：

1.自动监视误报反馈服务器。如果服务器出现异常流量，将发出警报并拨打负责人的紧急电话。我们已在部分服务器上使用了这套监视系统，现在将在误报反馈服务器上使用。
2.我们将向全球的关键合作伙伴和各行业的用户公布一个紧急联系电话。如果他们发现任何异常，无论何时，他们都可以马上电话联系到负责人。其实，一些关键用户在这次事件中很早就发现了问题，不幸的是，他们没办法联系我们。现在他们可以了。
3.我们将引入能快速撤回更新的机制，使我们可以快速撤回到上一个已知正确的更新，而不必花时间开发新的更新。

再次表示真挚的歉意，并感谢您对我们一如既往的信任。

首席执行官Vincent Steckler
2009-12-10

朋友们：

现在，我想更详细地解释一下这次误报事件。周三夜间，我们发布了一个有问题的病毒定义，造成了成千上万的误报。

通常情况下，我们每天发两次更新。一次是早上，一次是下午或晚上，除非有紧急情况。实际的发布流程安排得非常周密，要经过多道质检，以确保发布的更新不会出大问题。我们发布的每个定义都要在我们庞大的干净样本库里进行误报测试。这个样本库目前包含数TB之多的数据，来自数百万个程序。虽然我们会并行处理很多测试，但这个过程仍然至少要花一个小时。每一项误报都是一个让实验室的分析师们返工的理由。返工完毕后重新进行误报测试，直到一切正常。

那么既然这样，为什么还会发生这种事？难道是我们运气太差、干净样本库里刚好没收录那些受影响的程序吗？换句话说，是这个样本库太烂了吗？

不。实际上，事后的调查表明，使用这个有问题的定义时（VPS 091203-0），样本库里足足有5万多个不同的样本被误报了！

问题在于，这个定义根本就没有经过误报测试。

12月2日，大约晚上9点，我们发布了一个例行更新（VPS 091202-1）。这个更新在大多数用户的系统上工作正常，没出什么差错。但由于它有bug，某些avast 5 beta更新后出了问题。在这些系统上，重启后avast服务无法启动。要知道，v5还在公测，这种bug是有可能发生的，而且确实发生了。

发布091202-1后不久，我们注意到v5上的问题并进行了调查，决定发布另一个更新来修正它。这时已经是大约凌晨1点，状况有点紧迫，因为v5用户们正遇到不便，必须尽快采取措施。一个通常不负责发布更新（但懂得具体技术步骤）的工作人员上前发布了这个应急更新。很不幸，他没有遵守规定流程，用错误的源文件创建了更新包。那些文件是正准备进行测试的，但还没真正测过

即便如此，当这个更新发布后（格林威治时间凌晨12点半，布拉格时间凌晨1点半），本来还有个机会得到预警。我们本来可以发现这个更新会惹出大乱子以至于必须马上撤回。讽刺的是，那个人的例行检查已经进行了一个多小时，但记录异常事件（如误报反馈服务器负载上升）的内部系统并没有显示出什么特别的东西。如果他当时去官方论坛看一下，他肯定会注意到这场骚动。很不幸，他没去。

负责人直到本地时间5点15分以后才收到警报，而那时事态已经非常严重。发布解决方案花了75分钟。

那么结论呢？我们当然会改进流程以杜绝此类事件。其实，这是我们第一次出现如此严重的错误，所以我们觉得现在的流程已经够好了。但前提是，必须严格照章办事。我们得确保这个流程对任何可能发生的状况都有约束力。

另外，我们正在设想加入别的预警机制。如果论坛上的宣传员（原文evangelist，基督教的布道者、福音书作者）留个紧急联系用的电话号码，这个问题就可以很快控制住，损失也会大大减少。自动化的警报系统不可或缺，但在很多情况下，人的决策是关键。而且，就算是十次虚惊，也比一无所知、麻痹大意好。

我们还会彻底重新评估整个流程，制定危机对策。我们计划于下周进行这项工作，并将与你们分享这些成果。

回过头来，我们对发生的事情感到非常抱歉。我们吸取了很多教训，我们正在努力确保类似事件不再发生。

所以，如果你相信第二次机会，请继续支持avast。我们惹了麻烦，我们非常清楚这一点，但我们必须直面未来、继续战斗。病毒作者是不会休息的。

论坛总版主、首席技术官Vlk
2009-12-04

悠柚

公司人手少啊

foxln007l

相信AVAST,更期待5.0正式版的问世

easybeing

好好改进吧，总之这种大规模误报实在是很影响声誉

zdl85

知错就改,修复也还算及时,小a还是不错的,支持小a.

xrb2007

这态度不错。

624637875

还好。出了这种事谁都要道歉

贝贝亲卫军

说实话
这原因挺搞笑的

风葶云

小a的态度很好   继续一如既往地支持小a

rzqevergo

态度很中肯