人工智能算法也遵循摩尔定律，这提高了它们自身的效率。

在人工智能领域，由于研究人员的努力，顶级算法的效率在芯片上的增长速度超过了摩尔定律。

著名的人工智能研究机构OpenAI今天更新了其关于行业顶级机器学习模型的算法要求的报告，并得出了最新结论：自2012年以来，在著名数据集ImageNet上训练图像分类系统所需的计算量每16个月翻一番。

这一观点与几个月前OpenAI对“最先进的人工智能模型的计算能力需求增加了30万倍”的态度有很大不同。其结论可能意味着人工智能在未来的发展过程中不太可能受到计算能力瓶颈的制约。

除了关注模型的最优性能之外，OpenAI在本研究中发现的模型的效率改进是最引人注目的地方。它还有一个更深的含义：为人工智能的技术属性和社会影响提供基础。

“算法改进是人工智能技术改进的核心。然而，很难找到标准来衡量所有的技术进步，尤其是它们在使用计算能力方面不断变化的趋势，”OpenAI说。“算法效率的提高使研究人员能够同时进行更多的实验，并减少资本支出。分析表明，政策制定者需要加大对计算效率研究的投入，这不仅有助于学术界，也可以进一步帮助行业。

此外，值得注意的是，OpenAI并不是第一个公开提议对人工智能模型的效率进行基准测试的机构。2019年，来自艾伦人工智能研究所、卡内基梅隆大学和华盛顿大学的科学家提议将效率作为人工智能学术论文和准确性及相关指标的更常见的评估标准。与此同时，也有人呼吁进行工业级的性能分析，并为机器学习程序建立每瓦计算的标准。

“后浪推前浪”:更高效的模型不断涌现，计算能力不断提高

在调查和研究中，OpenAI发现谷歌变压器在WMT-14翻译任务上所需的计算能力是以前常用的seq2seq模型的61倍，两者之间的间隔只有3年。

DeepMind著名的人工智能AlphaGoZero不仅可以从零开始学习，在围棋、象棋、日本象棋等游戏中超越人类水平，而且与仅在一年前推出的上一代系统AlphaGoZero相比，还节省了8倍的计算能力。

至于OpenAI本身，最近众所周知的技术当然是Dota 2人工智能OpenAI 5。其最新的重新运行版本仅用1/5的计算能力就能击败上一代算法，而两代之间的时间间隔只有三个月。

近年来，各种算法训练了AlexNet类图片分类效果所需的计算力，其中蓝点是当时最有效的。

简而言之，人工智能的效率在过去7年中仅在图像分类任务方面就提高了44倍。这个速度超过了摩尔定律，这似乎意味着只要我们继续努力，我们就不必担心人工智能的发展会因为硬件瓶颈而受阻。另一方面，考虑到2012年的计算价格与2019年有很大不同，实际情况更好。

这种乐观的结论看起来与不到一年前OpenAI得出的“人工智能计算每年增长10倍”有些不同。去年11月，该研究所的研究发现，从AlexNet到AlphaGo Zero，不同方向的最先进的人工智能模型对计算能力的需求增加了30万倍。

OpenAI推测该算法的效率可能会超过摩尔定律带来的增益，因为它观察到集成电路中的晶体管数量大约每两年翻一番。有趣的是，人工智能的发展规律也类似于英特尔芯片近年来提出的“滴答”发展战略。新的功能通常需要大量的计算工作来获得(新的过程)，然后这些功能的优化版本受益于过程改进以实现更有效的部署(这似乎对应于芯片上新微体系结构的改进)。

此外，研究结果表明，对于投入大量研究时间和/或计算能力的人工智能任务，算法效率的提高可能超过对硬件效率的要求。

作为整体基准测试的一部分，OpenAI首先执行视觉和机器翻译效率基准测试，尤其是在ImageNet和WMT14数据集上，然后添加更多的基准方法。不允许使用手动标签、其他图像或数据，但对翻译或扩增增强的训练数据没有限制。

从ImageNet数据集前5名的准确率79.1%来看，计算能力从2012年的AlexNet提高到2019年的高效网44倍。

从WMT-14 EN-FR数据集的34.8 BLEU来看，计算力从2014年的Seq2Seq(集合)到2017年的Transformer(基础)增加了61倍。

结合计算能力和算法，我们将继续增加人工智能算法效率的研究投资。

OpenAI说：“行业领袖、政策制定者、经济学家和潜在的研究人员都在试图更深入地了解人工智能的进展，并决定他们应该投资多少以及这些投资的未来方向。对人工智能模型的效率进行基准测试可以帮助他们做出正确的决定。

尽管人工智能算法的效率有了相当大的提高，但与指数级增长的新算法的参数数量相比，仍然是不够的。OpenAI研究人员提出的“有效计算”概念将计算力的提高和算法的改进结合起来。我们可以直观地看到各个领域对人工智能发展的贡献：

似乎并行计算和芯片制造的改进仍然占大多数。然而，正如研究人员得出的结论，我们需要增加对人工智能算法效率研究的投资。