引言：人工智能已经开始改变我们生活的许多方面，创造了巨大的社会进步。
从无人驾驶汽车到AI辅助医疗诊断，我们正处于真正变革性时代的开始。但是机遇来了，挑战就来了。
AI推理是基于训练有素的机器学习算法进行预测的过程，它要求在不考虑部署位置（云，边缘或端点）的情况下，在紧凑的功率预算下实现较高的处理性能。人们普遍认为，仅靠CPU不能跟上步伐，需要某种形式的计算加速来更有效地处理AI推理工作负载。
同时，AI算法发展迅速，比传统芯片开发周期的速度更快。诸如AI网络的ASIC实现之类的固定硅芯片有可能由于最先进的AI模型的快速创新而很快被淘汰。
整个应用程序加速
还有另一个鲜为人知的挑战。这围绕着一个事实，即AI推理不会孤立地部署。实际的AI部署通常在AI功能之前和之后都需要非AI处理。例如，可能需要对图像进行解压缩和缩放以适合AI模型的数据输入要求。
这些传统处理功能必须以与AI功能相同的吞吐率运行，并且又要具有高性能和低功耗。像AI推理实现一样，非AI的预处理和后处理功能开始需要某种形式的加速。
仅加速AI是不够的。
要构建真实的应用程序，需要有效地实施整个应用程序。在数据中心应用程序中，该应用程序可能具有数千个甚至数百万个并行实例。每个实例可节省的每瓦特功率的一部分将对整体功耗产生巨大影响
仅当整个 应用程序既通过加速满足性能目标，又通过提高效率满足功率要求时，解决方案才可行。那么，我们如何切实地实现整个应用程序加速呢？
有三个关键要素：建立自定义数据路径的能力；使用单设备实现；以及随着最新AI模型的不断发展和完善而利用最新AI模型的能力。让我们看一下这三个元素。
建立自定义数据路径的能力
大多数形式的AI推理都对流数据进行操作。数据通常是动态的，例如视频馈送的一部分，正在处理的医学图像或正在分析的网络流量。即使将数据存储在磁盘上，也会从磁盘上读取数据并通过“ AI应用程序”进行流处理。
定制数据路径为处理此类数据流提供了最有效的方法。定制的数据路径使应用程序摆脱了传统的Von-Neuman CPU体系结构的限制，在传统的Von-Neuman CPU体系结构中，从内存中以小块读取数据，然后对数据进行操作并写回内存。相反，自定义数据路径将数据从一个处理引擎传递到下一处理引擎，并且延迟时间短且性能水平合适。太低的处理性能将无法满足应用程序的要求。过多的性能将导致效率低下–闲置的功能会浪费电源或物理空间。定制数据路径提供了完美的平衡，为应用程序的实现调整了权限。
单设备实施
一些解决方案擅长AI推理，但不擅长整个应用程序处理。诸如GPU之类的固定架构设备通常属于此类。GPU通常能够实现每秒较高的Tera操作数（TOP），这是一种常见的性能指标，但是AI推理性能通常需要与预处理和后处理性能相匹配。如果非AI组件无法在同一GPU上有效实现，则需要多设备解决方案。通过要求在设备之间发送数据，这浪费了功率，这在功率消耗方面是非常低效且昂贵的。可以有效实现整个应用程序的单个设备在实际的AI推理部署中具有显着的优势。
适应和发展最新的AI模型
人工智能的创新步伐惊人。从现在起六个月后，可以轻松地将当今所谓的最新技术水平淘汰。使用较旧模型的应用程序可能会失去竞争力，因此快速实现最新模型的能力至关重要。
那么，什么技术可以动态更新AI模型，同时提供构建自定义数据路径的能力，从而在单个设备中加速AI和非AI处理？答案是自适应计算平台。
自适应计算平台（ACAP）
自适应计算平台基于可在制造后动态重新配置的硬件。这包括诸如FPGA之类的长期技术，以及诸如Xilinx的AI Engine之类的最新创新。诸如Xilinx的Versal™自适应计算加速平台之类的单设备平台 可通过允许构建自定义数据路径来加速AI和非AI处理功能。他们还能够快速高效地实施最新的AI模型，因为可以快速重新配置硬件。自适应计算设备提供了两全其美的优势。它们提供了定制ASIC的效率优势，而无需冗长且昂贵的设计周期。
AI应用程序的最佳实现不一定是最快的，它必须是最高效的，而且要保持灵活性。它的大小必须正确，并能提供所需的性能，仅此而已。
结语：
随着AI推理变得越来越普遍，挑战不仅在于如何部署AI模型，还在于如何最有效地部署整个AI应用程序。当应用程序被复制成千上万甚至数百万次时，每个实例的少量节能可以节省整个电站的能源价值。
当其乘以大量正在开发的新AI应用程序时，效果将是巨大的。毫无疑问，整个AI应用程序的有效加速应该是技术行业中所有人的目标，而自适应计算平台将提供有竞争力的解决方案。
摩根频道原创出品，未经许可，请勿转载。
