不断发展的边缘人工智能世界需要一种新型计算


围绕人工智能的炒作是无可避免的。虽然人们的注意力一直集中在生成式人工智能(GenAI)的大型语言模型(LLM)和数据中心上，但在物联网(IoT)的边缘，整个世界都在迅速发展。在这里，多模态感知和人工智能分析应用于资源受限的环境，以提供情境感知计算，使设备更直观、更智能、更实用、更易于使用。这些支持人工智能的边缘设备，如显示器、音箱、安全系统、笔记本电脑、平板电脑和工业控制系统，几乎独立于数据中心运行，利用本地化、低延迟处理来创造这些增强的用户体验，同时保护隐私，并节省能源和网络带宽。

不断发展的边缘人工智能世界需要一种新型计算

最近一系列以人工智能为重点的个人电脑和智能手机的发布，预示着人工智能的下一次重大转变——GenAI和边缘推理在高度优化的物联网设备上的交集，适用于消费者、企业和工业应用。

而这种结合边缘人工智能的机会，将改变我们与技术的互动方式。

物联网边缘的人工智能

在边缘设备中实现人工智能，需要我们通过触摸、音频、语音、视觉、视频或其他“现实世界”数据来感知和收集输入，处理这些数据并连接到另一个设备或网络。这些操作必须在规模、功耗、成本和计算效率方面做到最好。这是在加入GenAI之前。问题在于，人工智能软件在边缘运行的能力远远领先;硬件基础——驱动所需的处理和连接的芯片，正在迎头赶上。

以生成语音转文本应用为例。这种应用越来越普遍，可通过基于云的连接在具有先进处理硬件的设备中使用，如PC和智能手机。挑战在于将这种能力迁移到更小的、电池供电的边缘设备上，这些设备缺乏必要的GenAI计算资源。

目前的解决方案主要建议改造其他系统中使用的现有硬件方法，例如CPU、MPU和GPU，并将其安装到边缘IoT设备上。这些芯片和电路板不太适合低功耗设备的需求。成本模型具有挑战性，芯片制造商经常尝试利用“淘汰”策略来重新利用和限制原本用于其他类型产品的芯片的性能。

我们需要一种新的硅片设计方法，这种方法明确针对边缘AI计算进行了优化。我们称之为AI原生方法。

AI原生：全新硬件类别及更多

从硬件角度来看，这种AI-Native方法将可扩展的异构处理元素（CPU、GPU、NPU和DSP）组合在一系列IC中，为各种应用提供合适的计算能力。

使应用程序开发人员面临的挑战更加复杂的是，边缘计算和物联网总体而言是一个比数据中心更加分散的领域，数据中心的标准已经非常完善，主要由芯片供应商和超大规模企业制定。在物联网中，处理和连接数据的多种专用方法破坏了一致性和可预测性的目标。

鉴于此，在物联网设备中实现人工智能功能虽然诱人，但也增加了复杂性，并可能让开发人员、客户和用户感到沮丧。无论如何，围绕边缘人工智能的炒作和FOMO导致了各种特殊和专有解决方案的出现。这些解决方案基于传统硬件和软件以及相关的开发环境，无法有效利用人工智能的潜力。

除此之外，目前在实施人工智能方面存在着一种停滞状态，尤其是首次实施时。在某些情况下，企业有数据，但没有人工智能模型，或者不知道从哪里开始开发它们。那些拥有模型的企业往往面临着一个令人困惑且不兼容的生态系统，其中包括开发辅助工具、硬件平台和编程工具来部署它们。很多企业都在观望，意识到了机会，但不确定如何利用。

因此，除了优化的硬件之外，开发人员还需要一种适用于物联网的“边缘AI”类型的开发环境。这将包括访问开源工具和模型，而不仅仅是与一种实施方法绑定的供应商特定产品，，以构建针对工作负载优化的解决方案。

基础牢固

好在，在将人工智能应用于视觉、音频、语音和其他消费物联网模式方面，已经做了很多工作。然而，专注于为AI工作负载提供合适规模的处理和工具/框架，将能够在几乎无限范围的物联网应用中实现具有成本效益的情境感知。

这种新型AI原生处理器，由支持生态系统、开发工具和真正的AI优先方法支持，将成为解决边缘情境感知计算和GenAI的基础。它将加速开发和采用更有用、更有意义的IoT设备，以满足不受数据中心束缚的用户不断变化的AI需求。