![winniewei的头像 winniewei的头像](https://www.eetrend.com/files/styles/picture200/public/pictures/picture-709-1583200707.jpg?itok=i2ZF6LPv)
作者:Nick Ni,赛灵思软件及AI市场发展总监
( Nick Ni 拥有多伦多大学计算机工程硕士学位,拥有 10 多项专利和出版物)
人工智能发展迅速,创新步伐不断加快。然而,虽然软件行业已经成功在生产中部署了 AI,但包括汽车、工业和智能零售等在内的硬件行业,在 AI 产品化方面仍处于初级阶段。阻碍 AI 算法概念验证 (PoC) 成为真正硬件部署的主要差距仍然存在。这些不足之处在很大程度上是由于“小数据”、数据输入“不完美”以及更 “先进模型”的不断演进所造成的。对于软件开发者和 AI 科学家们来说,该如何应对这些挑战呢?我坚信, 应对之道便是自适应硬件。
小数据
谷歌 ( Goolge ) 和脸书 ( Facegbook) 等互联网巨头每天都会定期收集和分析海量数据。然后,他们使用这些数据来创建拥有可接受性能的 AI 模型。在这种情况下,用于训练模型的硬件与用于运行模型的硬件有很大不同。
另一方面,在硬件行业,大数据的可用性受到更多的限制,导致 AI 模型不够成熟。因此,收集更多数据和运行“在线模型”(为不断提高精度在相同的已部署硬件上执行训练和推断)成为一种主要推动力。
为了解决这一问题,自适应计算(如:现场可编程门阵列 FPGA 和经过边缘验证的自适应片上系统 SoC 器件)可以同时运行推断和训练,从而不断进行自我更新以适应新捕获的数据。而传统的 AI 训练则需要借助云或大型本地数据中心,并花费数天和数周的时间才能完成。另一方面,真正的数据主要是在边缘生成的,在同一个边缘设备中运行 AI 推断和训练不仅可以降低总拥有成本 (TCO),而且还可以减少时延和安全漏洞。
数据输入“不完美”
虽然发布 AI 模型 PoC 来展示使用 X 射线图像检测新冠病毒的精度变得越来越容易,但这些 PoC 几乎总是基于精心整理的干净的输入图片。在现实生活中,来自医疗设备、机器人和移动汽车的摄像头和传感器输入,会出现随机失真现象,例如暗淡的图像和各种角度的物体。这些输入首先需要经过复杂的预处理以进行清理和重新格式化,然后才能输入到 AI 模型中。对于理解 AI 模型的输出并做出正确的决策而言,后处理是非常重要的。
的确,有些芯片可能非常擅长 AI 推断加速,但它们几乎总是只加速完整应用的一部分。以智能零售为例,预处理包括多流视频解码,然后是传统的计算机视觉算法 ,用于调整视频的大小、重塑视频的形状和转换视频的格式。此外,后处理还包括对象跟踪和数据库查找。最终客户不太关心 AI 推断的运行速度,而是关心它们是否能满足整个应用管道的视频流性能和/或实时响应能力。FPGA 和自适应 SoC 在使用特定领域架构 (DSA) 加速这些预处理和后处理算法方面有着良好的记录。此外,添加 AI 推断 DSA 将可以支持对整个系统进行优化,以满足端到端的产品需求。
图1:DSA 需要加速 AI 和非 AI
图片来源:Ben Dickson
更“先进模型”的不断演进
AI 研究界可以说是当今技术领域最活跃的领域之一,世界各地的顶级研究人员每天都在发明新的 AI 模型。这些模型提高了精度,降低了计算要求,并满足了新型 AI 应用的需求。然而,这种快速的创新,无疑也持续给现有的半导体硬件器件带来了压力,需要更新的架构来有效地支持现代算法。MLPerf 等标准基准测试证明:在运行实际 AI 工作负载时,最先进的 CPU、GPU 和 AI ASIC 芯片,远远低于这些技术提供商们所宣传的 30% 的性能。这种差距不断推动着业界对新型 DSA 的需求,以期跟上创新的步伐。
驱动新型 DSA 需求的主要动力,包括以下这些最新趋势。深度卷积是一个新兴的层,需要高存储器带宽和专用内部存储器缓存才能高效运行。AI 芯片和 GPU 通常采用固定的 L1/L2/L3 缓存架构和有限的内部存储器带宽,导致效率十分低下。
研究人员不断发明新的定制层,而当前的芯片,本身并不提供本地支持。出于这个原因,它们需要在无加速的情况下在主机 CPU 上运行,这往往形成了性能瓶颈。
稀疏神经网络是另一种富有前景的优化技术。在这种网络中,通过修剪网络边缘、删除卷积中的精细颗粒矩阵值等措施,网络被高度修剪,简化程度有时能高达 99%。然而,要在硬件中高效运行这一优化,则需要专门的稀疏架构,并为这些运算提供编码器和解码器,大多数芯片都不具备这些功能。
二进制/三进制属于极端优化,让所有数学运算都按单个数位操作。大多数 AI 芯片和 GPU 仅有 8 位、16 位或浮点计算单元,因此采用极低精度并不能获得任何性能或功耗效率。FPGA 和自适应 SoC 是完美的,因为开发者可以开发完美的 DSA,并根据产品的工作负载对现有器件进行重新编程。作为证明,最新的 MLPerf 包括赛灵思与Mipsology合作提交的一份文件,该文件使用 ResNet-50 标准基准测试实现了 100% 的硬件数据表性能。
图2:针对 FPGA 的 MLPerf 基准测试
图片来源:Ben Dickson
没有硬件专业知识?毫无问题!
一直以来,FPGA 和自适应 SoC 面临的最大挑战,就是需要硬件专业知识来实施和部署 DSA。好消息是:现在有了支持 C++、Python 和流行 AI 框架(如 TensorFlow 和 PyTorch)的工具,如:Vitis 统一软件平台,软件和 AI 开发者之间的差距被大大缩小了。
除了软件抽象工具方面的更多开发以外,开源库(如 Vitis 硬件加速库)在开发者社区中的采用度也显著提高。在赛灵思最近举办的设计竞赛中,吸引了 1000 多名开发者,并发布了众多创新项目,从用手势控制的无人机,到使用二进制神经网络的强化学习,不一而足。重要的是,大多数提交的项目都是由不具备 FPGA 使用经验的软件和 AI 开发者完成的。这证明 FPGA 行业正在采取正确的措施,使软件和 AI 开发者能够化解现实生活中的 AI 产品化难题。
图3:灵活应变万物智能
图片来源:Ben Dickson
直到最近,普通软件开发者和 AI 科学家在想要利用硬件的自适应特性时仍会望而却步, 因为这在以前都需要特定的硬件专业知识。而现如今,通过借助新的开源工具,软件开发者一样能够运用自适应硬件。编程难度的下降,使得数十万名软件开发者和 AI 科学家们,能更充分地受益于 FPGA 和自适应 SoC 的优势,让硬件解决方案成为下一代应用的选择。事实上,DSA 将代表 AI 推断的未来,软件开发者和 AI 科学家将借助s硬件的自适应特性来开发他们的下一代应用。
关于赛灵思
赛灵思致力于通过开发高度灵活和自适应的处理平台,为从云到边缘到端点各种技术的快速创新提供支持。赛灵思是 FPGA、自适应 SoC ( 包括自适应计算平台 ACAP )的发明者,旨在提供业界最具活力的计算技术。我们携手公司客户打造可扩展的差异化智能解决方案,驱动实现灵活应变、万物智能且互连的未来世界。如需了解更多信息,敬请访问赛灵思中文网站:http://china.xilinx.com/。