近来,ChatGPT 成为社会各界关注的焦点。从技术领域看,ChatGPT 的爆发是深度学习领域演进、发展和突破的结果, 其背后代表着 Transformer 结构下的大模型技术的飞速进展。因此, 如何在端侧、边缘侧高效部署 Transformer 也成为用户选择平台的核心考量。
近来,ChatGPT 成为社会各界关注的焦点。从技术领域看,ChatGPT 的爆发是深度学习领域演进、发展和突破的结果, 其背后代表着 Transformer 结构下的大模型技术的飞速进展。因此, 如何在端侧、边缘侧高效部署 Transformer 也成为用户选择平台的核心考量。
2023 年 3 月, 爱芯元智推出了第三代高算力、高能效比的 SoC 芯片——AX650N, 依托其在高性能、高精度、易部署、低功耗等方面的优异表现,AX650N 受到越来越多有大模型部署需求用户的青睐, 并且先人一步成为 Transformer 端侧、边缘侧落地平台。
Transformer 是当前各种大模型所采用的主要结构, 而 ChatGPT 的火爆让人们逐渐意识到人工智能有着更高的上限, 并可以在计算机视觉领域发挥出巨大潜能。相比于在云端用 GPU 部署 Transformer 大模型, 在边缘侧、端侧部署 Transformer 最大的挑战则来自功耗, 这也使得爱芯元智兼具高性能和低功耗特质的混合精度 NPU, 成为端侧和边缘侧部署 Transformer 的首选平台, 而其优越性能则决定了 Transformer 的运行效果。
作为人工智能视觉感知芯片研发及基础算力平台公司, 爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的 Transformer 网络 SwinT, 在爱芯元智 AX650N 平台表现出色:361 FPS 的高性能、80.45% 的高精度、199 FPS/W 的低功耗以及原版模型且 PTQ 量化的极易部署能力, 都让 AX650N 在 Transformer 的落地中有着领先的优势地位。
具体来看,361 帧的高性能, 可媲美汽车自动驾驶领域基于 GPU 的高端域控 SoC;而 80.45% 的高精度成绩同样高于市面平均水平;199 FPS/W 的速度则充分体现出低功耗的特点, 对比于目前基于 GPU 的高端域控 SoC, 有着数倍的优势;更为重要的,AX650N 部署方便,GitHub 上的原版模型可以在爱芯元智的平台上高效运行, 不需要对模型做修改, 亦无需 QAT 重新训练。与此同时,AX650N 支持低比特混合精度, 用户如果采用 INT4, 可以极大地减少内存和带宽占用率, 达到有效控制端侧、边缘侧部署成本的目的。这些特性都保证了 AX650N 作为人工智能算力平台, 最终落地效果更好用、更易用, 且大幅提升了用户效率。
目前,AX650N 已适配包括 ViT/DeiT、Swin/SwinV2、DETR 在内的 Transformer 模型, 在 DINOv2 也已达到 30 帧以上的运行结果, 这也更便于用户在下游进行检测、分类、分割等操作。基于 AX650N 的产品目前已在智慧城市、智慧教育、智能制造等计算机视觉核心领域发挥出重要作用。
接下来, 爱芯元智 AX650N 将会针对 Transformer 结构进行持续优化, 并且探索更多的 Transformer 大模型, 例如多模态大模型, 不断让 Transformer 在爱芯元智平台上得到更好的落地效果。值得一提的是, 爱芯元智还将推出相应开发板, 满足开发者对 Transformer 深度研究的需求, 探寻更丰富的产品应用。
「爱芯元智将继续努力打造基于芯片+软件的端侧、边缘侧人工智能算力平台, 让智能落实到生活的真实场景, 最终实现普惠 AI 造就美好生活的企业愿景」, 爱芯元智创始人、CEO 仇肖莘女士表示。未来, 爱芯元智将在成为人工智能算力平台型公司的道路上继续探索, 加速基于 Transformer 的大模型在端侧、边缘侧落地的节奏, 让普惠智能真正落地生根, 开花结果。
来源：互联网
