TensorRT 是 AI 推理优化工具, 通过对 AI 模型细致的性能优化, 它能以高吞吐和低延迟在 GPU 上运行 AI 推理运算, 获得广泛应用。
TensorRT 是 AI 推理优化工具, 通过对 AI 模型细致的性能优化, 它能以高吞吐和低延迟在 GPU 上运行 AI 推理运算, 获得广泛应用。为了在业界进一步推广 TensorRT, 培养开发人员, 丰富生态,NVIDIA 与阿里云天池联合举办了第二届 TensorRT Hackathon, 以时下流行的 Transformer 模型优化作为主题。本届比赛于 2022 年 4 月启动, 经过初赛与复赛, 历时 3 个月在近日圆满结束。
✦初赛题目
初赛是优化给定模型 WeNet, 让选手了解 TensorRT 常用优化流程并学会使用配套工具。初赛的评估机器采用 NVIDIA A30 GPU。
✦复赛题目
复赛是自选模型, 选手在 NVIDIA 导师的辅导下进行开发, 并通过开源代码、发布技术文档启发后人。复赛的机器由阿里云提供, 采用 NVIDIA A10 GPU。NVIDIA 为了把比赛变成 TensorRT 实地教学, 专门为本次比赛筹备了教学视频与示例程序库, 希望参赛选手和其他学习者从中收获经验。另外还建立了选手交流群, 方便大家讨论。
✦初赛实录
初赛共有 600 余支队伍报名。选手们通过教学视频和示例代码学习, 积累一定的 TensorRT 开发经验之后, 逐步改善模型的优化效果。选手的成绩实时反映在天池的在线榜单上, 选手因而了解彼此的差距, 为创造新的纪录展开了激烈角逐。在 NVIDIA 导师的提示和引导下, 选手们从入门级的 800 分不断进步, 最后所有进入复赛的选手都达到了 1400 分, 并产生了技惊四座、超越 10000 分的第一名。
✦复赛实录
复赛共有 40 支队伍晋级,NVIDIA 抽调了 28 名工程师组成导师团队, 为各支队伍提供一对一辅导。比赛迎来众多开发高手的精彩表现, 是 TensorRT 开发者力量的一次爆发展示。选手们按实用性、影响力挑选模型, 克服各种不能被 TensorRT 直接解析运行的困难, 精心查找性能瓶颈, 施展全面手段进行优化, 并把自己的成果通过详细的报告分享给他人。选手们倾心投入, 为比赛贡献了巨量的时间和努力。大赛借助众人的力量, 把市面上更多的流行模型跑在 TensorRT 上, 产生的成果价值极高, 远远超过了比赛本身的经费投入。
面对如此优秀的成果, 赛末评奖对 NVIDIA 是极大的考验。值得注意的是, 评分的数值是由赛制决定的, 再叠加评委个人的欣赏, 存在一定的主观性。为了追求结果尽量客观,NVIDIA 对评分原则进行了细化, 邀请 7 名评委独立评分后取平均, 最终决出一等奖 1 名, 二等奖 2 名, 三等奖 2 名, 优胜奖 20 名。
其中, 前三名的队伍如下:
本届比赛是 NVIDIA 与阿里云开发者社区的第一场活动合作, 也是与阿里云天池团队的第一次联合办赛。天池为本次比赛提供了自动化的竞赛平台、通过持续优化的赛事运营模式与经验, 专业、严谨地保障了比赛的顺利进行。双方将在未来继续保持合作, 为开发者们提供更多切磋技术的高质量技术活动。
来源：互联网
