
4 月 13 日,由稀土掘金技术社区和 Intel 联合主办的 2023 第一期掘金城市沙龙「AIGC 技术探索与应用创新」在北京成功举办。
4 月 13 日,由稀土掘金技术社区和 Intel 联合主办的 2023 第一期掘金城市沙龙「AIGC 技术探索与应用创新」在北京成功举办。本期沙龙聚焦时下最热的科技话题——AIGC,通过线上线下联动,从「技术」和「应用」双视角探索 AIGC 爆发式繁荣背后「算力、算法、数据」三大底层能力建设,畅想未来新的产业结构样态与应用创新形式的可能性,在行业内引发热烈反响。
本期沙龙分为大咖分享和圆桌 Panel 两大议程,沙龙现场英特尔 AI 软件工程师杨亦诚、字节跳动 NLP 算法工程师陈家泽、Google Cloud 机器学习专家王顺、清华大学 KEG 知识工程实验室研究助理郑勤锴、九合创投投资副总裁王逸飞、稀土掘金江昪一一带来精彩观点,同大家一道迎接「未来已来,将至未至」的 AIGC 时代。
AIGC 的底层逻辑:以大模型为「道」,衍生万物
左起:杨亦诚 王顺 郑勤锴 陈家泽
ChatGPT 爆火,引发中国互联网科技圈对多模态大模型的关注。在国内,大模型市场更是开始躁动起来了,文心一言、盘古、通义千问、日日新 SenseNova...... 可以说,从算力到应用,人工智能领域在大模型赛道上已然按下快捷键。然而,大模型仍处于从实验室走向大规模商业化的早期阶段,存在核心技术不成熟,生态系统不健全,且成熟落地场景较少等问题。
英特尔 AI 软件工程师杨亦诚也表示,基于「大算力」和「强算法」两大显著特点,AIGC 类的大模型不仅从算力维度给产业带来新的技术挑战,更从商业模型上带来了突破和变革,可以预见模型服务化势必成为人工智能企业未来的核心商业模式。
尽管视觉相关的 AIGC 领域发展很猛,但是文本仍是 AIGC 中最重要的一环,是连接不同模态内容的重要媒介。字节跳动 NLP 算法工程师陈家泽表示,文本生成技术发展至今,从 Encoder Decoder 结构的第一次变革,之后各种文本生成的应用如同雨后春笋般被提出,到 GPT 结构的发展,整体文本生成范式发生演进,过程中带来更多的可能性,同时也面临非常多的挑战,比如数据隐私和安全的要求越来越高,模型需要具有高可靠性和透明度等等。
同时,随着高质量 AIGC 的大规模普及,千亿规模大模型的训练不再高不可攀。Google Cloud 机器学习专家王顺也介绍到,Google 不断推出的 LaMDA、Imagen、PaLM、Parti 等生成任务大模型也打磨出了 PAX 这种轻松训练千亿规模参数的大模型框架,随着 Cloud TPU v4 对外部客户的 GA, 您也可以在 Google Cloud 上轻松训练一个属于自己的千亿参数大模型。
在代码生成的场景中,清华大学 KEG 知识工程实验室研究助理郑勤锴介绍,CodeGeeX 正在成为 Github Copilot 的平替,未来绝大多数代码都将由 AI 驱动产生,每个开发者都需要寻找成为 AI2.0 程序员的路径。
AI 的 iPhone 时刻:内卷的大模型,拥抱变化的开发者
AIGC 大模型的参数天花板在哪里?人工智能是否会取代重复性劳动...... 面对这些问题,作为圆桌主持人,稀土掘金江昪与一众嘉宾专家从技术、商业模式、创新等视角,探讨人类之于 AI 以及 AIGC 自身下一步怎么走?
左起:江昪 王逸飞 郑勤锴 陈家泽 杨亦诚
随着自然语言处理与扩散模型的发展,未来的 AIGC 必然具有极高接近性与创造力。也因此,英伟达 CEO 黄仁勋四度使用「iPhone 时刻」,来形容 AI 当下的发展。清华大学 KEG 知识工程实验室研究助理郑勤锴也表示,AI 带来了交互方式上的变革,极大地提高人们使用各种工具的效率。
2020 年,OpenAI 提出了大模型的缩放法则,也就是说增大参数规模可以极大提升模型性能,由此进入了炼大模型的「狂飙」时代。而相比于 GPT-3 模型 1750 亿参数量而言,关于 GPT-4 模型参数量在业界引发持续性猜想。可以确定的是,目前模型的参数量远未到达瓶颈。九合创投投资副总裁王逸飞认为,如果在硬件侧没有一个重大突破,可能未来 2、3 年内沿着 transformer 路径走的大模型会走到上限。AGI 是一个很长的探索路径,未来肯定会有新的算法出来,而目前的 GPT 只是走出最靠前的一步,它很有可能只是我们探索 AGI 的中间态。
字节跳动 NLP 算法工程师陈家泽也表示,未来可能有两条路:一是一部分的模型越来越大,同时也会越来越强;二是在一个差不多量级的模型下水平越来越高,比如可能 7B、 10B 的模型的能力通过一些训练方式、数据调优,具备更加充分的能力。
眼下,AIGC 领域热火朝天,国内越来越多的科技企业扎堆入场。王逸飞也表示,目前,AI 远未到达最后阶段,国内企业或团队需要面临最大的挑战是,如何在没有明确未来的事情的上敢于做投入,选择技术路线。
那么,AI 是否会取代重复劳动力的工作,对于包括开发者在内从业者来说也是一个难题。郑勤锴则认为,短期内程序员是不太会被替代的,但未来的趋势可能会分成会用 ChatGPT 和不会用 ChatGPT 这两类程序员,在此基础上,对于程序员提出更高的要求,就是 ChatGPT 生成的代码并不是完全可信的,这时候就要求程序员能判断 ChatGPT 生成代码的质量。
AI 的长期价值,对各行各业的颠覆性改变,一切才刚刚开始。从技术研发到商用阶段,再逐步走进现实生活场景中,往往需要一代又一代的开发者持续探索和完善,在每一次的技术交流中,凝聚共识,找到新的立身之本。今后,稀土掘金技术社区还会一如既往地为企业、技术人员创建一个观点碰撞的平台,实现双向赋能。
来源:搜狐网