2023 年真是不平凡的一年! 短短 365 天, 我们见证了生成式 AI 的寒武纪大爆发
2023 年真是不平凡的一年! 短短 365 天, 我们见证了生成式 AI 的寒武纪大爆发, 国内外大大小小的基础模型、大模型产品令人眼花缭乱, 各大科技公司凭借技术、人才、资金等优势, 开始集中力量投入到模型研发、平台搭建、工具提供等, 希望通过 AI 技术的引入实现商业化创新。
在新技术浪潮下, 大语言模型的快速迭代, 带动了语义理解、图像生成和数据分析等相关技术的发展, 让文生文、文生图、文生表、图生图、图生文、视频生文、文生视频等应用, 逐渐向企业关键业务领域渗透。现在, 整个社会、各个行业和企业, 都在思考如何把生成式 AI 技术用好, 为产业升级和数字化转型赋能。
当 「百模大战」升级到「千模大战」, 广大用户及开发者关注的不是大模型的参数达到了怎样一个量级, 而是如何以更便利的方式快速上手, 把想要的模型与企业业务结合, 这是「2023 亚马逊云科技 re:Invent 中国行」的使命所在, 就是希望从全球战略、技术角度探讨生成式 AI 的应变之道, 把全球最好的产品和体验带给中国客户。
2023 年 12 月 12 日,re:Invent 中国行北京站盛大开启, 大会现场座无虚席, 人气持续火爆。无论是主会场, 还是场外的展区, 都能看到参会者认真而专注的神情。就内容而言,re:Invent 北京站全面展示了全球大会的最新产品和技术、前沿趋势以及相关实践。作为云计算领域的开拓者和创新者, 亚马逊云科技多次提到一个关键词叫做 「重塑」, 从底层、平台层到最上面的应用层, 云计算正在以前所未有的颠覆力构建全栈生成式 AI 能力, 为用户提供最佳体验。
当智能数字业务走向深水区
从应用变化的角度来看, 生成式 AI 之所以触发科技的转折点, 遵循的是「大模型摩尔定律」。虽然, 新世界还没有到来, 但生成式 AI 的未来已至。之后, 企业 IT 基础架构也会跟着发生化学反应。巨大算力增长背后其实是底层服务器、芯片、数据等重要能力的升级, 而云正在重塑一切。
大模型如火如荼背后, 底层的芯片、到中间的平台再到上层的应用, 都与过去不同。如果企业继续采用传统的 IT 架构,CPU 和加速器之间的接口会限制产品的性能水平, 也就无法更好地支持生成式 AI 时代的新需求。与此同时, 由 AI 模型带来的大量资源消耗, 也是企业关注的重点问题。所以, 满足未来需求的企业架构设计, 一定会充分考虑到成本和可持续发展问题。
进一步讲, 生成式 AI 不能单独创造价值, 其工作负载的计算密集程度非常高, 它需要底层更强大的硬件支持。因此, 具有拥有高性价比的基础设施, 是应用成功构建的关键要素之一。
另外, 智能化系统之所以更具颠覆性, 是因为在感知、理解、学习、推理、交互等方面具有更广泛的适应性, 以及更友好的多模交互能力。所以, 在架构设计上要充分考虑到可行性、可控性和通用性, 才能满足多场景、多需求、多任务之间的快速切换。
智能化系统并不是只有一个大模型, 架构设计者需要在根据不同业务场景的需求进行偏好对齐, 具备多模索引、模型选择、模型算力调度和模型推理的能力。比如:有的大模型是和员工的生产力、工作效率相关。有的大模型则和智能化水平相关, 包括营销、客服、HR、财务。有的是专属应用场景, 比如金融领域的欺诈、医疗领域的病例生成, 以及供应链管理等。企业要根据不同需求, 以及不同技术支撑能力, 选择适合的智能化架构升级路线。
而俭约云架构可以凭借天然优势, 快速落地生成式 AI 所需要的一切能力, 借助专门构建的工具和底层基础设施, 可以快速搭建高性价比应用, 体验到开箱即用的效果。
三层生成式 AI 架构让用户实现「模型自由」
为了进一步降低利用生成式 AI 的门槛, 帮助客户更轻松、安全地构建应用。亚马逊云科技推出了三层架构, 包括用于基础模型训练和推理的基础设施、使用基础模型进行构建的工具, 以及利用基础模型构建的应用程序。
1、底层:提供用于基础模型训练和推理的基础设施
生成式 AI 在激发人类的智慧和创造力, 也会带来一系列的挑战。比如:如何兼顾规模和成本? 如何选择适合的模型, 保证自身业务的安全性和隐私? 包括如何利用私有数据去训练模型, 让生成式 AI 成为所在领域的技术专家?
所以, 从关注性能、成本和经济效益的底层开始, 亚马逊云科技在 13 前年就看到了加速计算芯片带来的价值。亚马逊云科技是第一家把 GPU 带人云端的供应商, 现在 GPU 服务器已经广泛用于 HPC、视频、AI 工作负载等等多种应用领域。
如今, 亚马逊云科技不仅提供了通用 GPU 芯片, 还推出了专门用于训练和推理的芯片。最新发布的 Amazon Trainium2 处理器, 可针对具有数千亿至数万亿参数的基础模型进行训练优化, 相较 Amazon Trainium 4 倍性能提升, 能够达到 65 ExaFLOPS 的按需超级计算性能。同时, 最新发布的 Amazon SageMaker HyperPod 服务, 可大规模加速基础模型训练, 能够缩短高达 40% 的训练时间, 并可以确保持续数周或数月的训练过程不中断。
除了自研芯片, 亚马逊云科技也在选择与优秀的合作伙伴合作, 为用户提供基础架构的多种选择。在本次 re:Invent 2023 全球大会上, 亚马逊云科技和英伟达共同宣布了几项最新合作:1) 亚马逊云科技将提供首款搭载 NVIDIA Grace Hopper 超级芯片和亚马逊云科技 UltraClusters 技术的云 AI 超级计算机;2) 首款使用 NVIDIA 最新芯片 GH200 NVL32 的 NVIDIA DGX 云即将登录亚马逊云科技;3) 两家公司共同开展「Project Ceiba」合作项目, 将全球最快的 GPU 驱动 AI 超级计算机和 NVIDIA DGX 云超级计算机用于 NVIDIA AI 的训练、研发、定制化模型的开发。
2、中间层:提供使用基础模型进行构建的全托管服务
对于客户来说, 大模型需求千变万化, 但无需把每个模型都重新开发一遍, 选择错误的模型技术路线, 会极大地消耗企业的精力, 无法拥抱快速变化的世界。
选择平台化的工具, Amazon Bedrock 是利用大模型构建和扩展生成式人工智能应用的最简单方法。各行各业的客户已经在使用 Amazon Bedrock 重塑他们的用户体验、产品和流程, 并将人工智能带入他们的业务核心。
Amazon Bedrock 不仅提供了亚马逊云科技自研的 Amazon Titan, 还可以通过 API 调用等方式, 轻松访问 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 等众多主流第三方模型, 来重构业务、提升用户体验。
Amazon Bedrock 最新发布可支持 Anthropic Claude 2.1 和 Meta LLama 2 70B。Claude 2.1 为企业提供了先进的关键功能, 包括业界领先的 200K 标记上下文窗口, 与此前模型相比,Claude 2.1 在开放式对话中的错误陈述减少了 50%。支持 Meta 的 LLama 2 70B, 适用于大规模任务, 如语言建模、文本生成和对话系统。
能为企业真正创造价值的生成式 AI, 有一个关键点, 就是能够用企业自己的数据进行定制, 构建差异化壁垒。所以, 在 Amazon Bedrock 中, 有一种自定义模型的方法就是持续预训练, 这是一种使用大量未标记数据 (如内部报告、财务计划或研究成果的原始文本) 来提高基础模型对特定领域的知识和推理能力的技术, 这种方式是适合想要拥有「领域大模型」, 或者说将领域知识以及技能嵌入大模型能力的场景。同时, 微调是另外一项重要模型定制技术, 经常被用来控制模型去理解特定的输入格式 (比如:固定问问题的问法), 输出以及理解回答问题的角色。然后,Amazon Bedrock 会复制一个客户专属的基础模型, 并结合客户准备的 S3 上的数据, 进行微调, 并生成一个新的定制模型。最后,RAG 检索增强, 可能是现在最常见的用企业数据定制的方式。知识库功能可将模型安全地连接到公司内部数据源, 并通过 RAG 检索增强生成的方式, 为聊天机器人或问答系统等应用, 提供更准确的回答。
有了模型和定制能力, 还需要和应用集成才能服务于业务。最新发布的 Amazon Bedrock 代理功能, 可以使生成式 AI 应用跨公司系统和数据源执行多步骤任务。通过代理功能, 客户在进行访问权限等简单设置后即可用自然语言编写要求, 随后代理即可自动分析请求并将其分解为逻辑序列, 以及采取相应的行动。
值得一提的是, 亚马逊云科技自研模型 Amazon Titan, 是用户关注的大模型重点应用。基于 25 年人工智能和机器学习经验,Amazon Titan 可支持多种用例。而借助 Amazon Titan Text Embeddings, 可以让用户把本文转化成向量, 让模型更容易找到相似单词的距离。
与 Amazon Titan 相关的各种创新, 还有很多, 可以让用户实现更复杂场景的应用。比如:新发布的 Amazon Titan Text Lite 是一种更小巧、更具成本效益的模型, 可以支持聊天机器人问答或文本摘要等用例。它最大的特点是, 重量轻, 非常适合微调, 为业务需求提供高度可定制的选择。而 Amazon Titan Text Express 模型参数量更大, 可用于更广泛的任务, 如开放式文本生成和对话聊天。Amazon Titan Multimodal Embeddings 多模态嵌入模型, 能够创建更丰富的多模态搜索和推荐体验。Amazon Titan Image Generator 图像生成模型预览版, 现已推出预览版, 使客户能够使用自然语言提示生成高质量、逼真的图像或增强现有图像。
3、顶层:提供利用基础模型构建的应用程序
如果想让用户更深度地使用生成式 AI, 有没有一种开箱即用的解决方案?
首先, 亚马逊云科技还提供了生成式 AI 助手 Amazon Q。Amazon Q 专门为了数字化工作场景而设计, 它可以通过自然语言交互来快速获得答案, 生成内容并采取行动。同时, 做负责任的 AI 理念体现在每一款产品设计中, Amazon Q 是通过用户现有的身份和访问权限来进行访问, 用户在目前应用环境下, 他们能拥有什么样的权限, 会完全按照这样的权限来进行访问。Amazon Q 可使用身份验证系统来确认用户职能和访问权限, 并支持指定话题屏蔽或关键词过滤等管理控制功能。
Amazon Q 是企业级生成式 AI 领域的杀手锏级应用, 由亚马逊云科技 17 年来积累的知识和经验训练而成, 可以在多种界面回答客户提出的各种亚马逊云科技相关的专业问题。Amazon Q 可以在 Amazon CodeWhisperer 中回答开发人员的各种代码相关的问题并附上可一键实施的代码, 并提供代码转换功能, 可以将应用维护和升级时的代码转换所需时间从几天缩短至几分钟。
Amazon Q 也是业务人员的「数字化助手」, 它拥有 40 多个兼容流行数据源的内置连接器, 并支持自定义连接器, 企业可以轻松将其连接至其业务数据和系统中。Amazon Q 可支持引入多种企业级服务, 包括可以引入 BI 应用到 Amazon QuickSight 中, 它能够在几秒钟内响应用户要求, 创建精准且美观的月度业务变化的相关描述, 该功能现已提供预览。Amazon Q 也是联络中心专家, 用户可将 Amazon Q 引入云联络中心应用 Amazon Connect 中, 它能够根据实时对话检测客户问题, 并能够自动回复、给出建议以及提供相关资料, 该功能现已正式可用。
其次, 亚马逊云科技提供了 Amazon CodeWhisperer 代码生成工具, 通过近乎实时的生成代码建议, 帮助企业更快、更便捷地去构建应用程序。通过 Amazon CodeWhisperer 可以通过简单的自然语言的交互, 就可以生成代码, 目前该应用已经支持 15 种最流行的编程语言。
今年,Amazon CodeWhisperer 也有重要更新, 提供了建议编码和定制化预览功能。Amazon CodeWhisperer 的最大特点是, 可以近乎实时地生成代码, 帮助开发者更快、更安全地构建应用程序。开发者可以通过自然语言构建应用, 然后在 IDE 中收到准确的代码建议。
让编写代码任务变得更快, 让更多开发者受益。Amazon CodeWhisperer 秉承普惠 AI 理念, 可以免费供开发者使用。几个月之前,Amazon CodeWhisperer 还发布了定制化预览功能, 企业用户可以安全地基于内部代码库来学习, 快速获得更相关、定制化和更有用的代码建议。
很明显, 亚马逊云科技一系列生成式 AI 创新的背后, 都在致力于把产品做得更好, 持续为客户带来价值, 这也是亚马逊云科技过去做云计算的方式。基于客户需求, 进行产品的快速迭代, 这种「Day one」的技术理念, 在每一款产品的创新中都体现得淋漓尽致!
从 2023 年 12 月 12 日起,re:Invent 中国行将走进北京、上海、深圳、广州、成都、青岛、南京、西安、杭州、长沙, 各大城市的用户及开发者都可以体验到最新产品和技术, 通过生成式 AI 构建应用, 为产业数字化转型赋能。2023 年 12 月 15 日,re:Invent 中国行将在广州和成都同期开启。
来源：互联网
