新服务将加速基于通用场景描述的工作流以及工业数字孪生和机器人的开发
NVIDIA 于 2024 年 7 月 30 日发布通用场景描述（OpenUSD）的重大成果。这将扩大这一通用 3D 数据交换框架在机器人、工业设计和工程领域的应用，提高开发者为 AI 新一轮发展构建高精度虚拟世界的能力。
通过基于 OpenUSD 的全新生成式 AI，以及在 NVIDIA Omniverse 平台构建的 NVIDIA 加速的开发框架，越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用，以及用于构建新一代物理 AI 和机器人的环境仿真的应用。
新推出的内容包括适用于 AI 模型的 NVIDIA NIM™微服务，这些微服务可生成回答用户查询的 OpenUSD 语言、生成 OpenUSD Python 代码、将材质应用于 3D 物体、理解 3D 空间和物理学以帮助加快数字孪生的开发等。其他还包括可用于机器人和工业仿真数据格式的全新 USD 连接器，以及各种开发者工具，用户可通过它们将海量 NVIDIA RTX™全光线追踪数据集传输到 Apple Vision Pro。
NVIDIA Omniverse 与仿真技术副总裁 Rev Lebaredian 表示：「重工业的生成式 AI 潮已经到来。直到最近，数字世界的主要用户还是创意行业；而现在，借助 NVIDIA NIM 微服务为 OpenUSD 带来的增强功能和可访问性，各个行业都可以创建基于物理学的虚拟世界和数字孪生，在加快创新的同时，为机器人这次新一轮 AI 技术热潮做好准备。」
通过 NVIDIA NIM 将生成式AI应用于 USD
NVIDIA 开发的全球首个用于 OpenUSD 开发的生成式 AI 模型将以 NVIDIA NIM 微服务的形式提供。借助这些模型，开发者能够将生成式 AI copilot 和智能体整合到 USD 工作流中，拓宽 3D 世界的可能性，帮助加快 USD 在制造业、汽车行业和机器人等新工业领域的应用。
预览版中的微服务包括：
- USD CodeNIM微服务：回答常识性 OpenUSD 问题，并基于文本提示自动生成 OpenUSD-Python 代码，然后将其输入到 OpenUSD 查看应用程序（例如皮克斯的 USDView）或基于 NVIDIA Omniverse Kit 的应用，以实现相应 3D 数据的可视化。
- USD Search NIM微服务：使开发者能够使用自然语言或图像输入，在海量 OpenUSD、3D 和图像数据库中进行搜索。
- USD Validate NIM微服务：检查上传文件与 OpenUSD 发布版本的兼容性，并生成完全由 NVIDIA Omniverse Cloud API（应用编程接口）驱动的 RTX 渲染路径追踪图像。
即将提供的新微服务包括：
- USD Layout NIM微服务：使用户能够基于空间智能，根据一系列文本提示组装出基于 OpenUSD 的场景。
- USD SmartMaterial NIM微服务：预测并将逼真的材料应用于计算机辅助设计对象。
- fVDBMesh Generation NIM微服务：根据点云数据生成基于 OpenUSD 的网络，并通过 Omniverse Cloud API 进行渲染。
- fVDB Physics Super-Res NIM微服务：对帧或帧序列执行 AI 超分辨率，生成基于 OpenUSD 的高分辨率物理仿真。
- fVDB NeRF-XL NIM微服务：使用 Omniverse Cloud API 在 OpenUSD 中生成大规模神经辐射场。
Foxconn 是全球制造业的领导者，在全球拥有 170 多家工厂，受益于 NVIDIA 的计算平台，利用 NIM 微服务和 Omniverse 为一家正在开发中的工厂创建了数字孪生。
Foxconn 首席数字官兼智能制造平台负责人史喆表示：「数字孪生将帮助我们加速新一波工业制造和自主机器的发展。NVIDIA Omniverse 和全新的 NIM 微服务将使数字孪生的开发变得更加普及，并帮助我们的团队以前所未有的速度构建基于物理的虚拟工厂。」
全球领先的营销与传播服务公司 WPP 是 USD Search 和 USD Code NIM 微服务的早期用户之一。该公司将这些微服务用于其基于 NVIDIA Omniverse 构建的生成式 AI 内容创建管线中，为可口可乐公司等客户提供服务。
WPP 首席技术官 Stephan Pretorius 表示：「这些创新的美妙之处在于它与我们的工作方式高度兼容，并充分利用了开放标准。这不仅加速了未来的工作，而且使我们能够继续巩固和扩展我们之前在 OpenUSD 等标准上的所有投资。通过使用 NVIDIA NIM 微服务与 NVIDIA Omniverse，我们能够以前所未有的速度与可口可乐公司等企业联合推出创新的新生产工具。」
USD 连接器为更多行业带来生成式AI
多款适用于机器人数据格式和 Apple Vision Pro 流式传输的全新 USD 连接器将为更多行业带来 OpenUSD 互操作性与高级创作能力。
为帮助更多使用 OpenUSD 的工业工作负载，NVIDIA 与全球工业自动化和软件领先者西门子正在扩大合作。西门子将把 OpenUSD 流水线与其 Simcenter 仿真技术组合集成，以支持基于证据的决策和关键利益相关方之间的协作。
该集成可实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够更加深入地了解产品在实际操作环境中的性能。西门子将把 Omniverse 纳入到其 Teamcenter 产品生命周期管理软件组合中，为这项工作打好基础。
NVIDIA 还发布了一个从统一机器人描述格式（Unified Robotics Description Format）到 OpenUSD 的连接器，让机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。
为了进一步推动 OpenUSD 生态系统的扩张，NVIDIA 发布了 OpenUSD Exchange 软件开发套件，帮助开发者创建出自己的强大 OpenUSD 数据连接器。
新的开发者工具和 API 可通过 NVIDIA Graphics Delivery Network（GDN），将大规模 OpenUSD 场景从基于 Omniverse 平台构建的应用流式传输到。目前，这些新工具和 API 提供抢先体验版本。
皮克斯首席技术官兼 OpenUSD 联盟（AOUSD）主席 Steve May 表示：「OpenUSD 正在彻底改变我们创建 3D 内容并与之互动的方式。现在，借助 NVIDIA 为 OpenUSD 打造的这些新服务和 API，我们有望看到 USD 以更快的速度增长和普及，这将为新用户和行业更轻松地参与我们的生态系统铺平道路。」
OpenUSD 生态系统的发展势头
去年，NVIDIA 与皮克斯、Adobe、苹果和 Autodesk 共同创立了 OpenUSD 联盟，并通过 OpenUSD 联盟与其他伙伴一起发布了 OpenUSD 的新版本、OpenUSD 核心规范的进展以及新成员的加入情况。
供货情况
NVIDIA API 目录现在提供 USD Search、USD Code 和 USD Validate NIM 微服务的预览版。OpenUSD - URDF 连接器现已与 NVIDIA Isaac Sim™一起提供。
开发者可以使用全新 Omniverse 开发者工具和参考工作流，将生成式 AI 集成到 OpenUSD 工作流中，使用 OpenUSD 构建生成式 AI 赋能的合成数据管线。
与扎克伯格的炉边谈话
在 7 月 30 日，NVIDIA CEO 黄仁勋还举行了两场炉边谈话，其中一场受到广泛关注的，是黄仁勋与 Meta 创始人兼首席执行官马克·扎克伯格的对谈。
在长达一个小时的对谈中，黄仁勋和扎克伯格聊到了 Meta 和英伟达在各自领域的工作和未来设想。
扎克伯格和黄仁勋，之所以能走到一起，源自双方对开源 AI 模型和 AI 未来的认同。Meta 在构建基于英伟达硬件的 Llama 3 大模型时，同时也开源了构建分布式计算基础设施和数据中心等基础设施的架构。其中 Open Compute 本身，也使得部署 Nvidia HGX 成为可能，适用于每个数据中心。
通过双方的携手，Meta 公司和英伟达公司，能够共同铸造行业标准，使所有的供应链都按标准组织起来，对双方的商业目标都有极大的帮助，而同时，双方的联手，对整个 AI 社区，也将带来极大的助益——通过公开和开放，每一为玩家都能受益。
英伟达此次发布的新品，推理微服务（NIM），在Llama 技术的支持下，能够提供工具、专业知识和人工智能技术，帮企业转型 AI 服务。用户只需下载，就能在任何用户喜欢的地方运行，包括在本地，正是体现了双方合作的最好结果，为开发者提供了强大的工具和支持。
Meta 和 NVIDIA 都是认定的科技技术的长期坚守者和先驱者。黄仁勋在对话中讲到：“我知道建立一家公司并不容易，你把你的公司从桌面转向移动，再到 VR，再到 AI，所有这些设备。真是非常了不起。”
而扎克伯格提到， NVIDIA 曾经没有跟随当时看起来很酷的潮流，制造越来越小的设备，而是坚持下去，开发这些可以并行计算的大系统，终于在今天走到了这些技术看起来很酷的时刻。
“我们两个人多年来都被狠狠地打击过很多次，但这就是想要成为先驱和创新所需要的。”黄仁勋讲道。
而在新的 AI 时代，黄仁勋和扎克伯格都终于迎来了属于自己的巅峰时刻。
