2024，哪个场景最符合您对未来机器人的想象？

 

在家洗衣服？擦桌子？整理书架？

还是在超市拣货、收银、整理货架？

亦或是在工厂搬运、打包？

 

而这样的未来，似乎并不遥远。

 

欢迎来到AgiBot World，一个汇集百万真实机器人数据的开源数据集。具身应用，数据先行，作为具身领域的ImageNet，智元世界有望成为引领我们进入具身智能新时代的数据钥匙。机器人的世界从未如此真实！

 

具身智能领域的ImageNet何时到来？

Open X-Embodiment, ICRA 2024

谷歌DeepMind通过整合来自22种不同本体机器人的数据构建了Open X-Embodiment数据集，但大部分数据缺乏统一标准化的采集流程，且许多机器人构型已经过时，数据质量格式参差不齐，在机器人策略学习的过程中甚至会带来副作用。为实现规范化的数据采集，来自斯坦福、伯克利、谷歌等构建的DROID数据集，尽管涵盖了相对丰富的场景与技能，然而作者团队在后续研究中指出DROID存在大量低质量数据，从而给机器人的学习过程造成“困惑”。一些具身大模型初创公司基于自采集的大规模高质量双臂机器人数据训练的模型展现出了整理、分拣、洗衣等执行复杂动作的能力，这进一步印证了高质量数据在当前具身智能领域研究阶段的重要性，但相关数据集目前仅在公司内部使用，并未开源。

 

AgiBot World，让高质量机器人数据触手可及

为了进一步推动通用具身智能领域研究进展，让高质量机器人数据触手可及，作为上海市人工智能“模塑申城”实施方案的重要合作伙伴，智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思，重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目AgiBot World。这一里程碑式的开源项目，旨在构建国际领先的开源技术底座，标志着具身智能领域“ImageNet时刻”已到来。

通过汇聚顶尖资源与技术力量，各方将共同推动具身智能发展新范式，加速人类迈向通用人工智能的新时代，在全球范围内奠定中国在这一前沿领域的领导地位。

AgiBot World 是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。

相比于 Google 开源的 Open X-Embodiment 数据集，AgiBot World 的长程数据规模高出10倍，场景范围覆盖面扩大100倍，数据质量从实验室级上升到工业级标准。

 

多样任务，十八般武艺样样精通

• 插内存条的过程需要毫米级精细控制，稍有不慎可能导致设备损坏，如神经纤维般灵敏的末端触觉传感器助力机器人精准对接。

 

• 饭后勺筷碗盘层层堆叠在洗碗池中，在这条数据中，机器人将杂乱的餐具一一准确无误地整理至洗碗机相应卡槽中，整理洗碗机的操作流程长、动作繁琐。

 

• 机器人通过双手协作，一只手稳稳抓住衬衫的一角，另一只手精准控制挂烫机与衣物的距离，细致地熨烫每一道褶皱，让衣物焕发平整光泽

 

• 对于大件物体搬运，单机器人难以完成。通过双机器人协作，分担重量的同时通过实时调整位置与角度确保物体搬运过程中的稳定安全

 

AgiBot World 数据集收录了八十余种日常生活中的多样化技能，从抓取、放置、推、拉等基础操作，到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互，几乎涵盖了日常生活所需的绝大多数动作需求

 

全域场景，上得厅堂下得厨房

AgiBot World 诞生于智元自建的大规模数据采集工厂与应用实验基地，空间总面积超过4000平方米，包含3000多种真实物品，真实复刻了家居、餐饮、工业、商超和办公五大核心场景，全面覆盖了机器人在生产、生活中的典型应用需求，为机器人提供了一个高度真实的生产生活环境。

通过多场景的高度还原与任务设计，AgiBot World为机器人研发和测试构建了实现具身智能的必要条件。

• 家居场景再现真实住宅布局，包括卧室、客厅、厨房、卫生间等核心空间，可以实现家务清洁、物品整理和厨房任务等
• 超市场景高度还原超市货架布局与收银区设计，包含生鲜、日用、冷冻等多个品类区域，可以模拟物品上架、货物盘点、顾客引导、无人结算等
• 餐厅场景实现智能服务体验，模拟前厅、后厨与用餐区域，包括点餐台、备餐区、餐桌等，可以实现餐厅服务（点餐、上菜、清理餐桌）、食材传递、后厨协作等
• 工业场景模拟分拣与物流自动化，复刻工业仓库与生产线，包括分拣系统、打包设备、传输带等，可以实现物料分拣、包装打包、物流搬运等

客厅、书房、餐厅、卫生间、厨房和工厂等都是机器人大显身手的舞台，在客厅，机器人可以精确控制机械臂抓取花材，精确定位花瓶的插孔，将花朵按计划插入适当位置。

也可以使用清扫工具对地面进行全面清洁，包括碎屑、灰尘和液体等。

机器人还可以清理家居表面的灰尘和污垢，精确控制掸子或软布进行擦拭，避免划伤表面。

在厨房，机器人可以根据食材种类和沙拉配方，完成切割、混合和装盘操作，也可以控制清洁工具对瓶内外进行刷洗，去除污渍。

在卫生间，机器人可以精准控制机械臂使用刷子清洁卫生间马桶。

在超市，机器人可以精准控制扫码枪对待结算物品进行扫描和帮助客人装袋。

在工厂，机器人在流水线上利用机械臂精准控制将物品放入指定的包装盒中，实现物品自动打包。

AgiBot World 包含超过100种真实场景，按家居（40%）、餐饮（20%）、工业（20%）、商超（10%）和办公（10%）进行分布。此外，80%的任务为长程任务，时长集中在60s-150s之间，且涵盖多个原子技能，是DROID和OpenX-Embodiment 工作的5倍。该数据集包含了3000多种物品，基本涵盖了这五大场景，并且仍在不断扩展和丰富中。

数据集时长分布 

 

全能硬件，没有金刚钻难揽瓷器活

• 360°感知：8个摄像头环绕式布局，能够实时全方位感知周围环境的动态变化。
• 灵巧操作：可配备具有6个主动自由度的灵巧手，保障动作精准且灵活，能够完成熨衣服等多种复杂操作。
• 末端精细感知：标配末端六维力传感器，并可配备高精度视触觉传感器，能够感知力的微小变化，做到“拿捏有度”，从容完成各种精细操作。
• 高自由度：全身最高32个自由度，灵活应对洗衣、做饭、分拣、搬运等复杂任务。

 

质量把控，严师出高徒

AgiBot World 对数据质量要求极高，通过专业培训、多级质量把控、全程人工在环，在做到超大规模真实数据采集的前提下，严格精细化控制数据质量。

• 任务设计：从设计初稿和设计迭代流程中，邀请了学术界、工业界、消费者多视角进行任务把关。这样设计出的任务更加贴近真实的工作和生活场景。
• 数据采集：从采集员培训到采集质量把控，由完善的管理体系和专业的管理团队进行全程保障。
• 审核标注：对于采集的数据，首先会经过端云两侧的严格筛选，自动剔除不符合要求的数据。此外，专业的审核员会对全量数据进行逐帧审核，确保每一个动作都符合任务标准，并对关键帧和数据特性进行多维度标注。
• 算法验证：通过人工审核的数据还会进一步通过算法进行验证。对于未能通过验证的数据，会重新设计任务进行数据补采，确保数据可用性。

 

2025 coming soon内容介绍

1. 百万真机全量数据将陆续开源
2. 千万仿真数据同步推送，支持更泛化和更通用的大模型训练
3. 发布具身基座大模型，支持模型微调，赋能千行百业
4. 发布全套工具链，实现采集、训练和评测完美闭环
5. 举办一系列AgiBot World Challenge