将汽车装配流水线上的自动化机械臂，搬到百货仓库中后，要如何教会它像玩俄罗斯方块一样，整整齐齐地搬运码垛货物？

长期以来，自动化机械臂行业有「四大家族」之称：日本发那科（FANUC）、安川电机（YASKAWA）、瑞士 ABB、德国库卡（KUKA），这四家顶尖的工业机器人企业，在全球占据着 50% 以上的市场份额，在运动控制、自动化、伺服电机等关键领域各有所长。

在零售场景中，工业机器人的应用也是如火如荼。亚马逊、沃尔玛、美团等科技企业纷纷推出无人配送机器人，在无接触场景的应用初具规模。

但要将原本用于精密加工的工业机械臂，搬到零售百货的仓库中，让它具备在复杂场景中的自主决策和执行能力，帮助运营人员灵活分拣生鲜百货，将会是一个巨大挑战。虽然业内也有不少公司在朝这一方向努力，但真正具备商用化潜质的解决方案，目前尚未出现。

今年开始，山东大学视觉感知与智能系统实验室与美团联合开展了一项科研攻关课题，目标正是解决机械臂的自主感知与决策问题，让它能够「像玩俄罗斯方块一样」，对凌乱摆放的百货商品进行精准识别和分拣。

这项面向实际场景的应用型科研突破，将进一步满足零售行业对于未来仓储自动化物流的设想蓝图。

 

01「三年磨一剑」，训练更聪明的机械臂

 

 

2021 年，中国工业机器人产量达到 36.6 万台，比上年增长 68%；服务机器人产量 921.4 万台，比上年增长 47%，中国已成为全球机器人最大的应用市场。

特别是在汽车装配、焊接等工业流水线上，以自动化机械臂为代表的工业机器人已经有着成功应用，具备高度成熟的市场。这类生产环境大多为单一场景、固定轨迹，只需要计算出机械臂要移动的固定轨迹，部署后即可投入使用。

但在仓储物流应用中，机械臂系统必须处理包含各种不可预知物体的复杂场景——比如面对一张堆满凌乱货物的桌子，大部分机械臂抓取系统可能会失败。即便抓取成功，在下一步的摆放中，也可能会出现不同品类、不同规格货物之间的碰撞，较难摆放整齐。

对于科研人员来说，理想的途径是通过搭载视觉识别技术和控制决策算法，教会这台机械臂「手眼并用」，在不进行人为干预的前提下，让机械臂能够精准识别、分类货物，并将分拣出来的货物整齐码放，实现装箱率最大化。

要训练出如此「聪明」的机械臂并非易事。面对一堆杂乱的商品，机械臂如何知道要抓哪个？怎么去抓取？抓完在哪里堆放？

围绕这些关键性问题，山东大学视觉感知与智能系统实验室的研究团队提出了机械臂自主感知决策算法，完成了现实版的「俄罗斯方块」任务——机械臂只通过一张图片就可以识别物体属性，并判断抓取及摆放位置。机械臂通过自主学习由「笨拙」变得「聪明」，最终在现实版「俄罗斯方块」这种复杂任务上做到了「抓得准，摆的齐」。

研究人员通过算法升级，重点攻克了杂乱堆放商品的种类识别和高效分拣，以及三维在线码垛策略优化

 

目前，该研究成果已发表在机器人领域国际顶级会议 ICRA，并获得国家发明专利授权。在感知和决策上算法创新的思路得到验证后，接下来是更大的挑战——让前沿技术突破真正落地，在真实的仓储场景中准确识别和分拣品类繁多的货物，并以较高的装箱率进行码放。

围绕这一目标，山东大学团队进行算法升级，重点攻克了杂乱堆放商品的种类识别和高效分拣以及三维在线码垛策略优化这两大核心技术点。

「进化」之后的机械臂变得更加聪明：一方面，它可以在杂乱的物流箱中准确识别牛奶、饮料等各种商品并进行高效分拣；另一方面，它也能够「全盘布局、见缝插针」，以最优化的装箱策略把不同尺寸规格的货物整齐码放到一起。这一成果发表在了 IROS 和 CoRL 等机器人领域国际顶级会议，得到了学术界和工业界的关注。

 

自主感知决策算法下，机械臂只通过一张图片就可以识别物体属性，并判断抓取及摆放位置 

 

 

据了解，山东大学团队已在这个项目投入超过 3 年研发时间，其自研的智能机械臂目前已具备投入实际生产的能力，在仓储类全自动化物流体系的建设中无疑将扮演重要角色。

 

02 从科研到应用，将技术引入仓储现场

 

 

将科研应用于具体业务场景，是科技向实的最后一个环节，同样也是一个艰巨的任务。

将自动化机械臂部署在真实仓储场景之中后，要面对的是上千个不同品类、规格的商品 SKU，如何达到更高的适用性，为每个商品规划好合理位置，在复杂环境中实现高精度的码垛装箱？

这不仅是科研人员面临的挑战，也是行业亟需解决的难题。在美团与山东大学共同发起科研攻关课题的目的：让智慧机械臂可以在药品、生鲜等多种场景中使用，并且满足精度、效率等相关指标要求。

这项校企联合课题的需求，来源于智慧药房。今年 5 月，美团买药与海王星辰等线下药店合作，在北京落地首家 24 小时智慧药房。通过视觉识别、自动化控制等技术，解决消费者夜间用药不便的难题。

具体来说，消费者通过美团 App 下单后，自动分拣设备即可根据订单快速取货，通过机械臂将订单药品运送至打包模块，自动打包并打印小票后放入自助交接柜中，消费者输入取货码即可取到商品。

在项目运行期间，美团工程师团队决定进行更高难度挑战——目前药物分拣是依靠 XY 轴机械臂在固定轨迹分拣作业，并通过视觉识别算法进行商品识别。但再进一步，则是需要一套集分拣、补货、盘点为一体的全流程自动化方案。

美团买药帮助海王星辰落地的24小时智慧药房中，已应用自动分拣、自动打包、自助交接等模块化技术

「我们更希望能够联合研发一套基于视觉识别+机械臂的整体解决方案，除了发药之外，也实现补货、盘点等环节的自动化。」美团视觉智能部高级研究员马林认为，如果这项技术突破能够在该场景中验证成功，未来也可以在生鲜、百货等仓储场景中适用。

马林介绍说，美团和山东大学希望通过联合攻关，研发更适用于具体场景的多轴、多齿机械臂，「比如针对药品，可以通过三轴夹齿做更轻柔的抓取动作。但在生鲜百货场景中，会存在千奇百怪形状的货品，这就需要更高级的末端夹具来处理。」

在双方的设想中，这个更轻柔、更智能的机械臂，不仅要用于智慧药店的场景，未来还可以应用在生鲜、百货零售类的仓储场景之中，进一步降低人工分拣、盘货补货的成本。

这也将成为全自动化物流系统的起点：在仓储分拣中，机械臂从托盘中精准分拣货物，并按照消费者订单进行拆零，通过 AGV（自动引导运输车）将订单直接运输到指定位置装箱，最后通过无人机、自动配送车完成末端「最后一公里」配送。

视觉感知与智能系统团队负责人张伟教授认为，这项联合研发课题价值巨大，美团能够为实验室的前沿技术提供丰富的验证场景，并且针对机械臂分拣、装箱码垛提出更加明确的应用需求。这也是一个探索性研究的过程，希望通过校企合作，能够一起打磨出一套切实有效的方案，给行业带来一些启发。

 

03 从视觉到硬件，向上游供应链要答案

 

 

事实上，对于牵头的美团视觉智能部门来说，这项交叉学科的应用研究，从软件跨越到硬件，多少有些「超纲」。

「我们不仅要做算法的部分，还要建立起一整套拿来就能用的解决方案，实现从识别到分拣的全自动化作业。」马林说，智慧分拣是即时零售场景中的重要一环，要实现更高效、更精准的货物分拣，以满足消费者「更快」的要求。

在与高校合作前，这个创新团队，针对市面上主流的工业机器人做过多轮调研。

据了解，机器人是「制造业皇冠顶端的明珠」。当前，中国已成为全球机器人最大的应用市场。不过，在全球工业机器人领域，日本发那科（FANUC）、安川电机（YASKAWA）、瑞士 ABB、德国库卡（KUKA）「四大家族」，在国际上仍占据着 50% 以上的市场份额，在运动控制、自动化、伺服电机等领域均处于领先地位。

以一台进口工业机器人为例，负载 12KG 的六轴机械臂，重复定位精度可控制在 0.04mm 内，但价格至少在 15 万元左右，如果按照零售行业的标准来衡量这个成本投入，显然是过高的。

另外，一个更现实的问题是，不管是国际的「四大家族」，还是国内奋起直追的工业机器人厂商，其所提供的自动化机械臂解决方案大多是应用于工业领域，进入零售、仓储领域的通用性并不高，且很难根据具体场景定制。

「在药品、生鲜、百货等零售应用场景中，定制化解决方案成本非常高。」马林解释说，如果使用标准化方案进行改造，未必适用于零售百货的场景，「比如物流分拣的机械臂需要占用很大的空间，并且要和生产线严丝合缝。适配的背后，还涉及到业务逻辑调整，很难有一个普适性的通用方案。」

比如，零售应用场景中商品种类繁多且属性各异，这对机械臂的末端夹具也提出了更高的要求。据了解，目前业内通用的机械臂末端夹具解决方案，主要分为吸盘式和多齿式，前者依靠真空吸盘或者磁力吸盘，将物体「吸」起，主要用于表面规则平整的物体；后者则是模拟人体手指，通过多齿机械夹具，将物体灵活「夹」起，可适用于不规则物体。

「目前市面上的末端夹具大同小异，大多面向通用抓取。而零售应用场景中往往需要考虑商品几何形状、物理属性等一系列因素。」马林举例说，如果采用多齿式夹具时，如何夹起细口水瓶？夹水果时如何控制力度避免夹破？这都是真实场景应用中存在的挑战。

为此，在与山东大学的合作过程中，双方计划根据实际场景需要，对机械臂的硬件设计和决策算法进行「魔改」，通过自研能力做特定需求，向上游供应链要答案。

根据双方初步预估，通过进一步改造夹具、传感器，牵头自研符合真实生产环境需求精度的产品，至少可将成本降低 60% 以上。如果项目研发顺利，性能、精度误差控制在合理范围，一套方案的整体成本有望控制在 10 万元内，如果将来能够正式投入量产，成本还将进一步降低。

据了解，在技术攻关过程中，山东大学团队充分考虑到产品落地商用时的经济性问题，对成本严格把控，尽量采用低成本国产传感器替代国外高端传感器。为弥补传感器精度差距，山东大学团队还在探索误差分析和补偿策略。简单来说，便是在视觉识别和动作决策中，为策略模型增加足够的冗余度，并在实际抓取时进行精度修正。

目前，这项技术已在国际学术界得到验证。根据英国帝国理工大学 REDS 实验室的一项数据显示，利用增强现实（AR）技术，对齐机械臂的平均误差约为 10.54±4.32 毫米，比没有 AR 辅助的手动对齐误差更低（高达 19.62 毫米），说明 AR 可视化明显降低了手动调试的误差。

随着即时零售浪潮涌现，消费者对于「送得更快」的要求愈来愈高，零售行业的科技创新突破显得无比重要。当前，包括 IBM、NVIDIA、微软在内的许多科技公司，也在积极投身零售行业的科技研发。基于人工智能、机器学习等技术的融合型产品，已在国内外不少零售企业投入使用。

在最短 30 分钟送达的购物习惯下，全球零售公司对于科技创新需求迫切，通过引入自动配送、机器人分拣等新技术应用，尽最大努力提高供给效率。以美国连锁超市克罗格（Kroger）为例，它通过与科技公司 Ocado 合作，在美国佛罗里达州建立起全自动化的履约体系，以及名为「Zoom」的微型网格仓（micro-fulfillment sites），在试运行期间可将履约时效压缩至 30 分钟。

在国外零售行业中，仓储机器人、自动分拣等成为炙手可热的技术应用

未来零售行业的飞跃，将依赖于技术力量的驱动。张伟教授认为，当下人工智能与机器人交叉领域研究，正在转向以场景驱动为主，「尤其是作为应用型研究，应该主动求变。以前为了验证算法定制场景，现在变为面向场景开发算法。从应用角度做研究，以解决问题为导向，才能帮助企业和行业解决痛点问题。」