酷应用

AAAI 2021线上分享 | 强化学习与3D视觉结合新突破，国防科大实现高效能无序混合码垛机器人

百家作者：机器之心 2021-01-15 18:38:52

在物流仓储场景中，无序混合纸箱码垛机器人有着大量的应用需求。对于乱序到来的、多种尺寸规格的箱子，如何用机器人实现自动、高效的码垛，节省人力的同时提升物流周转效率，是物流仓储自动化的一个难点问题。其核心是求解装箱问题（Bin Packing Problem, BPP）这一经典的 NP 难题，求解 BPP 问题的传统方法大多是基于启发式规则的搜索。

在实际应用场景中，机器人往往无法预先看到传送带上即将到来的所有箱子，因而无法对整个箱子序列进行全局最优规划，因而现有的 BPP 方法无法被直接用于真实物流场景。人可以根据即将到来的几个箱子的形状尺寸，很快地做出决策，并不需要、也无法做到对整个箱子序列的全局规划。这种仅仅看到部分箱子序列的装箱问题被称为在线装箱问题（Online BPP），物流输送线边上的箱子码垛任务一般都可以描述为 Online BPP 问题。因此，该问题的求解对于开发真正实用的智能码垛机器人具有重要意义。

在国防科技大学这篇被 AAAI 2021 接收的论文《Online 3D Bin Packing with Constrained Deep Reinforcement Learning 》中，研究者提出基于深度强化学习（DRL）算法求解 Online 3D-BPP 问题，不仅提出了一种基于同策略 Actor-Critic 框架的「预测 - 投影」带约束策略学习方法，而且设计了一个性能远超同类型机器人的高效能无序混合码垛机器人。

机器之心最新一期 AAAI 线上分享邀请到了论文通讯作者、国防科技大学教授徐凯，为大家详细解读此前沿研究。

分享题目：基于带约束深度强化学习实现无序混合码垛机器人

个人简介：徐凯，国防科技大学教授。2011 年于国防科大计算机学院获得博士学位，并曾为西蒙弗雷泽大学、普林斯顿大学访问学者。研究方向为数据驱动的几何处理与建模、三维视觉及其机器人应用等。他发表 ACM SIGGRAPH/Transactions on Graphics 论文 20 余篇，共发表 CCF A 类论文 40 余篇。担任 ACM Transactions on Graphics、Computer Graphics Forum、Computers and Graphics 和 The Visual Computer 等期刊的编委。担任 CAD/Graphics 2017、ISVC 2018 等国际会议的论文共同主席以及 SIGGRAPH、Eurographics 等会议的程序委员。担任中国图象图形学会三维视觉专委会副主任以及中国工业与应用数学学会几何设计与计算专委会秘书长。曾获湖南省自然科学一等奖、中国计算机学会自然科学一等奖、军队科技进步二等奖等。曾获国家优秀青年基金和湖南省杰出青年基金资助。

分享摘要：在物流仓储场景中，无序混合纸箱码垛机器人有大量应用需求。对于随机到来的、多种规格的箱子，如何用机器人实现自动、高效的码垛，节省人力的同时提升物流周转效率，是物流仓储自动化的一个难点问题。其核心是求解装箱问题（Bin Packing Problem）这一经典的 NP 难题，即为每个箱子规划在容器中的摆放位置，以最大化容器的空间利用率。在实际场景中，机器人往往无法预先看到传送带上即将到来的所有箱子，无法对整个箱子序列进行全局最优规划。对于每个到来的箱子，机器人必须立即完成规划和摆放，不允许对已经摆放的箱子进行调整，同时还要满足箱子避障和放置稳定性的要求。这种仅能看到部分箱子序列的装箱问题，称为在线装箱问题（Online BPP）。物流输送线边上的箱子码垛任务一般都可以描述为 Online BPP 问题。现有面向整个箱子序列的 Offline BPP 方法无法直接用于这类真实场景。事实上，人可以根据即将到来的几个箱子的形状尺寸，很快地做出决策，并不需要、也无法做到对整个箱子序列的全局规划。

我们提出基于深度强化学习求解 Online BPP 问题。在 actor-critic 框架下，我们提出一种 “预测 - 投影” 的带约束策略学习方法。该方法训练一个深度网络来预测箱子的可摆放区域作为辅助任务，并用预测的可摆放区域来调制强化学习的动作输出，实现了极高的样本效率。此外，基于蒙特卡洛树搜索，我们还将学习到的一步策略扩展到 “前瞻 K 个箱子” 的多步策略。大量实验表明，该方法在摆放数量、空间利用率和决策时间等方面都远优于现有的、基于启发式规则的方法。作者通过一个用户研究展示了该算法达到甚至超越了人类的在线码垛水平。基于虚拟到真实环境的策略迁移（Sim2Real）方法，我们实现了一个高效能无序混合码垛机器人。对于乱序到来的随机种类箱子，该机器人能够连续、稳定、快速码放数十个箱子，容器空间利用率达 70% 以上，性能远超现有的同类型机器人。

分享论文链接：https://arxiv.org/pdf/2006.14978.pdf

直播时间：北京时间 1 月 19 日 20:00-21:00

加入机动组，一起看直播

「机动组」是机器之心发起的人工智能技术社区，将持续提供技术公开课、论文分享、热门主题解读等线上线下活动，并在社群中提供每日精选论文与教程、智能技术研究周报，同时「机动组」也将不定期组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。

添加机器之心小助手（syncedai5），备注「AAAI」，加入本次直播群。