1.一年前的AI玩魔方
一年多以前，总部位于旧金山的营利性AI研究实验室OpenAI宣布，它们已经训练了机器人手来操纵魔方，并且具有令人惊奇的灵活性。
这一成果听起来可能平淡无奇。但是在AI世界中，这有两个令人印象深刻的原因。首先，这只机器人手已经学会了如何使用强化学习算法来操控魔方，这是一种模仿动物学习方式的技术。其次，所有训练都是在模拟中完成的，但它成功地转化并应用于现实世界中。这两种方式，都是更为敏捷的机器人朝着面向工业和消费类应用迈出的重要一步。
2. 一只手解决魔方问题，质的飞跃！
在一篇论文中，OpenAI用其机器人手Dactyl发布了最新结果。这次，Dactyl学会了用一只手解决魔方的问题，这一次依旧是在模拟环境中使用强化学习算法完成的。机器人破解魔方问题可能没有新意，但是值得注意的是，该项试验将机器人的灵活性提高到了一个新的水平。
密歇根大学（University of Michigan）的机器人专家，专门研究机器操纵的Dmitry Berenson说：“这是一个非常棘手的问题，旋转魔方的零件所需的操作实际上比旋转魔方要困难得多。”
3.从虚拟世界到物理世界
传统意义上，机器人只能以非常简单的方式操纵对象。尽管强化学习算法在完成软件中的复杂任务方面取得了巨大成功，但使用它们来训练物理机器却是另一回事了。这是因为科学家必须通过数百万次试验反复验证纠错以便完善算法本身，在许多情况下，现实世界中执行此类试验操作可能会花费很长时间，并且对机器人来说，会出现不同程度的机械磨损。如果毫无节制的使用机器人收集数据，甚至可能会发生危险。
为了避免这种情况的发生，机器人专家提出了一种模拟状态，他们建立机器人的虚拟模型，并对其进行虚拟训练，使其用机器人手完成任务。凭借数字空间的安全性，该算法可实现安全操作，后续可移植到物理机器人中。但是这个过程有其自身的挑战，建立虚拟模型来完全复制现实世界中所有相同的物理定律，材料特性和操纵行为几乎是不可能且不现实的，更不用说各种有可能发生的意外情况了。因此，机器人和其面临的任务越复杂，在物理世界中，模拟训练的算法过程就越困难。
4.疯狂排列模拟测试
这一次其成功的关键在于，实验室在每一轮训练中都以各种疯狂的方式弄乱了模拟条件，不仅改变了重力的大小，而且改变了重力指向的方向……以便使算法更适应各种可能性。这样通过尝试构建一种能够可靠地模拟所有疯狂排列的策略，该算法实际上最终可以在真正的机器人中运行。”
5.机器人给自己增加训练难度
在最新的论文中，OpenAI使这项技术更进一步。以前，研究人员必须手动挑选环境中的参数，而现在，培训系统可以自己完成此任务。每当机器人在现有环境中实现一定的掌握水平时，模拟器都会对其自身的参数进行调整，给自己加大难度，以使训练条件更加艰巨。
结果是，算法更加具备现实可操作性，可以在现实生活中以旋转魔方所需的精度移动。通过测试，研究人员发现Dactyl还可以在未经训练的各种条件下成功解析出该魔方。例如，在机器人戴着橡胶手套，将几个手指绑在一起时，或是在外物干扰下，它都能顺利完成任务。
6.通用型机器人，即将到来？
OpenAI相信最新的结果提供了有力的证据表明，他们的方法将解锁更多的通用型机器人，这些机器人可以适应开放式环境，例如家庭厨房。 OpenAI的研究人员说：“魔方是最复杂的刚性物体之一。” “我认为其他物体不会复杂得多。”
但是，也有一些研究者都对此表示怀疑。Berenson认为， “可能会有一个统一的理论或系统的印象，现在OpenAI只是将其应用于单个孤立任务，即使有通用的组件，但是这里还有大量的工程使每个新任务都能正常工作。”“这就是为什么我对这种“通用机器人”的说法感到不理解的原因，我认为这是针对特定应用的非常特定的系统。”
7.想要突破强化学习，仍需时日
Berenson，部分问题在于加强学习本身。从本质上讲，该技术旨在掌握一件事，并具有一定的灵活性来处理其中的变化。但是在现实世界中，潜在变化的数量超出了可以合理模拟的范围。例如，在清洁任务中，可能有不同种类的拖把，不同种类的垃圾溢出物和不同种类的地板。
强化学习还旨在从头开始学习新功能。这对于机器人来说毫无效率可言，也不符合人类的学习方式。 “如果您已经是一个相当有能力的人，并且我试图在厨房里教给您技能，例如您可能从不会用勺子鞭打过东西，那您就不需要重新学习整个运动控制，” Kaelbling说。
Berenson认为，要超越这些限制，就需要其他更传统的机器人技术。他说：“最终会有一些学习过程，可能是强化学习。” “但我认为要实现这些突破可能还需时日。”
推荐阅读：旗龙网
