MIT：模仿螃蟹的眼睛，创造出世界首个两栖人工视觉系统，水下陆地都能用！

大数据文摘出品

人工视觉系统，一直是自动驾驶领域的核心技术之一。

目前，所有的人工视觉系统都是单独基于陆地或者单独基于水下开发的，视野一般也只有180度。

对于普通人来说，这也许够用，但是对于需要同时在陆地和水下作业的机器人来说，一双可以切换陆地和水下模式的两栖计算机视觉系统，就显得非常重要了。

MIT人工智能实验室(CSAIL)、光州科学技术研究所(GIST)和韩国首尔国立大学(Seoul National University)开发了一种新型的人工视觉系统，灵感来自招潮蟹，可以在水陆两栖通用的同时，还能拥有360度的环形事业，非常炫酷。

这一研究被发表于Nature Electronics，论文题目就叫《具有全景视野的两栖人工视觉系统》（An amphibious artificial vision system with a panoramic visual field）。

这个人工视觉系统的灵感来自于招潮蟹复眼的功能和解剖结构。

一对火柴棒般突出的眼睛是招潮蟹的特点之一，眼柄细长。在觅食时，两只眼睛高高竖起，观察周围动静。一旦发现情况，就迅速撤离。

招潮蟹的活动随潮水的涨落有一定的规律，高潮时则停于洞底，退潮后则到海滩上活动、取食、修补洞穴，所以招潮蟹的眼睛能够适应水下和陆地两种环境。

招潮蟹的角膜是扁平的，折射率可以变化，可以抵消由于外部环境变化而产生的散焦效应——这对其他复眼动物来说是一个极大的限制。 

模仿招潮蟹的眼睛，研究人员将微透镜阵列与渐变折射率和柔性梳状硅光电二极管阵列结合在一个球形结构上。

微透镜表面平坦，无论空气和水之间的外部折射率如何变化，都能保持焦距，球形基板上的梳状图像传感器阵列显示出极其广阔的视野，几乎覆盖了整个360方向。

通过对5个不同距离和方向的物体进行成像，在空中和水中实验中测试了两栖和全景成像能力，研究人员发现该人工视觉系统在陆地和水生环境中提供了一致的图像质量和近360度视场，这意味着该系统可以同时看到水下和陆地的世界！

“我们的系统可以用于非常规应用的开发，如全景运动检测和在不断变化的环境中进行避障，以及增强现实和虚拟现实。目前，通常用于智能手机、汽车和监视/监控摄像头的半导体光学单元的尺寸在实验室层面受到限制。”GIST 电气工程和计算机科学教授 Young Min Song表示。 

“不过，三星电子、SK海力士等影像传感器制造企业的技术，还可以克服技术上的局限性，开发出比现有产品更小、成像性能更好的相机。” 期待通过该新型概念影像传感器的生产，提高国内（韩国）系统半导体技术水平。” 

招潮蟹的眼睛已经进化到能同时看到几乎所有方向的东西，以避免攻击开阔的潮汐平原，并与配偶进行交流和互动。

这也是MIT和韩国科学家合作开发的视觉系统的目标。

仿生视觉系统其实并不新鲜——2013年，《自然》杂志报道了一种模仿昆虫复眼的宽视场(FoV)摄像机；2020年，一种模仿鱼眼的宽视场摄像机问世。

虽然这些相机可以同时捕捉到大面积的画面，但是在结构上很难超过180度。

最近，360度视野的商业产品已经开始发挥作用，然而，这些设备可能很笨重，因为它们必须合并来自两个或更多摄像机的图像，并且为了扩大视野，你需要一个配置复杂的光学系统，这也会导致畸变。

当周围环境发生变化时，比如在空中和水下，保持聚焦能力就更难了——因此，这项研究才去的如此关注。

在测试过程中，五个不同距离的物体（海豚、飞机、潜水艇、鱼和船）从不同角度被人工视觉系统成功捕获。

研究小组进行了多激光斑点成像实验，人造图像与模拟结果成功匹配。为了进一步深入，他们将设备浸入容器中的水中，结果也很成功。

这项工作未来的发展包括更多研究受生物启发的光适应方案，以寻求更高的分辨率和优越的图像处理技术。

“这是一个壮观的光学工程和非平面成像项目，结合了仿生设计和先进的柔性电子技术，实现了传统相机无法实现的独特功能。可能的应用范围从人口监测到环境监测。”西北大学教授约翰 · 罗杰斯说。

这项研究得到了基础科学研究所、韩国国家研究基金会(NRF)以及2022年由GIST资助的GIST-MIT研究合作基金的支持。

相关报道：