神经拟态视觉传感器来了！手机和车都能用，李开复雷军纷纷投资

博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI

机器会怎样来看世界？

通过帧。

传统的图像传感器会通过每秒捕获多张静止图像来记录场景运动。

如果将这一系列图像通过足够快的速度连续展示，人类视觉就能产生“这是连续运动”的错觉。

但对于计算机来说，无论是多快的速率，帧与帧之间总会丢失某些运动信息。

那么，有没有办法让机器连续地“看”到运动场景或事件呢？

今天就来看看普诺飞思（Prophesee）公司给出的“神经拟态机器眼”。

来自人眼的启发

要了解这个“机器眼”，首先得看看它模仿的源头：

人眼。

我们是如何通过人眼来看世界的呢？

当眼睛中的视觉细胞感测到场景变化——即发生了某个事件时，它就会将相关信息通过视神经传到大脑皮层。

而收集到的数据也是持续的，是以事件为基础的。

因此，普诺飞思的研究者们以人眼为启发，提出了基于事件的视觉感知技术。

和传统图像传感器不同，在基于这种技术的传感器中，每个像素都是异步且独立的。

因此，图像信息并不是逐帧发送，而是通过连续的信息流捕获事件运动：

而如果从事件的角度来考虑，静止和场景并不会带来新的信息。

因此，这种技术也就不关注完全静止的场景：

只有场景中发生某个事件，产生了变化时，传感器才会产生输出：

如果是以帧为单位来获取这种图像信息的变化，那得一张一张固定频率发送，然后一个像素一个像素的比较。

而现在，只关注动态变化，也就剔除了很多冗余信息，减少了处理数据量。

这不仅加快了处理速度，也意味着对算力要求的减弱，成本也就随之降低。

普诺飞思的CEO兼创始人Luca Verre对此表示：

这是来自自然界的完美的解决方案。

现在，普诺飞思已将这种基于事件的视觉技术集成到已有系统中，量产了世界上首个基于事件的视觉传感器。

并且随着更新换代，传感器的性能越来越好，尺寸也越来越小了。

更清晰的拍照，更准确的驾驶

更小，也就意味着离我们的日常生活更近。

比如手机拍摄。

如果在按下快门的几毫秒内被拍对象恰好发生了移动，那么图像的一个点就会变成一条线。

这也就是我们在拍摄很多动态物体时常常产生模糊的原因。

但现在用基于事件的视觉技术，就能够在按快门的这段时间内一直观测这一点的移动，知道它的移动轨迹，再将这条线恢复成点。

可以看到，采用基于事件的视觉技术的右图明显比左图要清晰很多。

此外，这一技术也能提供更大的动态范围，让每一个像素都能按照不同的曝光值来曝光。

这样，即使在非常严苛的光线情景（如室内或夜景）下，拍摄图像也不会得到很大的损失。

然后就是提供更精准的座舱监控技术。

可以看到，这一监控能够追踪驾驶员的目光方向。

不仅如此，连眨眼速度也能监控，这可是传统的监控解决方案做不到的。

这就是普诺飞思联合Xperi开发的全球首个基于神经拟态视觉系统的驾驶员监控解决方案。

还有基于事件的高级驾驶辅助系统，增强了现有的雷达、激光雷达和摄像头系统，能够更快速、准确地理解周围的环境。

通过细胞实时无菌检测实现的下一代细胞疗法，用于减少医疗制品的生产成本：

也有失明患者借助将基因疗法、光刺激医疗设备、以及普诺飞思传感器结合起来的光遗传疗法恢复了部分视力。

除此之外，工业上也有这种传感器的应用：

比如对于一些不能直接接触的大型机械（如高压环境）可以做非接触性的振动检测。

在焊接上也可以做到引导和质检。

这是怎样的一个公司

普诺飞思（Prophesee）是一个7年前在巴黎创立的公司。

这家科技公司致力于神经拟态视觉系统的研发，其基于事件的视觉传感器已应用在摄影、自动驾驶、工业自动化、医疗等多个领域。

公司CEO兼联合创始人Luca Verre拥有米兰理工大学和巴黎中央理工学院的物理学、电子和工业工程双硕士学位。

还曾任丰田汽车公司和Altis半导体公司的工程师。

在7月6日这场发布会上，普诺飞思宣布C轮融资，由创新工场领投、小米及上海韦豪创芯跟投，数家老股东加码。

这也是今年继DeepMind之后，又一家能走进中国视野的欧洲AI创业公司。

创新工场董事长兼CEO李开复博士表示：

普诺飞思在神经拟态视觉领域的先进技术，将为AI和机器视觉技术的发展开创更多的可能性与机会，帮助更多行业实现自动化、安全以及效率方面的提升。

普诺飞思官网：
https://www.prophesee.ai/

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

英伟达NLP公开课 | 免费报名

7.14晚8点，英伟达专家将通过理论讲解与代码演示，分享如何使用NeMo快速实现NLP中的信息抽取任务。快来扫码报名吧~

点这里

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/