首页 > 科技快讯 > 实现动静态视觉融合，「锐思智芯」推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus

实现动静态视觉融合，「锐思智芯」推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus

晰数塔互联网快讯
2021-10-27 08:33

文｜戴昊彤编辑｜彭孝秋

近几年，随着人工智能、计算机视觉等技术兴起，机器感知时代已经到来。传统摄像头因其响应慢、功耗大、拍摄运动物体模糊等痛点制约了计算机视觉技术的发展。为了解决这一问题，事件相机仿造人眼视网膜的工作原理，具备对信息响应速度快、冗余数据少、功耗低、动态范围大等优势，因而适用于机器视觉。2015年，事件相机步入产业化阶段并应用于少数场景。

然而，在大部分真实场景中，事件驱动相机需要配合传统图像传感器来使用。而在事件驱动相机+传感图像传感器的双摄系统中，由于两颗摄像头的视角差别以及事件相机与传统图像传感器的数据类型不同，因而对于两路数据进行实时配准存在较大困难。因此，将传统图像传感器与事件相机在芯片层面结合起来成为未来发展方向。

为了解决现有局限性，锐思智芯自主研发了Hybrid Vision技术，即融合仿生视觉方案，将事件相机与传统视觉传感器合二为一，实现”静态”与”动态”的视觉融合。

技术方面，其运作原理及优势主要体现在以下三方面，首先，将仿生视觉技术与传统图像传感器融合在同一芯片上，可同时输出高质量图像数据和事件流数据，实现了实时图像融合。其次，该方案的事件相机功能，为模仿人眼视网膜神经元的工作原理，基于事件进行驱动，只输出变化信息，其响应速度达到微秒级，全时域捕捉变化的信息。第三，延续传统图像传感器的技术优势，在图像拍摄模式时保证全幅画质和影像细节。

芯片工作原理

锐思智芯本次发布的ALPIX-Pilatus(简称ALPIX-P)即是基于”Hybrid Vision”开发而成，为全球首款将传统图像传感器技术和仿生事件相机技术在同一像素内融合的芯片。ALPIX-P可以在传统图像传感器模式和仿生事件相机模式间快速切换。在图像模式下，ALPIX-P是一款最高帧率为120帧的全局曝光传感器，与现有的传统图像传感器完全一致，并与现有成熟的视觉系统完全兼容。在仿生事件相机模式下，ALPIX-P具有超高帧率，高有效信息占比，大动态范围的特点。

目前该芯片已开始送样。也验证了”Hybrid Vision“技术在量产、成本、性能上具备落地可行性。

基于ALPIX-P的设计，锐思智芯研发了两个ALPIX系列传感器芯片产品，分别是ALPIX-Titlis(简称ALPIX-T)融合式低功耗仿生视觉传感与ALPIX-Eiger(简称ALPIX-E)融合式高端仿生视觉传感器。

两者的不同之处主要在于应用场景方面，ALPIX-T传感器芯片应用于各类对功耗敏感的视觉IoT应用，如智能门锁、智能安防等，在保持对场景连续感知的同时降低系统功耗。ALPIX-T的事件相机模式可以极低功耗过滤掉80%的无效信息，大幅提高有效信息占比，从而降低系统整体功耗。同时，在适配现有图像系统基础上，ALPIX-T增加了独立的事件流数据，可以提高图像识别算法的效率及精度。

而ALPIX-E融合式高端仿生视觉传感器则主要应用于高端成像领域，如手机、安防等场景。在保证业内最高分辨率的同时，其像素大小达到行业内最小值。

在实现商业化落地上，锐思智芯向客户提供了两种服务模式，分别是：提供ALPIX芯片+基础SDK ，并支持客户相关应用开发；提供基于ALPIX芯片应用小模块即算法+模组（如交互、识别）、并支持客户上层应用开发。目前，锐思智芯已积累了一批alpha客户。未来，其芯片应用产品将会向手机等消费电子、汽车领域拓展。

在团队核心优势方面，主要体现在锐思智芯对技术难点的突破及创始团队的技术积累。一方面，其技术难点在于：

首先，仿生视学传感器的核心像素内设计（in-pixel）复杂度高，晶体管数量多。要将传统图像传感器与之融合，既需要拥有前者的设计经验，又需要有仿生视觉传感器的研发经验。

其次，ALPIX是个系统级的设计，需具备较强的工程经验，这需要研发时间积累。

此外，若把ALPIX做得体积更小，需要先进的工艺以及对其深入了解，目前团队与该类顶级代工厂有着十几年的长期合作。

另一方面，从核心成员技术背景来看，锐思智芯CEO邓坚、CTO查颖云等核心成员均从事过各类高端视觉传感器研发工作，如高端图像传感器，TOF芯片，X ray，神经元信号探测芯片等。

邓坚对36氪透露，团队对仿生事件相机的研究始于2014年，如今已积累七年研发经验。当时，团队参与仿生视觉传感器芯片产品化雏形项目的研发，该项目由瑞士创新基金支持，主要目标是设计一款用于植入盲人眼球的仿视网膜芯片，令盲人重新感知外界事物轮廓。基于该项目，团队接触到仿生视觉领域。后来团队又陆续开发了两款可商业化的动态视觉传感器芯片，基于原有的技术路线进行不断优化。

由此，团队对于仿生事件视觉传感器技术路线研究得深入透彻。除此，核心创始人员均毕业于ARM、剑桥大学、苏黎世联邦理工（ETH)、浙江大学等名校，并具备多年在NXP、ARM、飞思卡尔、Intel、Magic Leap等企业工作经验。创立初期，核心团队成员仅有6人左右，如今团队规模扩至50人，其中研发人员占比达85%。

回顾锐思智芯的融资历程，公司目前已完成两轮融资。2019年底，公司完成数千万人民币天使轮融资，投资方为中科创星、联想创投。2020年底，锐思智芯完成近亿元人民币Pre-A轮融资，由海康威视和耀途资本联合领投，讯飞创投、舜宇中央研究院、全志科技、追远创投、同创伟业跟投，老股东联想创投、中科创星继续加注。