首页 > 科技快讯 > 实现动静态视觉融合,「锐思智芯」推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus

实现动静态视觉融合,「锐思智芯」推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus

文|戴昊彤    编辑|彭孝秋

近几年,随着人工智能、计算机视觉等技术兴起,机器感知时代已经到来。传统摄像头因其响应慢、功耗大、拍摄运动物体模糊等痛点制约了计算机视觉技术的发展。为了解决这一问题,事件相机仿造人眼视网膜的工作原理,具备对信息响应速度快、冗余数据少、功耗低、动态范围大等优势,因而适用于机器视觉。2015年,事件相机步入产业化阶段并应用于少数场景。

然而,在大部分真实场景中,事件驱动相机需要配合传统图像传感器来使用。而在事件驱动相机+传感图像传感器的双摄系统中,由于两颗摄像头的视角差别以及事件相机与传统图像传感器的数据类型不同,因而对于两路数据进行实时配准存在较大困难。因此,将传统图像传感器与事件相机在芯片层面结合起来成为未来发展方向。

为了解决现有局限性,锐思智芯自主研发了Hybrid Vision技术,即融合仿生视觉方案,将事件相机与传统视觉传感器合二为一实现”静态”与”动态”的视觉融合

技术方面,其运作原理及优势主要体现在以下三方面,首先,将仿生视觉技术与传统图像传感器融合在同一芯片上,可同时输出高质量图像数据和事件流数据,实现了实时图像融合。其次,该方案的事件相机功能,为模仿人眼视网膜神经元的工作原理,基于事件进行驱动,只输出变化信息,其响应速度达到微秒级,全时域捕捉变化的信息。第三,延续传统图像传感器的技术优势,在图像拍摄模式时保证全幅画质和影像细节。

芯片工作原理

锐思智芯本次发布的ALPIX-Pilatus(简称ALPIX-P)即是基于”Hybrid Vision”开发而成,为全球首款将传统图像传感器技术和仿生事件相机技术在同一像素内融合的芯片。ALPIX-P可以在传统图像传感器模式和仿生事件相机模式间快速切换。在图像模式下,ALPIX-P是一款最高帧率为120帧的全局曝光传感器,与现有的传统图像传感器完全一致,并与现有成熟的视觉系统完全兼容。在仿生事件相机模式下,ALPIX-P具有超高帧率,高有效信息占比,大动态范围的特点。

目前该芯片已开始送样。也验证了”Hybrid Vision“技术在量产、成本、性能上具备落地可行性。

基于ALPIX-P的设计,锐思智芯研发了两个ALPIX系列传感器芯片产品,分别是ALPIX-Titlis(简称ALPIX-T)融合式低功耗仿生视觉传感与ALPIX-Eiger(简称ALPIX-E)融合式高端仿生视觉传感器。

两者的不同之处主要在于应用场景方面,ALPIX-T传感器芯片应用于各类对功耗敏感的视觉IoT应用,如智能门锁、智能安防等,在保持对场景连续感知的同时降低系统功耗。ALPIX-T的事件相机模式可以极低功耗过滤掉80%的无效信息,大幅提高有效信息占比,从而降低系统整体功耗。同时,在适配现有图像系统基础上,ALPIX-T增加了独立的事件流数据,可以提高图像识别算法的效率及精度。

ALPIX-E融合式高端仿生视觉传感器则主要应用于高端成像领域,如手机、安防等场景。在保证业内最高分辨率的同时,其像素大小达到行业内最小值。

在实现商业化落地上,锐思智芯向客户提供了两种服务模式,分别是:提供ALPIX芯片+基础SDK ,并支持客户相关应用开发;提供基于ALPIX芯片应用小模块即算法+模组(如交互、识别)、并支持客户上层应用开发。目前,锐思智芯已积累了一批alpha客户。未来,其芯片应用产品将会向手机等消费电子、汽车领域拓展。

在团队核心优势方面,主要体现在锐思智芯对技术难点的突破及创始团队的技术积累。一方面,其技术难点在于:

首先,仿生视学传感器的核心像素内设计(in-pixel)复杂度高,晶体管数量多。要将传统图像传感器与之融合,既需要拥有前者的设计经验,又需要有仿生视觉传感器的研发经验。

其次,ALPIX是个系统级的设计,需具备较强的工程经验,这需要研发时间积累。

此外,若把ALPIX做得体积更小,需要先进的工艺以及对其深入了解,目前团队与该类顶级代工厂有着十几年的长期合作。

另一方面,从核心成员技术背景来看,锐思智芯CEO邓坚、CTO查颖云等核心成员均从事过各类高端视觉传感器研发工作,如高端图像传感器,TOF芯片,X ray,神经元信号探测芯片等。

邓坚对36氪透露,团队对仿生事件相机的研究始于2014年,如今已积累七年研发经验。当时,团队参与仿生视觉传感器芯片产品化雏形项目的研发,该项目由瑞士创新基金支持,主要目标是设计一款用于植入盲人眼球的仿视网膜芯片,令盲人重新感知外界事物轮廓。基于该项目,团队接触到仿生视觉领域。后来团队又陆续开发了两款可商业化的动态视觉传感器芯片,基于原有的技术路线进行不断优化。

由此,团队对于仿生事件视觉传感器技术路线研究得深入透彻。除此,核心创始人员均毕业于ARM、剑桥大学、苏黎世联邦理工(ETH)、浙江大学等名校,并具备多年在NXP、ARM、飞思卡尔、Intel、Magic Leap等企业工作经验。创立初期,核心团队成员仅有6人左右,如今团队规模扩至50人,其中研发人员占比达85%

回顾锐思智芯的融资历程,公司目前已完成两轮融资。2019年底,公司完成数千万人民币天使轮融资,投资方为中科创星、联想创投。2020年底,锐思智芯完成近亿元人民币Pre-A轮融资,由海康威视和耀途资本联合领投,讯飞创投、舜宇中央研究院、全志科技、追远创投、同创伟业跟投,老股东联想创投、中科创星继续加注。

相关推荐

实现动静态视觉融合,「锐思智芯」推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus
36氪首发|仿视网膜研发新型机器视觉传感器,「锐思智芯」完成数千万元人民币天使轮融资
最前线|全球首款视觉应用感存算一体计算芯片发布,神经拟态计算绕开比特编程和摩尔定律
潮科技 | 索尼发布全球首款具有AI处理功能的智能视觉传感器
英特尔甩出视觉推理新杀器,性能超英伟达,大秀首款云端AI商用芯
最前线 | Mobileye执行副总裁Erez谈纯视觉:高级别自动驾驶要用融合方案
创投日报 |「金牌护士」完成数千万元A+轮融资,「锐思智芯」完成数千万元人民币天使轮融资,以及今天值得关注的早期项目
北斗系统全球组网完成在即,「和芯星通」以多源融合芯片瞄准千亿级北斗导航应用市场
融合AI的传感器:人类制造虚拟现实的关键一环
5+X智能电动SUV天际ME7正式上市 融合多种时尚科技

网址: 实现动静态视觉融合,「锐思智芯」推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus http://m.xishuta.com/newsview52646.html