首页 > 专业知识 > 新商业NEO100 | 凌感科技费越：自然手势交互好比iphone的自然触摸，正处于爆发的临界点

新商业NEO100 | 凌感科技费越：自然手势交互好比iphone的自然触摸，正处于爆发的临界点

晰数塔互联网快讯
2020-01-10 15:15

2014年，费越和何安莉夫妇在硅谷创立了凌感科技。起因是他们发现：尽管大众对于手势的理解还停留在‘简单命令式手势’的认知阶段，还停留在一些采用了这种手势的电视、汽车和手机里，但作为未来人机交互中不可缺少的部分，自然手势的机会已然来了。

在费越看来，这和iPhone出现之前的触控交互类似：当时的智能手机不是基于按键（Nokia的智能终端），就是基于压力笔的屏幕（Windows CE），因为用户觉得不友好，所以只有少数人在使用。但当iPhone带有基于触摸屏的，无需学习的触控交互出现后，智能手机立刻爆发。并很快主导了整个手机领域，甚至渗透覆盖了其它领域，从汽车、电子广告牌，到各种设备。

“新的3D骨骼手势，类似iphone的自然触摸，现在就是它处于爆发的临界点，Edge of Tomorrow（明日边缘）”，费越对此无比确定。

在费越的介绍中，自然手势技术不但更加精准、稳定，还可以让用户随心所欲地用最高效直觉的方式交互，从而能够控制下一代汽车中先进的多媒体信息娱乐系统。

而凌感科技手势识别技术的核心，是通过对手部22个关键点，26个自由度的追踪，通过深度学习等算法，对手部骨骼进行识别，实现双手自然交互。所以，它对关节追踪会更加精准、稳定，通过深度学习还可以识别双手遮挡的动作。

除汽车外，目前，凌感科技手势识别技术还应用到AR/VR眼镜、手机、IOT、智能生产等领域。未来，也将在其他领域探索更多应用场景。

在当下正在发生的汽车产业变革中，费越相信凌感科技的自然手势交互可以帮助下一代汽车具有划时代的信息娱乐能力，从而彻底实现“信息就在指尖之上”的自由体验。

他始终认为，人类是生活在一个三维的世界中，人类和世界最自然的交互是三维的，因此人类与电子世界最自然的交互，也应该是三维的，所以“未来手势将会是三维人机交互中的不可缺少的一部分”。基于这样的相信，在整个大势爆发之前，他和凌感科技愿意最早跳到时代的洪流中，去推动这些事情的发生。

当初基于何种判断，创立了uSens凌感科技？相比已经出现在现在量产车使用的上一代手势技术，自然手势技术究竟有什么不同，又是如何实现的？汽车产业在进行怎样的变革？凌感科技的机会又是什么？在获得大众汽车“叩响明天”直觉科技创新大赛的奖项后，凌感科技的费越与36氪进行了深入的交流。

（以下问答内容经过36氪编辑整理）

谈创业初衷以及自然手势的特点：可以控制下一代汽车中的多媒体信息娱乐系统。

36氪：当初基于何种判断，创立了凌感科技？

费越：首先是我和何安莉的一个观察，就是计算机所发生的革命性的变化，都是由人机交互的变化产生的。人机交互中，45%靠语音，剩下的55%则靠非语音的手势、肢体、面部表情等动作来交互，因此手势在未来自然的人机交互中将会是不可缺少的重要的组成部分。所以，2014年，我和何安莉一起在硅谷创立了凌感科技。初衷是向更自然的人机交互方向迈进，让计算机更懂人，为用户创造更具沉浸感的自然三维人机交互新体验，同时希望我们的技术能赋能到多个领域，从AR/VR到智能汽车，再到手机、机器人等等。现在通过精准的26自由度3D手部骨骼追踪技术，凌感科技已经成为中国唯一一家能够覆盖所有Camera模组的车载手势识别技术供应商，同时还提供DMS、OMS，在车载领域具有丰富的经验。

36氪：相比已经出现在现在量产车使用的上一代手势技术，自然手势技术究竟有什么不同，又是如何实现的？

费越：我们的自然手势技术不但更加精准、稳定，而且可以让用户随心所欲的用最高效直觉的方式交互，并能够控制下一代汽车中的先进丰富的多媒体信息娱乐系统。

实现的过程从外部环境看，起决定性作用的是摩尔定律。2013年之后的GPU计算能力，2018年的移动芯片计算能力，都达到了深度学习所需的计算能力。

深度学习的基础研究领域也取得了一系列进展。 2013年之后，整体的智能设备也开始超越智能手机形态，向更加“沉浸式”的方向发展。不管是无人机，机器人，还是 VRAR，都是把智能设备一步步的更加人性化，更加沉浸化。即使是传统的智能手机和汽车，也在向更加非接触，更加人性、沉浸化方向发展。

从内部来说，凌感手势识别技术的核心是通过对手部22个关键点，26个自由度的追踪，通过深度学习等算法，对手部骨骼进行识别，实现双手自然交互。相比“简单手型控制”方案，凌感科技的手势识别技术对关节追踪会更加精准、稳定，还通过深度学习可以识别双手遮挡的动作。

谈实现26自由度3D手部骨骼追踪技术的障碍：方法论、速度和硬件

36氪：我们公司是如何做到精准的26自由度3D手部骨骼追踪技术的？中间最大障碍是什么？

费越：我们在2014年已经初步实现了基于计算机视觉的机器学习的精准的指尖3D跟踪和基本的3D骨骼识别。但是发现基于传统计算机视觉，有其局限性：

1. 无法覆盖全部自由的动作情况；2.无法应对信息不全的情况，比如有些手指被手掌遮挡，看不到，一部分手被另一只手遮挡；3.无法应对复杂的背景，各种肤色、光照等。所以2015年，我们开始全面转向用深度学习来做手势，攻克了上述这几个问题。据我们所知，我们是比世界上其它工业界和学术界都早使用深度学习实现3D手部骨骼识别。学术界比较成熟的论文是2016年之后，工业界，比如Oculus Quest上发布的手势识别是2017年开始使用深度学习的。

36氪：这个过程中，我们又是如何解决速度和硬件障碍的？

费越：我们从2015年开发自己的深度学习执行库，对深度学习的运算单元全部做了Neon和汇编优化，并发明了新的优化方式，所以可以比目前通用的移动端优化的深度学习执行库比如Tensorflow Lite, Caffe等要快2倍以上。也就是说我们在2017年的产品就已经做到在Qualcomm 820级别的SOC上达到>50FPS。

硬件方面，一方面是特种硬件的生产，一方面是如何让算法适应不同的硬件。在VR方面，手势方面用户体验的要求极高，需要低延迟 (<20ms），高精度（能够1:1的呈现手的各种动作，误差<5mm），大范围 (120°以上，需要超过VR显示部分的视角）这几个需求用市面上的普通相机无法达到。用特种相机，比如TOF，Structured Light也都无法达到。我们从2014年就开发特种相机，基于双目IR global shutter sensor，来达到延迟和精度方面的要求，并使用特别的广角镜头，达到了操作范围方面的需求。产品在2016年实现了量产。

从2017年开始，我们逐步实现了对各种camera的全面支持，包括单IR camera, 多IR camera, 单 RGB camera, TOF camera等。无论哪种camera形态，我们都能够提供3D骨骼识别，26DOF。目前还没有任何公司做到对所有硬件形态实现的3D骨骼识别。在廉价的单IR，单RGB camera上做到3D skeleton尤其困难。而我们通过独有的深度学习技术和三维动力学技术实现了。

36氪：在汽车领域，凌感科技的机会是什么？汽车产业又在进行怎样的变革？

费越：汽车产业正在进行一场深远的变革。自动驾驶和共享汽车成为发展的两个主要方向，其带来的是对乘车体验的颠覆：一方面，信息娱乐系统可以变得越来越丰富和智能化，原因是辅助驾驶和自动驾驶技术让用户可以从100%大脑投入到驾驶工作的束缚中脱离开来，所以现在汽车的屏幕越来越大，信息越来越丰富。但只靠语音已经不能让用户全面的体验这种新的系统。就像iPhone, iPad，人主要还是靠手眼结合的方式和大屏进行交互，只有少部分时间用SiRi。而触摸，因为屏幕变得很大，位置较远，用户已无法直接触摸到屏幕，手臂运动无法覆盖全部屏幕的尺寸。我们的最新手势交互技术正解决了这一问题。它具有高精度和高自由度的手部动作解析能力，极小的延迟，并同时具有大的空间覆盖能力。它可以帮助下一代汽车具有划时代的信息娱乐能力，做到“信息就在指尖之上”的自由体验。

另一变化趋势是，汽车变得越来越人性化，更加“懂得”用户。目前的车靠的是主动的语音交互，用户主动和车“说话”。下一代的车，将更加智能，直接“读懂用户的心”。靠的是基于计算机视觉的被动交互，车可以知道用户的情绪状态，和行为状态。用户是紧张还是兴奋，还是低落，还是想睡觉休息？是在开会还是娱乐，还是休息？最终目的是做到“人车一体”的体验。我们在手势基础上扩展的面部识别和肢体识别正是让汽车能够读懂用户的情绪和行为。让汽车读懂我的心，自动适应我的状态。

谈当下业务重点以及未来探索：手势将会是三维人机交互中的不可缺少的一部分

36氪：公司当下发展的业务重点是什么？

费越：我们始终认为人类是生活在一个三维的世界中，人类和世界最自然的交互是三维的，因此人类与电子世界最自然的交互，也应该是三维的，未来手势将会是三维人机交互中的不可缺少的一部分，因此手势识别仍然是公司当下发展的业务重点。目前，凌感科技手势识别技术目前已经应用于许多领域，比如：AR/VR眼镜、汽车、手机、IOT、智能生产等领域。未来这几个领域仍然是公司发展的重点，除此以外，凌感科技将探索更多应用场景在其他领域。

36氪：目前凌感科技的客户有哪些？未来，凌感科技的手势追踪技术还将向哪些领域探索？

目前，uSens凌感科技的手势识别技术已经非常成熟并且已经商用在多个领域，合作的客户大部分是其所在领域的头部企业。在VR/AR领域，凌感科技的客户有OPPO、HTC、Qualcomm等；在手机IOT领域，凌感科技的客户有展讯、联发科、OPPO等；在工业自动化领域，客户有戴姆勒奔驰；在汽车领域，客户有小鹏，拜腾，东风等十多家汽车公司，合作包括量产阶段和POC阶段。未来，凌感科技将会继续在现在已落地的领域深耕，希望能做的更好更精准，给用户带来更加自然的交互体验。除此之外，凌感科技在未来还将与客户一起开拓其他行业领域的应用落地和使用场景，例如教育和医疗等行业。