为了让计算机更好地理解图像，谷歌提出了新方案
编者按：本文来自微信公众号“将门创投”（ID：thejiangmen），作者 让创新获得认可，36氪经授权发布。原题目《色盲不盲，谷歌提出更清晰的可视化颜色映射Turbo》
伪彩色图在计算机视觉和机器学习中具有重要的应用，从深度图的可视化到类似图像差分等抽象应用都需要伪彩色图来帮助我们理解视觉信息。彩色画的图像帮助人类提升对于细节的理解能力，定量估计数值并更有效直观地识别出数据中的模式。
然而对于颜色映射的选择会极大地影响人们对于图像的理解。例如在医学图像处理中彩色映射常常会引入精度损失。但在很多任务中伪彩色图还是人们更希望应用的表达形式，在一定精度损失的代价下能够更加快速直观的进行视觉评价。下图显示了灰度表示的视差图和利用Jet映射的伪彩图，伪彩图对于人类视觉来说更为直观。
计算机视觉中最常用的颜色映射算法是Jet，它具有高的对比度可以有效突出图像中的细节。但如果仔细观察图像的梯度图会发现一系列的颜色带，在青色和黄色区域最为明显。这对于伪彩图最大的影响在于颜色变化过于剧烈，将导致人眼对于实际数据的误解。很多平滑过渡的区域会被误解为有较大的梯度。由于Jet映射对于人眼感知来说变化不是常量，所以它不具有感知均匀性。这种影响对于色盲人士来说更为明显，将造成伪彩图映射出的信息变得模糊。下图就显示了模拟出的红色盲看到的结果。
为了解决这些问题，目前有很多均匀和色盲人士可以使用的颜色映射图，例如绘图工具包matplotlib中的Viridis(左)和Inferno(右)映射。这类线性亮度映射解决了Jet中的很多问题，但依然存在一些限制使得这类线性颜色映射函数不是某些任务的最优方法。
谷歌的研究人员希望解决这些颜色映射中存在的问题，为计算机视觉和机器学习提出更好的彩色映射方案，提出了一种新的映射机制——Turbo。它可以有效除了伪细节、错误的颜色带，并为色盲人士提供更为准确的信息。Turbo针对多种可视化任务进行了手工调教，确保对视觉信息进行有效呈现。
有效的Turbo映射
研究人员为了构建Turbo映射，利用一个简单的交互界面来利用七节点的三次样条对sRGB曲线进行调整，并与其它颜色映射进行比较。
这种方式创建的Turbo颜色映射可以在保持曲线C2连续性的同时进行控制。虽然最终的颜色结果不是感知线性的，但它比jet更为平滑，不会引入错误的细节。
与其他颜色映射的比较
Viridis是一种具有代表性的颜色映射方法，因为它对于人眼比较适宜同时能修复某些Jet映射的问题。Inferno具有Viridis线性特性的同时还具有更高的对比度，使得细节能够得到更好的展现。然而，这些色彩映射会产生一些刺眼的视觉效果，虽然在出版业中没有太多影响，但确实会影响人们基于伪彩图进行的决策。
由于颜色和强度的剧烈变化，Jet相较于Viridis和Inferno会削弱背景的细节，最终基于数据呈现出的图像会让人眼遗失很多细节。而Turbo则通过非线性映射将背景进行了强化。下图中可以看到在Inferno中远处的背景几乎无法看清，而Turbo映射中远处的背景数目则依然为人眼所见。
Turbo模拟了Jet的光强特性，映射的强度从低到高在从高到低，但却没有显著的强度带阻隔。下图显示了四种不同颜色银蛇的强度值曲线，可以看到Turbo的强度值基本对称分布，使得它在单侧的斜率几乎是Viridis和Inferno的两倍，在高地两侧将有效的提升对比度。同时低侧的斜率和高侧的斜率不同，这是因为人类感知的蓝色比红色更强。
虽然这种低高低的曲线可以增强细节，但却会造成强度的模糊。将彩色图转换为灰度图时会造成较低的值与较高的值得到相同的取值，这意味着Turbo不适合于灰度打印也不适合于罕见全色盲人士。
语义层
计算机视觉对于视差图的检验一般通过图像中不同区域来实现。这种比较对人类来说，彩色比黑白更加有效和精确。
利用Jet和Turbo来说，由于颜色更为丰富可以很轻易地识别出图像中左右两边在相同深度的球和环，但在Viridis或Inferno可区分的颜色较少，则难以确认左边的球对应右边的哪个相同深度的环。与Jet相比Turbo则更为平滑，同时没有明显的颜色带痕迹，从下图的量化中可以更好的看到Turbo(左)的平滑效果。
快速评估
当快速评估两张图像时，基于颜色的比较要比基于强度的比较更容易。例如在单图像深度估计任务中，基准图像与预测图像间的比较，Turbo颜色相较于Viridis就更容易区分和辨别误差。
此外也可以迅速的人工得到定量的数值，因为强度被映射到了一些常见的颜色上。
偏差图应用
Turbo颜色映射同时可以有效用于图像差异的显示。在使用过程中可以将零值设置为绿色、负值偏蓝、正值偏红。但负值侧会比正值侧更暗，并不是完全的平衡，但仍然能够有效地显示图像间的差异。
色盲友好性
研究人员同时还利用色盲模拟器对这种新的颜色映射进行测试，结果表明除了全色盲人群外Turbo可以保持具有显著区分和平滑的颜色。针对全色盲来说，由于低值区和高值区的灰度可能类似会造成一定的感知模糊。由于全色盲在人口中的比例是三万分之一，所以这套色彩映射可以有效覆盖99.997%的人群。
Turbo作为作为Jet的替代品，对于高对比度、视觉平滑等方面进行了有效处理，可以应用于深度图等表示绝对值的图像也可以应用于表示差异的伪彩色图像中，使其具有平滑的视觉效果、对比度更好的细节、更好的语义感知以及差异分析等优势。开发人员同时推出C/CPP和python的接口，同时也给出了多项式近似供开发者使用。
更多详细信息请参看：
http://ai.googleblog.com/2019/08/turbo-improved-rainbow-colormap-for.html
相关推荐
为了让计算机更好地理解图像，谷歌提出了新方案
荐书 | 如何更好地理解疫情后的世界
谁能先造出世界最好量子计算机？IBM与谷歌展开量子大战
谷歌地球首次披露拍摄范围：囊括98%的人口地区图像
为了不让 AI 做一个「混蛋」，谷歌操碎了心
中国的计算机视觉，为什么成了美国的眼中钉？
谷歌量子计算硬件主管马提尼斯辞职，曾带领团队实现量子霸权
为了运行十年前的代码，程序员们甚至翻出了1977年的Apple II
新方案上线，华为为何加码云游戏？
IBM直怼谷歌“实现量子霸权”：1万年太久，经典计算机只需2天半
网址: 为了让计算机更好地理解图像，谷歌提出了新方案 http://m.xishuta.com/newsview9061.html
