首页 > 科技快讯 > 计算机读取你“脑子里的画面”,10年内也许能就实现

计算机读取你“脑子里的画面”,10年内也许能就实现

神译局是36氪旗下编译团队,关注科技、商业、职场、生活等领域,重点介绍国外的新技术、新观点、新风向。

编者按:脑界面技术已经成为最前沿技术,不过还不成熟,能否用设备读取大脑中想象的画面呢?日本科研团队证明可以,只是精度还不够高。原文作者是Thomas Smith,标题是:Computers Will Be Able to Read Images From Your Brain Within a Decade。 

我能记住图像,我有时空联觉(time-space synesthesia)。什么意思?就是说对于去过的任何地方,我能想到它的细节,而且是图像细节。即使是没有去过的地方,我也能想象,就像自己在视频游戏中一样。

很酷,我是一名摄影师,能够提前想象对于我的职业作用很大。我喜欢与其它人分享脑海中的图像,但有一个麻烦:我的画画得很烂。我可以想象巴黎圣母院是怎样的,可以想想我的第一套公寓是怎样的,有着栩栩如生的细节,但是当我拿起笔,开始画脑海中的图像,那就糟糕了,我的画如同2岁孩子的涂鸦。

于是乎,有一件事让我兴奋起来:日本京都大学的研究人员正在开发一套AI系统,它可以做一些了不起的事,也就是利用深度学习和生成网络,AI可以阅读人脑中的图像,将它变成数字照片,精准度达到99%。

眼前看到的图像AI可以读出来,想象的图像也能画出来。现在AI画的图像分辨率还很低,而且人必须待在MRI机器内才能进行。但这套AI系统指向一种可能性:随着技术的进步,脑阅读硬件会继续优化,最终计算机将有能力扫描我们的大脑,将我们的精神图像变成实际照片,可以存储,也可以分享。这样的技术10年内就会出现。

2018年京东大学开始实验,2019年在《PLoS Computational Biology》发表论文。2018年《科学杂志》报道了系统是如何运作的。研究人员将实验对象推进fMRI扫描机器,然后记录大脑活动。与传统MRI不同,fMRI会检测大脑内部血的流速,如此一来研究人员就能知道在执行特定任务时大脑哪部分最活跃。当记录大脑信号时,研究人员向测试者展示几千张图片。研究人员获取大量大脑信号数据,每一组信号对应特定图像。

随后,研究人员将数据输入深度神经网络(DNN),训练网络生成图片。神经网络相当于“奇妙的图案探测器”,研究人员向测试者展示图片,神经网络生成与大脑活动相匹配的图像,然后精炼200多次。最终系统可以根据fMRI数据展示的大脑活动绘图,根据实验者看到图像绘图。

然后研究人员做了调整,将深度神经网络的输出结果交给已经训练过的生成网络。生成网络是一种相对较新的先进AI网络,过去10年才出现。这种特殊神经网络接收基本输入信息,然后生成新照片和新视频,逼真度更高。深度伪造、人工人、一些Snapchat滤镜也用到了生成网络。在这里,研究人员用生成网络将从大脑中阅读的图像变成正常图像,它更像照片。

最终系统阅读大脑活动数据,然后用深度神经网络转化为初步图像,再用生成网络优化,让初步图像更逼真。为了测试系统的输出结果,研究人员挑选一些人组成裁判团,向他们展示AI生成的图像。裁判要将从大脑读取的图像与输入图像匹配。

在匹配过程中,正确率高达99%。这个结果相当惊人:单纯使用大脑信号和AI,研究人员就能重建大脑中的图像,效果如此好。

你自己也可以试一试。看下面这张图片,上面一排是在实验时展示给实验者看的原始图片;下一排是通过脑信号重建的图像。二者并非完全一样,甚至有很大差异,但还是可以看出二者之间有很多相似性,容易判定是一组。

接下来研究人员调整了实验方法。研究人员让实验者在脑海中想象之前看到的图像,系统表现不错,它能扫描出有用的图像。

当然,与实验者看到真实照片再扫描相比,读取想象并重建的图像质量没有那么高。不过当实验者想象简单、高对比图形时,比如白色背景上的圆,用系统扫描,重建的图像与真实图像匹配率达到83.2%。

读取想象图像时,相比技术,影响最大的可能是实验者本身。很简单,要让人长时间想象一幅画像很困难,而且人记忆的逼真度也各有不同。

就目前来说,根据实验者神经信号提取的图像仍然是粗糙的。不过不要忘了,最初的数字照片也是粗糙的。日本研究人员的研究向我们证明:从大脑读取图像是可能的。现在找到了方向,接下就是要优化技术——以尽可能快的速度优化。

首先,输出数据的分辨率可以大幅提高。研究人员用的是fMRI,它的空间分辨率大约是2毫米。并不差,但尽管如此,仍然意味着研究人员要将大约10万个神经元的反应汇聚到一个评测数据点上。有的设备分辨率比fMRI高很多,未来也许可以引入。

想达到超高分辨率,一般要通过大脑植入物实现。随着神经网络的进化,未来研究人员也许可以用非侵入式、容易穿戴的大脑设备(比如EEG)获得相似精度的数据。目前EEG设备的分辨率约为厘米级别,但新的光学技术能提高分辨率,将EEG与超高分辨率神经网络结合可以大幅提升分辨率。随着EEG和神经网络的进步,软件也许有能力阅读大脑图像,将非侵入式设备套在用户头部就行了,它所获得的分辨率也许比今天的fMRI还要高。分辨率越高就越能理解意识,计算机重建图像也就会更容易。

最大的希望可能来自输入端,也就是来自生成网络,研究人员用它解释大脑数据,将数据变成实际图像。目前最强的生成网络已经很厉害,它能凭借相当少的输入信息绘制高度逼真的图像。比如说OpenAI的Dall-E网络,写一句话:“牛油果型的扶手椅。”它就能根据文字绘制相应的图像,看起来如同人类设计师设计的一样。

如果用大脑数据而非文字来训练神经网络,它也许能利用最微弱的脑活动绘制图像。要做到不容易,需要获取海量训练数据——让人想象大量(数以百万计)不同的图片,然后记录脑电波,用网络分析。如果能收集海量数据,不断优化生成网络,就可以用非侵入式消费级脑界面阅读大脑,获得精准图像,这一愿景也许10年内就能实现。

如果愿景成真,意义自然很重大。艺术与设计将会变天。例如,你可以想象完美厨房是怎样的,计算机将你的设想变成真实照片。你可以将照片交给建筑师或者开发商,然后它们就能根据你的要求打造梦幻空间。

到那时,摄影师不再需要相机,他们只需要用精神拍照就行了,然后系统会从大脑下载图像。产品设计师在大脑内就可以为新设备建模,然后捕捉,用3D打印机将它们变成实际模型。导演可以想象特定电影场景,根据脑图像创作脚本,甚至整个动画电影都能通过想象来完成。

这种技术也能保护人类权益。例如,如果有人见证大屠杀,或者看到有人受到大规模迫害,他可以回忆,AI将记忆变成真实图像,然后就能将作恶者绳之以法。虽然图像的真实性可能不够高,但即使是模糊图像,仍能给司法带来深刻影响。

在军事方面,这种技术的应用前景也是广阔的。例如,审讯时,可以从犯人的大脑中提取奸细的面容图像,不需要犯人同意。或者情报机构派遣一名间谍伪装成游客、承包商,走进一座设施,然后AI从间谍的大脑中下载图像,用图像创建详细平面图,为军事进攻提供指导。

从个人层面看,如果设备能从大脑读取图像,肯定会存在隐私安全担忧。如果类似的技术一直与大脑植入设备连接,它就可以在不知情状态下不断获取图像,这是相当可怕的。

大脑读取设备也会带来一些尴尬。在实验室里,如果研究人员让实验者想一些无害的东西,比如新型手机,结果他想的却是一些让人尴尬的东西,比如主要研究者穿着内裤。心理学告诉我们,你让他越不去想一些东西,他就越会想。

尽管如此,我仍然期待这种技术的到来。研究人员已经在Github公布系统代码,如果你家里有价值500万美元的fMRI,现在就可以阅读自己的意识。如果没有,那就慢慢等着,等着有人将强大的生成网络与消费者脑界面整合。

 译者:小兵手 

相关推荐

计算机读取你“脑子里的画面”,10年内也许能就实现
做决策的时候,你脑子里在想什么?
利用计算机,人类能发现“万物理论”吗?
本源量子加速推出工程化超导量子计算机
一年内实现百万美元营收,这位创业者有5个体会
马斯克的Neuralink,真的要把脑机接口植入你的大脑了?
改变科学的10种计算机工具,你用过哪个?
解读Neuralink最新脑机接口设备,3年内实现“人机共生”真有可能?
走过半个多世纪,计算机图形学的发展历程告诉你5毛钱的电影特效究竟多难
小小的 M1 芯片,也许决定了苹果的命运和未来

网址: 计算机读取你“脑子里的画面”,10年内也许能就实现 http://m.xishuta.com/newsview45048.html