首页 > 科技快讯 > 机器也有烦恼，需要“做梦”来忘掉

机器也有烦恼，需要“做梦”来忘掉

晰数塔互联网快讯
2019-11-04 13:51

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按：哺乳动物在睡觉的时候，大脑可以帮助记住该记住的信息，抹去不重要的信息。科学家们受此启发，模拟哺乳动物大脑的睡眠过程，开发出了“能够睡觉”的数学模型，可以让人工网络“忘掉”冗余信息，增加存储空间。本文译自Medium，作者Karen Emslie，原标题为" Why Machines Need to Dream "，希望对您有所启发。

机器也有烦恼，需要“做梦”来忘掉

在大多数情况下，进入梦乡都是令人愉快的。在梦里，视觉和听觉片段会结合成奇幻的场景，那些零星的回忆与想象中的场景融合在一起；我们与已知的角色和虚构的角色互动；我们有时探索自己的幻想，有时面对自己的恐惧。然而，睡眠和做梦的作用不仅仅是让我们的生活更有乐趣。

当我们睡觉时，大脑会过滤在清醒时收集的信息。神经过程开始起作用，他们抛弃不相关的东西，巩固重要的东西，形成并储存记忆。这些在哺乳动物世界中普遍存在的机制是非常有效的，意大利的一组研究人员已经对这个过程进行了数学建模，以便用于人工智能。

这是一种通过迫使人工网络进入离线睡眠阶段来扩展其存储容量的算法，在此期间，它们强化相关的记忆(pure states)，消除不相关的记忆(spurious states)。

当数学“遇到”哺乳动物

阿德里亚诺·巴拉（Adriano Barra）是意大利萨伦托大学（University of Salento）的理论物理学家。巴拉跟我说话的时候，充满了热情和活力，经常用一包万宝路香烟作为道具，来展示人工智能的精妙之处。

巴拉与同事埃琳娜·阿格利亚里(Elena Agliari)和阿尔贝托·法赫奇(Alberto Fachechi)一起研究大脑等复杂系统，并为复杂的神经生物学建立数学模型。巴拉说：“我们理论物理学家比工程师有一点点优势，因为数学都是一样的，我们可以把我们的结果应用到人工智能中。我们是神经生物学和工程学之间的桥梁。”

人工神经网络的经典是Hopfield模型，它由约翰·霍普菲尔德(John Hopfield)于1982年开发，描述了人工网络如何利用模拟真实大脑的机制(如模式识别)学习和检索信息。Hopfield网络最流行的学习规则是Hebbian learning，它指出了神经元之间的突触在学习过程中是如何加强的。

然而缺点是，Hopfield模型已有几十年的历史，只能存储有限的信息。用数学表达,这种对称网络的最大存储容量是α∼0.14。然而理论极限是1，或α=1。

一个网络的容量是由它所包含的神经元数目（n)决定的。每一个信息位，例如一个数字像素，都是一个不同的信息模式（P）。巴拉说:“你最多可以存储的模式p等于0.14乘以n。”那么，为什么存储容量只是理论值的一小部分呢?为什么是0.14，而不是1?

处于清醒状态或在线状态的网络总是在学习新的信息模式。然而，除了收集令人满意的模式，他们还收集不相关的，甚至是假模式。巴拉说:“你让网络存储这些重要的模式，但不可避免它也会存储错误的，这无法避免，它们是自动生成的。”

机器也有烦恼，需要“做梦”来忘掉他拿起万宝路香烟，把它比作一包骆驼牌香烟。“如果你持续存储这些香烟包的详细信息，比如蓝色的是骆驼香烟，红色的是万宝路香烟，等等，在这个过程中你同时也接收了所有的冗余信息，网络最后会被卡住，充斥着不相关和虚假的信息，最大容量达到0.14。

这种能力上的限制并不能阻止人工智能执行特定的任务，但是无用的数据占据有价值的空间会导致浪费和低效。这个意大利团队的解决方案是开发一种算法，它能迫使网络进入一个“类似哺乳动物睡眠”的离线阶段，哺乳动物睡眠就是被用来强化重要的记忆，抹去不相关的记忆的。

巴拉说：“这与睡眠有很大的关系，因为如果你不去掉这些虚假的错误信息，网络就无法区分什么是万宝路香烟，什么是骆驼香烟。”

释放空间

哺乳动物的大脑也在不断地收集新的信息模式。但就像一艘渔船不加区分地在海底拖网捕鱼一样，它们会搜集相关信息，但也会搜集到不重要的细节。

巴拉说：“当你醒着的时候，会被动地储存很多信息，你可能并不需要它，也不想把它储存起来。我们还会制造虚假的信息模式。对于这些无用的信息，我们想要忘掉它，哺乳动物会通过睡眠来做到这一点。”

在我们经常做梦的快速眼动睡眠(REM)阶段，大脑会抹去无关的记忆，这为存储新文件提供了空间。在慢波睡眠（SW）阶段，重要的记忆会被加强。虽然大多数的梦境发生在快速眼动睡眠期间，但在慢波睡眠阶段，我们可能会做一些模糊的梦，在醒后很难回忆起来的梦。

研究小组知道，哺乳动物的大脑在睡眠时使用一种高效的机制来清除储存空间。他们对这一事实的分析是他们的算法的出发点。

巴拉说:“后来我们阅读了一些解释真实大脑中的这种现象，并试图建立数学模型的神经生物学论文。然后我们想到，如果把这个数学的框架应用到Hopfield模型上会发生什么?”

机器也有烦恼，需要“做梦”来忘掉他们的答案发表在4月份出版的《神经网络》(Neural Networks)杂志上的一篇论文中。在新的框架下，人工网络在标准的在线或清醒期间会持续学习和存储信息模式(作为记忆)。但当存储容量达到0.14时，网络被迫进入脱机或休眠状态。这个睡眠阶段用来删除不相关的信息，并巩固重要的信息，或者更专业一点的说法是，用于“去除虚假模式和强化纯粹模式”。通过增加这样一个离线过程，网络能够释放存储空间，并将容量增加到1。