首页 > 科技快讯 > 技术奇点会随着大模型浪潮到来吗?

技术奇点会随着大模型浪潮到来吗?

本文来自微信公众号:集智俱乐部 (ID:swarma_org),作者:金广垠

导语

我们正处于一个技术复杂性不断升级和社会深刻变革的时代,以大语言模型为代表的AI技术重新引发了关于“技术奇点”的讨论。“技术奇点”是一个哲学概念,指的是当人工智能能力全面超越人类时发生的不可逆转的深刻变革。然而,当前对人工智能技术的历史演变和未来趋势的定量建模和分析的研究仍然很少,无法充分证实奇点假设。本文假设人工智能技术的发展可以用多个逻辑斯蒂增长过程的叠加来表征。为了探索这一假设,我们提出了一个多逻辑斯蒂增长过程模型,并使用几个真实世界的数据集对其进行了验证。我们在AI著名系统历史统计数据集上分析评估了多逻辑斯蒂模型的有效性,并评估了人工智能技术发展的当前和未来趋势。此外,在与AI相关的Arxiv论文趋势、GPU晶体管趋势和互联网用户趋势数据集上进行了交叉验证,增强了我们从AI著名系统历史统计数据数据集上得出的结论的稳健性。实验结果表明,2024年左右是当前AI浪潮最快的时期,如果没有进一步的基础技术创新出现,基于当前深度学习范式的AI技术预计可能在2035-2040年左右走向衰落。因此,技术奇点似乎不太可能在可预见的未来到来。

研究领域:AI,技术奇点

金广垠

|作者

AI技术的过去与现在

AI的发展历史长达近70年,其概念基础是在1956年的达特茅斯会议上奠定的。在此期间,AI发展经历了“三个起两落”,目前正处于第三次浪潮,即“深度学习”时代。自2020年以来,以GPT系列为代表的大模型脱颖而出,大模型在理解人类领域内的文本、图像、声音甚至视频方面表现出了非凡的能力,能够熟练地生成与地面真相难以区分的样本。值得注意的是,最近通过了行医执照考试的GPT-4促使一些研究人员推测它可能已经通过了“图灵测试”。这些成就使得公众对“技术奇点”正在临近的信念日益增长。然而,作为人工智能研究界的研究人员,必须认识到我们仍处于人工智能技术的第三波浪潮中,尽管取得了这些进步,但大模型技术仍然是经典深度学习架构例如Transformers和BERT等的扩展,缺乏重大的科学理论上的突破。此外,它们还表现出一些尚未解决的局限性,例如幻觉和高计算开销等。它们没有建立对物理世界的完整理解,而只是机械地从大量数据样本中总结知识,这使得它们在从稀疏数据中学习时效率较低。深度学习作为一种善于从海量数据集中发现隐藏模式并解决实际问题的范式,对AI技术的发展产生了深远的影响。然而,它也不可避免地被一些媒体和资本过度炒作。因此,量化建模人工智能技术的历史发展并预测其未来趋势至关重要。这样,我们才能更加理性、冷静地认识人工智能技术演进的客观规律,评估其社会影响。

关于AI技术奇点的争论

回顾人工智能发展史,关于技术奇点的讨论由来已久,伴随人工智能的每次发展浪潮而来。早在1965年,Good就提出人工智能奇点可能在20世纪到来的观点;Vinge在1993年预测机器将在2005年至2030年间超越人类智能;Yudkowsky于1996年预测人工智能奇点将在2021年到来;Kurzweil在2005年预测人类级别的人工智能将在2029年左右出现,奇点将在2045年到来。而其他一些学者则对技术奇点的到来表示怀疑。2017年,一项针对在AI顶级学术会议NeurIPS和ICML上发表论文的作者的电子邮件调查显示,近一半的受访者对在可预见的未来出现人工智能奇点的可能性表示怀疑。总之,专家们对人工智能技术的未来发展轨迹持有不同意见。然而,目前仍然缺乏被广泛接受和有效的定量方法来预测人工智能的未来。尤其缺乏的是建模人工智能历史发展并对其未来趋势做出可靠推断的方法。

基于多逻辑斯蒂增长的AI发展历史建模

一些先前的研究提出使用逻辑斯蒂增长过程来建模和模拟各种技术发展,例如移动通信技术、运输技术和芯片技术等。逻辑斯蒂增长函数的一般形式如下:

其中,L(t)表示逻辑斯蒂函数随时间t的变化值,a0表示初始值,A表示发展上限。M表示逻辑斯蒂函数的中点,即发展速度最快的点。W是控制逻辑斯蒂发展速度的参数。

逻辑斯蒂函数的增长可以分为四个阶段,初始阶段类似指数增长,代表新技术的出现;第二阶段增长率继续增加,但逐渐由指数增长过渡到近似线性增长,代表技术进入起步期;第三阶段是成熟期,代表技术已成为关键技术,但发展速度开始下降;最后阶段是饱和期,代表技术已转变为基础技术,发展速度开始呈指数下降。需要注意的是,中点是区分技术发展成长期和成熟期的临界点。但人工智能技术是典型的近70年来经历了三起两落的新兴技术,普通的逻辑斯蒂增长过程可能无法准确模拟其历史动态。因此,我们提出人工智能技术发展可能是多个逻辑斯蒂增长过程叠加的假说。即上一代技术的增长到达瓶颈,新的科学理论突破又带动新一代技术的再次增长,如此循环构成了技术发展的多重逻辑斯蒂函数:

在实验中,我们首先在AI著名系统历史统计数据集上验证了多逻辑斯蒂增长模型的可行性。该数据集记录了自1950年代以来每年在AI领域开发的著名系统的累计数量。该数据集包含四个主要类别,即总体、学术界、工业界和产学研合作。与多个数学模型对比,多个评估指标验证了多逻辑斯蒂模型能更好地拟合AI技术的历史发展趋势。

同时,在拟合AI发展历史轨迹的基础上对其未来趋势做出预测。当前的第三波AI浪潮的预计中点约为2024年,这表明我们目前正在经历这一技术浪潮的峰值发展速度,这一观察有助于解释目前在大型语言模型的快速扩张趋势是符合客观规律的。然而,如果在技术上没有任何实质性的突破,当前以深度学习范式为主导的AI浪潮预计将在2035年至2040年之间达到饱和水平。

我们还在与AI相关的Arxiv论文数据、GPU晶体管数量趋势数据(深度学习的硬件支撑)、网络用户增长数据(深度学习的数据支撑)上进行交叉验证实验增强验证了我们的观点。

对当前AI技术发展的见解

根据我们实验中观察到的结果,我们总结了以下两个关键见解:

当前人工智能浪潮对社会的影响仍需冷静评估:尽管当前的人工智能技术无疑正在重塑社会的各个方面,但在关于技术奇点的推测性讨论得到证实之前,审慎评估至关重要。尽管当前人工智能尤其是大模型技术的进步具有变革性的影响,但没有确凿的证据表明这些技术已经引发了人工智能发展的新浪潮。相反,大模型技术似乎是深度学习演进过程中的自然延伸,自然地利用了深度网络架构和计算硬件的进步。可以想象,大模型及其应用在未来可能会像智能手机一样流行,但如果没有超越当前深度学习范式的理论突破,它们还远不能引起“技术奇点”所描述的那种社会变革。

人工智能技术的进步需要基础理论的进一步突破:人工智能技术的未来轨迹可能具有“短期悲观但长期乐观”的特征。在短期内,人们担心深度学习训练中可能出现的数据枯竭,以及大模型固有的幻觉和安全问题。这些挑战凸显了当前深度学习范式的低效性,该范式难以与人类社会需求无缝衔接。从长远来看,我们预计在第三次人工智能浪潮即将结束之时,也许新的技术突破将会出现,就像前两次人工智能浪潮一样。然而,实现这样的突破需要基础理论的进步,可能需要在人工智能的复杂性理论和认知科学方面进行全面的研究。通过从人类大脑功能中汲取灵感并阐明大模型的涌现机制,则可能从源头上解决目前AI技术的局限性。

作者简介

金广垠,军事科学院国防科技创新研究院助理研究员,研究方向为社会复杂系统。

-直播预告-

大模型可解释性读书会

集智俱乐部联合上海交通大学副教授张拳石、阿里云大模型可解释性团队负责人沈旭、彩云科技首席科学家肖达、北京师范大学硕士生杨明哲和浙江大学博士生姚云志共同发起「大模型可解释性」读书会。本读书会旨在突破大模型“黑箱”困境,尝试从以下四个视角梳理大语言模型可解释性的科学方法论:

自下而上:Transformer circuit为什么有效?

自上而下:神经网络的精细决策逻辑和性能根因是否可以被严谨、清晰地解释清楚?

复杂科学:渗流相变、涌现、自组织等复杂科学理论如何理解大模型的推理与学习能力?

系统工程:如何拥抱不确定性,在具体的业界实践中创造价值?

五位发起人老师会带领大家研读领域前沿论文,现诚邀对此话题感兴趣的朋友,一起共创、共建、共享「大模型可解释性」主题社区,通过互相的交流与碰撞,促进我们更深入的理解以上问题。无论您是致力于突破AI可解释性理论瓶颈的研究者,探索复杂系统与智能本质的交叉学科探索者,还是追求模型安全可信的工程实践者,诚邀您共同参与这场揭开大模型“黑箱”的思想盛宴。

读书会计划于2025年6月19日启动,每周四晚19:30-21:30,预计持续分享10周左右。

详情请见:破解AI黑箱的四重视角:大模型可解释性读书会启动

相关推荐

技术奇点会随着大模型浪潮到来吗?
智能技术奇点必然到来,无人驾驶如何监管
奇点更近,人类何为?
人工智能大爆发,硅谷迎来“奇点”时刻?
大模型热潮,会是一场泡沫吗?
这两大风险正在随着AI技术一同到来
2025:AI-First应用爆发元年,大模型开启产业智能化“奇点时刻”
AIGC及大模型产业链梳理:平台、应用、算法、算力
通用人工智能何时到来?
大语言模型会推理吗?

网址: 技术奇点会随着大模型浪潮到来吗? http://m.xishuta.com/newsview138061.html

所属分类:行业热点