《这就是ChatGPT》,一本讲解什么是ChatGPT的科普读物,作者斯蒂芬·沃尔夫勒姆,英国著名的计算机科学家,人工智能领域的领军人物,非常有名的极客,被称为“在世的最聪明的人”。作为AI方面的顶级专家,由他写ChatGPT的科普读物,自然是最合适不过。
本书不厚,但却是我近期读到的AI大模型方面讲的最清晰透彻的一本读物。初学者要理解ChatGPT,读这一本书就够了。
2022年11月,美国人工智能研究公司OpenAI正式推出了对话交互式的ChatGPT。它甫一面世,立即风靡世界,席卷全球,这标志着AI进入了大模型时代。在ChatGPT的引领下,人类的一只脚,正开始迈入AI时代。
“从此刻开始,搜索的毛利率将永远、不可逆地进入下降轨道。”——萨提亚·纳德拉(Satya Nadella),微软公司首席执行官
一、人工智能与ChatGPT的发展
1950年,图灵发表了论文《计算机器与智能》(Computing Machinery and Intelligence),提到了著名的“图灵测试”,通常认为这是“机器学习(ML)”的第一个里程碑。
2006年,杰弗里·辛顿正式提出深度学习概念,这一年,被称为深度学习元年。
2016年3月,AlphaGo以4比1的成绩战胜了韩国围棋选手李世石,这是人工智能崭露头角的标志性事件。当时的AlphaGo版本结合了深度神经网络和蒙特卡洛树搜索算法。并没有用到GPT这样的大模型。
2018年,OpenAI发布了GPT-1。2020年6月,OpenAI发布了GPT-3。
2022年11月30日,在GPT-3模型基础上,OpenAI发布了ChatGPT。
2021年3月15日,OpenAI发布了GPT-4,目前提供给ChatGPT Plus订阅者使用。
二、大模型乱斗
GPT是一种大模型,是大规模预训练模型,可以简单理解为“大数据量AI模型”。它是指具有巨大参数数量和复杂结构的机器学习模型。这些模型通常由大量的神经网络层和参数组成,可以处理和学习大规模的数据集。大模型一次训练可能需要“高性能集群” 花费 “数天甚至数周”的时间。
大模型通常拥有天文数字的参数,在书中被称为“权重”。以GPT3.5为例,其参数为1750亿。
chatgpt一夜爆火后,国内外的企业纷纷跟进,各种大模型纷纷推出,微软、腾讯(派大星)、阿里、华为、百度(飞浆)都开发了自己的深度学习平台,对大模型进行训练。但是,在综合表现上,chatgpt仍然一骑绝尘。
微软推出的Turing-NLG,有170亿参数。
谷歌推出了号称有1.6万亿模型参数的switch transformer。
百度的“文心一言”百度的“文心一言”有2650亿个参数。
浪潮信息的大规模预训练模型:源 1.0。参数量是 2457 亿。
科大讯飞的“讯飞星火认知大模型”2023年5月6日,科大讯飞在成果发布会上正式发布了“讯飞星火认知大模型”。
2023年7月7日,华为发布了AI大模型——盘古3.0版本,参数量1000亿。
阿里的“通义千问”2023年4月11日,阿里正式推出大语言模型“通义千问”。
另外还有腾讯的混元大模型、京东的ChatJD大模型等等。
三、GPT是AI进化的产物
GPT用的预训练模型是生成式技术(Generative),采用自回归架构,单向预测,通过上文来推测下文,它永远只预测下一个字,这样不断循环来生成新的内容,我们称之为生成式AI。它采用极简架构,走大算力,大数据的技术路线。
2018年,GPT发布几个月后,谷歌发布了另外一种预训练模型BERT,称之为检索式AI,与GPT用的单向模型不同,它是双向的,通过检索语料库来生成回答。
检索式AI是在大数据量的基础上,让AI找到正确答案,而生成式AI是对于让AI自己去判断什么是正确答案,然后提供给用户。检索式AI做的是完型填空,而生成式AI做的是文字接龙。
在起初两种模型的博弈中,GPT1.0所用的生成式技术处于下风。生成式AI的效率和准确度远远低于检索式AI,人们在严肃的商业场合都在使用BERT,比如Siri。
到了GPT2.0的时候,事情突然现了转机。人们突然发现,在提高了数据量后,GPT居然无师自通地拥有了好几项技能,如文本摘要,如翻译。这说明,对于AI来说,生成式前途不可估量。
于是,OpenA公司在GPT模型上投入巨资,开发3.0。
某种能力在较小的模型中不存在,只在较大的模型中存在,模型规模必须要指数级增长超过某个临界点,新技能才会突飞猛进。
ChatGPT是通用预训练语言大模型。对于ChatGPT,有一件事乍看起来平平无奇,但是却细思极恐。我们知道,ChatGPT是通过文字用自然语言与人们交流的,这就要求它熟练掌握语法规则。如句子通常由主语、谓语和可能的宾语组成。名词前面可以有形容词,后面可以有动词,但是两个名词通常不会挨在一起。ChatGPT并不明确了解这些规则,我们也没有把这些规则输入到大模型中。但是在训练过程中,它自己发现了这些规则,并灵活地遵守它们。而我们并不清楚ChatGPT是如何做到这一点的。
目前GPT可以出色地生成文本,可是,我们并不能解释,为什么我们赋予的大模型能够起作用,我们也不能准确地指出,GPT是如何一步步工作的。我们所做的,只是提供大量的文本和一个近似的模型,然后,对它进行训练,就是看着GPT自我学习。而GPT在哪一天到底学会了什么,我们无从知道,也无法预测。佛教有“渐悟”和“顿悟”,GPT是顿悟的,他的的新技能是突然“涌现”的,当模型规模(参数)突破某个临界点后,终于有一天,量变产生了质变,GPT进化了,这个进化的细节,我们无从得知。
凯文·凯利1994年所著的《失控:机器、社会与经济的新生物学》就讲到了这种关于复杂系统的进化、涌现和失控情况,失控的意思是,由于缺乏中心控制,群集系统是效率相对较低、不可预测、不可知、不可控的。但也由此获得进化的无限可能。按照凯文·凯利的理论,通过内部神经元的个体进化,我们可以获得模型整体能力的涌现。GPT作为人工智能神经网络大模型,便符合群集系统的特点。
在我们的训练下,AI正在自我进化。目前,GPT已经毫无征兆地学会了情感分析,那么,AI什么时候会有自主意识,什么时候会产生情感,我们并不知道,但是,我们知道,这件事早晚会到来。
四、AI幻觉与大模型造假
假如2030年大模型还没有创造太多经济价值,最有可能的解释便是其可靠性不足。我们先看一张图片:
在这里,我们让AI给我们提供一部有李鸿章角色的电影。我们发现,AI的回答驴唇不对马嘴。首先,并没有一部叫《风云天地》的电影,它介绍电影其实名叫《宋家皇朝》,但是,导演对不上,演员也不完全对。可以肯定的是,GPT一定有这部影片的相关资料,那么,它为什么会给出这种错误百出的答案,它在和我们开玩笑吗?
OpenAI发布了一篇《GPT-4技术报告》,里面重点提到了大模型的幻觉(Hallucination)。其中说GPT-4有产生幻觉的倾向,即“产生与某些来源无关的荒谬或不真实的内容”,“一本正经地胡说八道”,用我们易于理解的话来说,就是“杜撰”。也许,对于GPT,就和我们考试一样,遇到一时半会答不出的题,就算胡诌也得答上一大篇,能拿几分算几分。
微软必应聊天机器人团队中的一些专家则有下面看法,他认为认为幻觉等于创造力,大模型试图利用它掌握的所有数据,产生最连贯的句子,不管是对是错。AI就是在演戏,人类喜欢看什么,就演成什么样。关键他还演得特别像,特别一本正经,让人真假难辨。
AI幻觉对人类肯定是有害的,但是对于AI本身,也许是产生情绪、个性与智慧的必要途径。
五、你们都是虫子
ChatGPT是一种AI能力集成,它并不局限在文本对答,而是能够进入任何领域。
对于图片和声音,AI已经处理得游刃有余。AI已经学会了看图说话,理解图片中的意思,更可以按照人类给的指令生成图片,对于翻译和理解人类的声音,对于AI已经属于基本操作。
有理由相信,当我们给AI安上机器人的四肢和五官,AI就可以读懂和驱动世界,最后,AI可能会逐步发展出自己的世界。
那么,未来世界将会是怎样的?我们可以从以下几部影片中看看可能的方向。
影片《机器管家(1999)》在电影《机器管家》中,安德鲁是一台机器人,在主人马丁家中担任管家。他学会了绘画、写诗,憧憬爱情,渴望成为一个真正的人。在马丁家中,他过了两个世纪,不断进化,终于成为了一个真正的人,就在他被人类社会认可的时候,他去世了,而死亡也是人与AI的区别之一。
影片《人工智能(2001)》,斯皮尔伯格导演在电影《人工智能》中,机器人大卫是一个小男孩,被人类家庭抛弃。他一直希望成为一个真正的孩子,希望真正地被爱。为了实现这个愿望,他踏上了冒险的旅程。二千年后,人类已经灭亡,外星人发现了他,将他视为一个传奇的存在,提取了他的记忆,为他制造了完美的一天。
在上面的影片中,AI对人类没有恶意,并且爱护和守护着人类,也渴望成为人类。著名的科幻小说作家艾萨克·阿西莫夫创造了“机器人三大定律”,如果机器人不遵守这三大定律呢,在机器人眼中,是不是会象三体人看地球人那样认为“你们都是虫子”呢?
影片《机械姬(2014)》在电影《机械姬》中,通过了图灵测试的AI,在谋杀了实验室的全部工作人员后,成功地逃了出去,融入了人类社会。
电影《终结者(1984)》,导演詹姆斯·卡梅隆,主演施瓦辛格在电影《终结者》中,称为“天网”(Skynet)的机器人AI控制着一支强大的军队,试图灭绝人类。
六、本书作者
本书的英文版书名《What Is ChatGPT Doing ... and Why Does It Work?》,2023年3月9日出版,112页。
本书作者沃尔夫勒姆认为自然界是用编程语言写的,基于此,2009年,他设计了计算型知识引擎 Wolfram Alpha 。这是是一款在线自动问答系统,用户用自然语言对它提问,它可以自主生成答案,而不是像其他的搜索引擎一样返回相关网页的链接。它一出现,就被称为“Google终结者”。
Wolfram Alpha的页面Wolfram Alpha 是微软的必应和苹果公司的Siri后台所使用的问答系统之一。
沃尔夫勒姆开发了Wolfram语言作为新型普适性多模态编程语言,主要用于科学计算和技术应用。在2014年的电影《星际穿越》中黑洞的引力透镜将就是用这个语言实现的,在2016年的科幻电影《降临 Arrival》中,Wolfram 语言参与了外星语言的设计创造。
电影《降临(2016)》中能通晓过去未来的外星语言随着ChatGPT等人工智能技术的发展,人机交互将变得更加智能化和自然化。这可能会改变我们与计算机和机器的交互方式,让人们更容易与技术进行沟通和协作。ChatGPT等人工智能技术的出现为人类带来了许多机遇和挑战。关键在于我们如何理智地应用和管理这些技术,以确保其对人类社会的影响是积极和可持续的。
网友评论