新基建风向标关于ChatGPT,必知10

进入年以来，ChatGPT大火。朋友圈里充斥着关于ChatGPT的各种消息，从GPT-1到GPT3.5，再到ChatGPT和GPT-4，从OpenAI和微软到各种ChatGPT创业和项目，仿佛一夜之间跨入了人工智能新基建时代。那么，对于普通老百姓和超级繁忙的职场人来说，都有哪些关于ChatGPT的知识点，需要掌握呢？

本质上来说，ChatGPT是一种面向NLP自然语言理解的预训练大模型。NLP自然语言理解就是让计算机理解人类的语言，而不是理解程序代码或二进制代码。之前，一个神经元网络程序只能解决一个NLP自然语言理解的问题或任务。因此，就需要为每一个自然语言理解问题或任务而定制一个神经元网络程序。预训练大模型的出现，改变了这一格局。

预训练大模型用一个超大规模的神经元网络表达自然语言中的通用知识，而针对每一个特定的自然语言理解问题或任务，只需要在预训练大模型的基础上进行微调/精调，就能够很好地解决相应的问题或任务，这就是预训练大模型的价值。简单理解，就是将之前的一个神经元网络拆解为预训练大模型+微调/精调方法，从而轻松适配不同的NLP任务。

对于用户来说，不需要为了自己的NLP需求，例如开发一个客服机器人，而要从头开始开发一个完整的人工智能程序，用户只需要在大模型的基础上针对本企业/行业特点进行微调/精调，即可很快获得一个适合本企业/行业的客服机器人——面向金融行业的客服机器人要加上金融行业的知识、业务和术语，面向某地区银行的客服机器人还要加上当地的知识、业务和术语，甚至文化与方言等等。

当然，预训练大模型相当于学习人类的知识，例如语言类预训练大模型就在学习人类的语言和知识，那么就跟课本知识一样有时效。ChatGPT的人类语言知识截止到年，也就是说ChatGPT并不具备年以后的人类语言知识，例如播放于年的电视剧《狂飙》，ChatGPT就毫不知晓。因此有网友问关于《狂飙》的知识，ChatGPT就无法回答。

众所周知，ChatGPT基于GPT-3.5，相比于GPT-1、GPT-2、GPT-3等前代大模型，ChatGPT加入了生成式AI算法，让ChatGPT对外输出能力有了质的飞跃，ChatGPT不仅具备了海量人类语言知识，也能与人类进行各种聊天和对话。因此，ChatGPT对外又以API和聊天机器人的方式提供服务，例如微软将ChatGPT嵌入到搜索引擎中成为对话机器人，OpenAI也通过互联网直接对外提供ChatGPT对话以及接入ChatGPTAPI。因此，ChatGPT也代表了基于ChatGPT大模型的聊天机器人、API以及相关互联网和云服务。

ChatGPT之所以大火，因为它走了生成式AI这个方向。人工智能是一个庞大的领域，其中包括了很多算法的交叉使用，基于深度神经元网络的机器学习是人工智能的一个重要方向。神经元网络算法的组成部分主要就是“参数”，所谓“参数”主要指的是每层神经元网络的节点和节点与节点之间的权重连接，当然不同神经元网络引入了不同的算法组合，也具有更多的“参数”。所谓大模型，指的就是具有百亿、千亿级参数的模型。

在人工智能处理的任务方向上，有决策式AI与生成式AI两种。在ChatGPT之前，决策式AI是主要的AI任务方向。所谓决策式AI，也就是回答选择题。无论是赢了电视问答“边缘游戏”的IBM深蓝，还是战胜了人类围棋冠军的AlphaGo，本质上都是在做“选择”，也就是DeepQA问答机器人。目前，众多的人工智能应用都属于问答机器人，包括Siri、Cortana、Alexa、小艾、小度等。

生成式AI是另一个人工智能任务方向，也就是大家所期待的“聊天”机器人。此前，很多问答机器人都被标榜为聊天机器人，但实际上都被诟病为人工“智障”。ChatGPT的出现，让人们看到了真正实现聊天机器人的可能。在ChatGPT中引入了新的AI算法，包括情景学习、思维链、自然指令学习、指示学习等，这些新算法的引入让ChatGPT走上了新道路，不仅能够与人类展开真正的对话，还能生成各种高质量的内容，例如撰写新闻稿等。

读者可能会问，为什么之前不引入这些算法。一个很重要的原因是，对于亿级参数的AI模型进行训练，是一个极耗时间和算力等成本的工作，无论是高校研究员还是企业研发人员，都面临着选择：一旦选择了一个算法方法，就只能一直在这个方向上投入下去，而切换算法或新增算法的成本和代价将非常高。

生成式AI是一个人工智能算法的方向。简单理解，生成式AI就是在已有数据和内容的基础上，产生新的数据和内容甚至是超出预期的内容。生成式AI一直是人工智能所渴望的地平线，就像众多人工智能主题相关电影一样，机器人能够自主与人类进行创造性对话，甚至代替人类进行创造性的活动，例如创作小说、歌曲、绘画等等。当然，在商业社会中，生成式AI被用于创造更具商业价值的内容，如会议纪要、撰写商业稿件、生成商用图像等。

在ChatGPT之前，也存在着其它生成式AI算法，比如面向无监督学习的生成对抗网络（GAN）就非常流行。与ChatGPT相比，GAN等代表了早期生成式AI算法。ChatGPT的出现，可以说是生成式AI的分水岭。实际上，在ChatGPT之前，还有IBM、小冰等公司分别尝试了生成式AI方向，各自推出了具有令人惊讶的生成式AI机器人，例如IBM辩论机器人ProjectDebater和小冰聊天机器人等。不过，根据已经披露的信息，IBM和小冰等公司采取的是不同于大规模预训练模型的算法。

ChatGPT代表的是由大规模预训练模型所驱动的生成式AI。大规模预训练模型的意义在于其通用性，也就是基于GPT的大模型所代表的通用AI能力以及存储于大模型中的人类通用知识，再加上ChatGPT的情景学习、思维链、自然指令学习等新兴算法，生成式AI就有可能进入大规模商用，并进一步从文本生成泛化到图像和视频生成等，这就是ChatGPT的意义。

这里需要提及一下由谷歌学者于年提出的思维链（ChainofThoughts，COT）。简单理解，思维链就是一系列中间推理步骤，即在采用大型预训练模型进行推理任务的时候，先生成思维链，从而使得模型的推理性能获得大幅度提升。这就是众多ChatGPT令人惊艳之处之一，思维链的一大好处是无需微调模型参数，就可以显著改进模型的性能。

ChatGPT是OpenAIGPT-3.5的改进版本之一。OpenAI成立于年，创始人为一些科技领袖，包括特斯拉创始人埃隆·马斯克（ElonMusk）、美国创业孵化器YCombinator总裁山姆·阿尔特曼（SamAltman）、在线支付平台PayPal联合创始人彼得·蒂尔（PerterThiel）等。OpenAI最初的创立宗旨是实现安全的通用人工智能，如今OpenAI的宗旨是确保通用人工智能让所有人受益。

如今，OpenAI主要有三条产品线：GPT、DALL-E和Whisper。其中，GPT是面向自然语言预训练大模型；DALL-E基于GPT-3，可以通过自然语言生成图像；Whisper是一个自动语音识别模型。最著名的当然是GPT系列产品，包括GPT、GPT-2、GPT-3、GPT-3.5/ChatGPT、GPT-4等。GPT全称为GenerativePre-trainingTransformer，简单理解就是生成式预训练Transformer模型。

大名鼎鼎的Transformer模型是由谷歌于年推出的开源机器翻译模型，后也被广泛用于各NLP领域。相比于之前流行的RNN、CNN神经网络算法，Transformer的最大优点就是实现了并行计算，特别适应以云计算为代表的分布式共享计算基础设施。谷歌当初开发Transformer的一个初衷就是为了适配谷歌CloudTPU，因此Transformer的流行也就在情理之中了。在Transformer的基础上，涌现了大量新型算法，特别是为大模型奠定了基础。

GPT-2就是在Transformer基础之上的大模型。GPT-1为亿级参数，GPT-2为15亿级参数，GPT-3为亿级参数。GPT-3.5又有多个版本，包括具有13亿参数的InstructGPT、亿参数的ChatGPT和60亿参数的Codex（用于代码生成），以及GPT-3.5Turbo。其中，最为著名的是InstructGPT和ChatGPT，二者还在训练数据集上有所不同。当ChatGPT大获成功后，OpenAI又将集大成的GPT-3.5Turbo接入ChatGPTAPI，成本更低、速度更快、功能更全，不仅能生成对话还能生成代码。

与GPT系列不同，InstructGPT和ChatGPT引入了人类反馈，也就是基于人类反馈的增强学习。InstructGPT和ChatGPT还引入了人类数据标注员，用人工的方式对模型进行精调。这些反馈都让模型的输出结果向着人类期望的访发展，这就是ChatGPT能够惊艳全球的重要原因。GPT-4进一步实现了多模态的融合，也就是可以识别图像，然后再进行自然语言处理任务，例如给GPT-4模型一个冰箱内部图片并问GPT-4“晚上吃什么”，GPT-4就能识别冰箱内部食物并给出晚餐建议。

虽然OpenAI名为“Open”，但实际上OpenAI已经不是一家开放或开源公司了，因为大模型的训练和运维成本极为昂贵，OpenAI不得不走上了封闭式盈利公司的模式。特别是到了GPT-4，OpenAI不再公布GPT-4的模型参数数量及机理等，外界也无从得知GPT-4的更多具体细节。总体来看，OpenAI打开了AI历史的新一页，这就是预训练大模型的时代，同时OpenAI也验证了大模型的价值：涌现性，即模型越大、参数越多，就越能表现出超出人们想像的智能水平，实现模型能力的质的飞跃。

ChatGPT惊艳了全世界了，也激发了新一轮AI创业热潮。但对标ChatGPT的创业成本也极其高——高达万美元的“起步费”。与其说ChatGPT是一种AI软件，不如说是货真价实的新基建。对于国家来说，ChatGPT更是战略性的国家资源，甚至是国家级战略方向以及必须要投资的基建领域。在未来，ChatGPT及其后续版本，有可能成为大国之间的新竞争优势。

那么，ChatGPT究竟有多贵呢？公开的资料显示，ChatGPT的参数高达亿，预训练数据集高达45TB，而GPT-1的参数量为1.17亿、预训练数据量约5GB，GPT-2的参数量为15亿、预训练数据量为40GB。可见，ChatGPT是一个全面的飞跃，训练一次ChatGPT所需算力高达PFlop/s-day，即假设每秒计算一千万亿次，也需要计算天，相应ChatGPT训练一次的费用估计高达约万美元。

有关的测算还有：ChatGPT单月运营所需算力约.4PFlop/s-day，全年则需要58.5EFlop，如果使用算力P常规数据中心运行ChatGPT，至少需要10个这样的数据中心，按30亿元成本建设一个这样的数据中心计算，总投资高达-亿元；NVIDIA估算，如果要训练GPT-3，用8张V的显卡，训练时长预计要36年，如果用张80GBA则可将时长缩减到1个月，成本高达1.5亿美元，NVIDIA还测试用张80GBA训练GPT，最大规模的模型参数量达到了1TB，而张A卡的成本高达5亿美元；另有证券公司估算，大模型的训练成本介于万美元至1万美元之间，以ChatGPT月独立访客平均1万计，对应需要3万多张AGPU，初始投入成本约为8亿美元，每日电费5万美元左右；OpenAI的重要投资者及战略合作伙伴微软在自己的Azure全球基础设施中，为OpenAI构建了一个庞大的GPU资源池，由上千张GPU构成。

由ChatGPT的开发和运营成本，可以看出大模型是一个极为烧钱的投资，而且在短时间内也很难看到规模化经济效益，更难达到盈亏平衡。这就是为什么很多公司都声称开发出了自己的大模型，但真正投入运营的却只有OpenAI一家（微软向OpenAI先后投资超过百亿美元）。年初，百度发布了中国版ChatGPT即文心一言，首批只开放给企业试用，而面向普通个人用户则预计要到年底开放，这在很大程度上也是成本和效益的考量。

微软是OpenAI的早期支持者之一，年向OpenAI投资了10亿美元，年再次投资20亿美元，年进一步承诺向OpenAI投资亿美元，用于支持OpenAI的研发。作为人工智能云技术的坚定支持者，微软一直

转载请注明：http://www.jinyawz.com/zflzz/11255.html