去年 11 月 30 日,人工智能公司 OpenAI 发布聊天机器人 ChatGPT。和 OpenAI 此前推出的产品不同,这次 ChatGPT 采取了开源开放、免费用的模式。
免费又好用, ChatGPT 不到一周就聚集了超过 100 万用户,其圈粉速度之快震撼整个 AI 产业界。
ChatGPT 的大火,让 OpenAI 吸金能力飙升。
2019 年微软曾向 OpenAI 投资 10 亿美元,以换取 OpenAI 技术的独家许可。现在,OpenAI 的估值飙涨至 290 亿美元。
ChatGPT 在全球爆红还震动了 AI 界的大佬谷歌。
ChatGPT 推出不足 1 个月后,谷歌 CEO Sundar Pichai 在公司内部发布了 “ 红色警报 ” ( Code Red ) ,并称围绕 ChatGPT,全面调整 2023 年谷歌在 AI 领域的工作。
更夸张的还有 ChatGPT 的 “ 加持 ” 能力。
就在几天前,美国版头条公司 BuzzFeed 宣布计划利用 ChatGPT 创建者 OpenAI 来生成和个性化其部分内容并增强其体验后,其公司一直不温不火的股价 2 天涨了近 3 倍。
纷繁的信息背后,ChatGPT 所代表的 AIGC(AI generated content)技术水平到底达到了怎样的高度?
根据 OpenAI 官网的介绍,ChatGPT 基于 GPT-3.5 预训练大模型创建,采用的模型使用了 “ 利用人类反馈强化学习(RLHF)” 的训练方式,包括:人类提问机器答、机器提问人类回答,不断迭代,让模型具备对生成答案的评判能力。
相比 GPT-3 大模型,ChatGPT 的主要提升点包括:能记住之前的对话,可实现连续对话,更符合真实的人类对话情景,能承认错误、会拒绝不适当请求;新训练增加了代码理解和生成的能力,ChatGPT 具备与编程相关的基础知识。
回顾 OpenAI 的技术路线,自 2018 年开始,OpenAI 陆续发布了 Generative Pre-trained Transformer(GPT)系列预训练语言模型。
GPT-1(2018 年发布)、GPT-2(2019 年发布)、GPT-3(2020 年发布)的参数分别达到 1.17 亿、15 亿、1750 亿。此后,OpenAI 投入大量精力,通过代码训练和指令微调来增强 GPT-3。ChatGPT 被视为是基于 GPT-3 的微调版本,即 GPT-3.5 创建的。