据了解,目前的AI聊天机器人ChatGPT,由 GPT-3.5 系列中的模型微调而成。GPT-4是未来进一步升级的模型。
微软德国公司的技术总监Andreas Braun表示,「有了GPT-4,AI就有可能生成文本、图像甚至视频。」而以前版本的ChatGPT只能够生成文本。」
GPT-4作为多模态语言的另一个强大功能在于,它可以管理不同语言的数据输入和输出。
比方说,你可以用西班牙语对ChatGPT提出要求,而得到的生成文本是英语。显然,这种新奇的东西对翻译工具也会有很大的帮助。
Braun将GPT-4描述为人工智能领域的游戏规则改变者,它将向着拥有人类的解释能力这一目标更进一步。
GPT,即 Generative Pre-trained Transformer,是由 OpenAI 提出的一系列非常强大的预训练语言模型。该系列模型基于互联网上的可用数据上进行训练,在 NLP(自然语言处理)方面表现卓越,可用于问答、文章生成、机器翻译、代码生成和对话 AI 等。
在 GPT 系列模型推出之前,传统的 NLP 模型都是针对特定任务(如分类、翻译等)进行训练的,并且往往使用监督学习,这就导致了两个问题:缺乏大量的标注数据,模型也无法概括和泛化任务。
于是,OpenAI 在 2018 年推出了 GPT-1,模型参数数量为 1.17 亿,通过未标注的数据训练出一种生成式语言模型,再根据特定的下游任务进行微调,将无监督学习作为有监督模型的预训练目标。
时隔一年后,2019 年具有 15 亿参数的 GPT-2 出现。与 GPT-1 相比,GPT-2 在结构上并没有太多创新与设计,使用了更大的数据集和更多的模型参数进行训练,以此强化并提高模型性能。
从 GPT-1 的 1.17 亿到 GPT-2 的 15 亿,超 10 倍的参数差距带来了性能上的飞跃。这似乎意味着,随着容量和参数量的增多,模型性能还有更大的潜力——因此,2020 年 GPT-3 的参数量翻了 100 倍:1750 亿,其预训练数据量也高达 45TB(GPT-2 是 40GB,GPT-1 约 5 GB)。
事实证明,海量参数确实让 GPT-3 具备了更强大的性能,它在下游任务表现的非常好。即便是复杂的 NLP 任务,GPT-3 也表现惊艳:可以模仿人类写作,编写 SQL 查询语句、React 或 JavaScript 代码等。
回顾 GPT-1 、GPT-2 和 GPT-3 这一路的发展,许多人对 GPT-4 寄予厚望,甚至还有消息称 GPT-4 的参数量将高达 100 万亿。