最近关于GPT-4的谣言四起，GPT-4是OpenAI强大的生成语言模型的下一代。
预计GPT-4将在新年伊始发布，相对于GPT-3和3.5来说，它的性能将有巨大的变化。尽管最近围绕ChatGPT的炒作很狂热，但这仅仅是GPT-4发布时公众反应的前奏而已。
GPT-4会是什么样子？也许与直觉相反的是，我们预测它不会比其前身GPT-3大多少。在今年早些时候发表的一篇有影响力的研究论文中，DeepMind的研究人员确定，今天的大型语言模型实际上比它们应该的要大，为了获得最佳的模型性能（考虑到有限的计算预算），今天的模型应该有更少的参数，但在更大的数据集上训练。换句话说，训练数据胜过模型大小。
今天大多数领先的语言模型都是在大约3000亿个标记的数据语料上训练的，包括OpenAI的GPT-3（1750亿个参数大小），AI21实验室的侏罗纪（1780亿个参数大小），以及微软/英伟达的Megatron-Turing（5700亿个参数大小）。
我们预测，GPT-4将在比这至少大一个数量级的数据集上进行训练，也许大到10万亿个代币。同时，它将比Megatron-Turing更小（即更少的参数）。
GPT-4有可能是多模态的，也就是说，除了文本之外，它将能够处理图像、视频和其他数据模式。这将意味着，例如，它可以将文本提示作为输入并产生一个图像（像DALL-E那样），或者将视频作为输入并通过文本回答有关问题。
一个多模态的GPT-4将是一个重磅炸弹。然而，更有可能的是，GPT-4将是一个纯文本的模型（像以前的GPT模型），其在语言任务上的表现将重新定义技术水平。具体而言，这将是什么样子呢？GPT-4可能在两个语言领域表现出惊人的飞跃，即记忆（保留和参考以前对话中的信息的能力）和总结（将大量文本提炼为基本元素的能力）。