【新智元导读】AI大模型「环球影城」正式开业!汽车人、霸天虎共集结,这次不是为了赛博坦,也不是元宇宙,而是为了疯狂争夺「火种源」。现实世界中,AI巨头在也在为这一生命之源——大模型展开了无尽的争夺战 。
AI大模型领域的「环球影城」正式开业!
汽车人、霸天虎集结,这次不是为了赛博坦,而是为了疯狂争夺「火种源」。
现实世界中,AI巨头们在也在为这一「生命之源」——大模型展开争夺战,进行巅峰对决。
5300亿参数,烧了4480块英伟达GPU,威震天-图灵(MT-NLG)可以说是当前最大的语言模型。此外,GPT-3有1750亿参数,浪潮「源1.0」2457亿参数...
自从2018年谷歌推出BERT模型以来,语言模型做的越来越大,仿佛没有终点。短短几年,模型参数已经从最初的3亿,扩张到万亿规模。
然而,这并不是终点,争夺「火种源」角逐还在继续。
那么,这些AI巨头到底在争什么,在探索什么?
大模型究竟是否是一条正确的道路?
下一个模型有多大?+∞
从国外来看,2018年,谷歌提出3亿参数BERT模型惊艳四座,将自然语言处理推向了一个前所未有的新高度。
可以说,谷歌最先开启了大模型一股热潮。
紧接着,OpenAI在2019年初推出GPT-2,15亿参数,能够生成连贯的文本段落,做到初步的阅读理解、机器翻译等。
还有英伟达威震天(Megatron-LM)83亿参数,谷歌T5模型110亿参数,微软图灵Turing-NLG模型170亿参数。
这些模型一次次不断地刷新参数规模的数量级,而2020年却成为这一数量级的分界线。
大火的GPT-3,1750亿参数,参数规模达到千亿级别,直逼人类神经元的数量。
能作诗、聊天、生成代码等等,无所不能。
就在近日,微软和英伟达联手发布了Megatron-Turing自然语言生成模型(MT-NLG),5300亿参数。
号称同时夺得单体Transformer语言模型界「最大」和「最强」两个称号。