浪潮英伟达微软为何狂炼AI大模型?巨头角力已经开启

【新智元导读】AI大模型「环球影城」正式开业!汽车人、霸天虎共集结,这次不是为了赛博坦,也不是元宇宙,而是为了疯狂争夺「火种源」。现实世界中,AI巨头在也在为这一生命之源——大模型展开了无尽的争夺战 。
 
AI大模型领域的「环球影城」正式开业!
 
 
 
汽车人、霸天虎集结,这次不是为了赛博坦,而是为了疯狂争夺「火种源」。
 
 
 
现实世界中,AI巨头们在也在为这一「生命之源」——大模型展开争夺战,进行巅峰对决。
 
5300亿参数,烧了4480块英伟达GPU,威震天-图灵(MT-NLG)可以说是当前最大的语言模型。此外,GPT-3有1750亿参数,浪潮「源1.0」2457亿参数...
 
自从2018年谷歌推出BERT模型以来,语言模型做的越来越大,仿佛没有终点。短短几年,模型参数已经从最初的3亿,扩张到万亿规模。
 
然而,这并不是终点,争夺「火种源」角逐还在继续。
 
那么,这些AI巨头到底在争什么,在探索什么?
 
大模型究竟是否是一条正确的道路?
 
下一个模型有多大?+∞
 
从国外来看,2018年,谷歌提出3亿参数BERT模型惊艳四座,将自然语言处理推向了一个前所未有的新高度。
 
可以说,谷歌最先开启了大模型一股热潮。
 
 
 
紧接着,OpenAI在2019年初推出GPT-2,15亿参数,能够生成连贯的文本段落,做到初步的阅读理解、机器翻译等。
 
还有英伟达威震天(Megatron-LM)83亿参数,谷歌T5模型110亿参数,微软图灵Turing-NLG模型170亿参数。
 
这些模型一次次不断地刷新参数规模的数量级,而2020年却成为这一数量级的分界线。
 
大火的GPT-3,1750亿参数,参数规模达到千亿级别,直逼人类神经元的数量。
 
能作诗、聊天、生成代码等等,无所不能。
 
 
 
就在近日,微软和英伟达联手发布了Megatron-Turing自然语言生成模型(MT-NLG),5300亿参数。
 
号称同时夺得单体Transformer语言模型界「最大」和「最强」两个称号。

dawei

【声明】:嘉兴站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。