大语言模型丨研究报告
导语:
ChatGPT这一现象级突围产品的横空出世,拉开了大语言模型产业和生成式AI(AIGC)产业蓬勃发展的序幕。海外市场,OpenAI、微软、谷歌、Meta等巨头动作频频。中国市场也百花齐放:百度、阿里、华为、腾讯、360、商汤、京东、科大讯飞、字节跳动等巨头厂商结合自身业务及战略布局,陆续宣布研发或已发布大语言模型产品;垂直赛道及大模型解决方案厂商则锚定一个或多个行业领域,意图打造“数据飞轮”护城河;应用层厂商则积极试水整合大模型能力,提升产品功能;众多科技大佬也宣布进军大模型领域进行创业。市场热度高涨,中国人工智能产业迎来了难得的发展契机。
在热潮背后,产业的可持续发展,各类参与者的机会和价值点值得深思。艾瑞据此发布本篇报告,将着重分析,“ChatGPT的成功之路”、“中国类ChatGPT产业发展趋势”、“ChatGPT应用场景与生态建设”、“ChatGPT浪潮下的‘危’与‘机’”四个问题。聚焦国内市场,辨析中国自研通用基础大语言模型的重要意义、分析中国大语言模型产业参与角色分化路径及原因、梳理呈现中国大语言模型产业受益链图谱、辨析大语言模型对数字产业生态的重要价值。
当然,在大语言模型的优秀表现中也隐藏着社会各界对可信、数据与隐私安全、滥用风险、伦理等问题的疑虑。但毋庸置疑的是,大模型产业的蓬勃发展将助力AI工业化进程、变革海量应用交互方式、创造数字产业新的增长空间。从国家、企业到个体都需立足长远,迎接AIGC与通用人工智能(AGI)时代的到来。
• 讨论1:OpenAI ChatGPT的成功之路
核心观点:ChatGPT在说好“人话”上的优异表现,远远超出了大众对于一款聊天机器人的预期,也标志着通用基础大模型的落地突破。OpenAI的成功则是一场初心+资源(数据、资金、算力、人才等)加持的长期主义胜利。
ChatGPT——生成式AI里程碑
生成式AI的重大突破,通用基础大模型的胜利
相比之前的生成式对话产品,ChatGPT (Chat Generative Pre-trained Transformer )在大范围连续对话能力、生成内容质量、无极4语言理解能力和逻辑推理能力上都得到大幅提升,是生成式AI(AIGC)极为关键的发展节点。“Chat”指向它的功能,“Generative”代表它属于生成式算法。生成式算法在过去数年中受制于RNN的内生缺陷始终发展缓慢,直到2017年 “Transformer”架构出现并解决了传统RNN模型的问题,生成式AI才开始在预训练的Transformer架构之上焕发生机,NLP、CV甚至多模态领域通用基础大模型飞速演进。在模型参数量几何级数增长以及多种训练方式的探索之中,ChatGPT横空出世,也标志着通用基础大模型将突破NLP领域以小模型为主导的传统发展范式。
1.png
探秘ChatGPT的能力从何而来?
RHLF指令精调+能力涌现,让大模型说好“人话”
2.png
成功背后:秉承初心+巨量资源
不仅是多种关键要素的聚合,更突显方向与路径的重要性
ChatGPT的成功是一场初心+资源加持下的长期主义的胜利,GPT模型正是在密集烧钱策略后出现的,而ChatGPT这一明确指向商业化的产品则显然受到OpenAI从非营利向半营利转型的发展路径影响。
1687146503781594.png
1687146503135761.png
技术能否赶超ChatGPT?
存在赶超机会,但中外差距短期难以追平
与ChatGPT功能对标的大语言模型(Large Language Models, LLMs),目前国外主要有Google推出的Gopher、LaMDA以及Meta的Llama等;国内为百度首发的“文心一言”、360发布的大语言模型、阿里发布的“通义千问”、商汤发布的“商量”等。虽从对话和文本生成的直观体验看ChatGPT略胜一筹,但对于Google等国外大厂而言,克隆ChatGPT并不存在太高壁垒,当前暂时落后主要是出于公司战略与技术理念差异,选择了不同技术路线,随着各家探索成果和新技术方法的实践不断推进,仍存在对GPT系列模型赶超的可能。对百度等国内大厂而言,则在数据、算力、工程化能力等关键要素上存在短板,短期内难以对国外领先大模型实现赶超,为跟随者角色,长期更需要国内AI全产业链整体进化。