今天分享的是AIGC系列深度研究报告：《AIGC专题：生成式人工智能治理与实践白皮书》。
（报告出品方：阿里巴巴）
报告共计：96页
海量/完整电子版/报告下载方式：公众号《人工智能学派》
1.1 文生文突飞猛进
2022年 11月30日，0penA!发布了对话式通用人工智能服务 ChatGPT。仅推出5天，用户数就超过 100万;上线两个月后，用户数突破1亿，成为A界的顶流。ChatGPT能遵循人类指令完成各种认知型任务，包括交互对话、文本生成、实体提取、情感分析、机器翻译、智能问答、代码生成、代码纠错等，并且展现出了和人类近似的水平。2023年3月15日，GPT-4发布，在知识推理以及在逻辑运算方面有大幅提升，还支持多模态输入，进一步扩展了应用场景。
ChatGPT成功背后的技术突破主要有以下三个方面:
(1)超大规模参数的预训练语言模型
为了使模型具备通用的能力，必须学习到世界知识，这要求模型具有足够大的参数量来存储海量的世界知识。GPT-3.5 的模型参数已经达到 1750 亿的规模。随着模型参数量的扩大，语言模型还出现能力涌现的现象，例如上下文学习(In-context Learning)，以及思维链(Chain Of Thought)等推理能力。
(2)多任务的自然语言预训练模型
自然语言处理任务包括问答、机器翻译、阅读理解、摘要、实体抽取等，之前的学术研究都在特定的任务下进行针对性的算法设计，迁移性差。而 ChatGPT 采用了多任务预训练的方式，不同任务共享模型参数。这使得模型具有通用能力，下游任务不再需要微调，直接通过提示学习或者零样本学习就具有很强的性能。
(3)基于人工反馈机制的强化学习
OpenAl通过引入指令微调以及基于强化学习的微调技术，提升模型和人类的价值观对齐。具体来看，指令微调技术使语言模型得以支持用户以人类惯常的沟通方式，与模型进行互动并推动模型能力的提升。同时，通过反馈和标注数据，借助强化学习进行微调，从而确保模型具备正确的价值观。