6月1日，智源研究院在其主办的2021北京智源大上发布号称全球最大的超大规模智能模型“悟道2.0”，意欲打造我国人工智能战略基础设施，据介绍，“悟道2.0”模型的参数规模达到1.75万亿，是GPT-3的10倍，打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录，是目前中国首个、全球最大的万亿级模型。

　　关于“悟道2.0”的研发，智源研究院理事长张宏江认为，目前“大模型+大算力”是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义，未来将基于大模型形成类似电网的变革性AI产业基础设施。AI大模型相当于“发电厂”，将数据，也就是“燃料”，转换为智能能力，驱动各种AI应用。如果将大模型和所有的AI应用相连接，为用户提供统一的智能能力，全社会将形成一个智能能力生产和使用的网络，即“智网”。大模型就是下一个AI的基础平台，是未来AI发展的战略基础设施。

　　“悟道”超大模型智能模型旨在打造数据和知识双轮驱动的认知智能，让机器能够像人一样思考，实现超越图灵测试的机器认知能力。“悟道”团队在大规模预训练模型研发上做了很多基础性工作，形成了自主的超大规模智能模型技术创新体系，拥有从预训练理论技术到预训练工具，再到预训练模型构建和最终模型测评的完整链条，从技术上是完整成熟的。通过一系列原始创新和技术突破，本次发布的“悟道2.0”实现了“大而聪明”，具备大规模、高精度、高效率的特点。

　　全球最大万亿参数，新一代FastMoE补齐万亿模型最后一块短板

　　“悟道2.0”模型的参数规模达到1.75万亿，是GPT-3的10倍，打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录，是目前中国首个、全球最大的万亿级模型。

　　

 

　　开创性的研发FastMoE技术，是打破国外技术瓶颈，实现“万亿模型”基石的关键。“悟道”团队研究并开源的FastMoE是首个支持PyTorch框架的MoE系统，具有简单易用、灵活、高性能等特点，并且支持大规模并行训练。新一代FastMoE，支持Switch、GShard等复杂均衡策略，支持不同专家不同模型，为万亿模型实现方案补上了最后⼀块短板，让梦想终成现实。

　　“悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行的训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据，以及Pile数据集的1.2TB英文文本数据。

　　另外，“悟道2.0”模型一统文本与视觉两大阵地，支撑更多任务，更加通用化。

　　9项顶尖智能能力，创新性的通用精准智能

　　“悟道2.0”在世界公认的9项Benchmark基准测试任务上取得优异成绩，达到了精准智能。

　　1) ImageNet zero-shot SOTA在200类超过OpenAI CLIP;

　　2) LAMA知识探测：超过AutoPrompt;

　　3) LAMBADA完形填空：能力超过1.7倍参数微软Turing NLG;

　　4) SuperGLUE few-shot FewGLUE：超越GPT-3，取得当前最佳少样本学习结果;

　　5) UC Merced Land-Use zero-shot SOTA，超过OpenAI CLIP;

　　6) MS COCO文生成图：超越OpenAI的DALL·E;

　 7) MS COCO英文图文检索：超过 OpenAI CLIP 和 Google ALIGN;

　　8) MS COCO多语言图文检索：超过目前最好的多语言多模态预训练模型UC2,M3P;

　　9) Multi 30K多语言图文检索：超过目前最好的多语言多模态预训练模型UC2,M3P。

　　

 

　 “悟道2.0”的高精度来自于一系列核心技术创新。例如：

　　GLM2.0：是模型架构创新的典范，更通用的预训练模型。此前，它首次打破BERT和GPT壁垒，开创性地以单一模型兼容所有主流架构，新一代版本更是以少胜多的高性能人工智能典范，以100亿参数量，足以匹敌微软170亿参数的Turing-NLG模型，取得多项任务的更优成绩。

　 P-tuning2.0算法：极大拉近少样本学习和全监督学习的差距，少样本学习能力遥遥领先。

　　CogView：文本生成图像的新框架，克服“上下溢收敛”文图模型关键难题，将VQ-VAE和Transformer进行结合，表现SOTA(当前算法性能最优的模型)!在MS COCO FID指标上性能优于DALL·E等模型。模型可直接实现类似OpenAI CLIP模型的自评分功能，生成国画、油画、卡通画、轮廓画等多元画风。

　 目前，“悟道”模型的多项应用，在诗词创作、做对联、文本摘要、人设问答、绘画等方面，都已接近突破图灵测试，与人类一较高下!

　　 高效易用，全链路的效率提升，增强大规模智能模型产业普适性

　　大规模预训练模型的参数规模通常远超传统的专用人工智能模型，在算力资源、训练时间等方面消耗巨大。为了提升大规模预训练模型的产业普适性和易用性，悟道团队搭建高效预训练框架，在高效编码、高效模型、高效训练、高效微调和高效推理等方面进行全链路的原创突破或迭代优化，实现效率的大幅提升。

　　高效编码：研发了最高效、最抗噪的中文预训练语言模型编码，解决生僻字等问题;

　　高效模型：构建了世界首个纯非欧空间模型，只需要一半的参数量即可达到近似欧式模型的效果;

　　高效训练：世界首创大规模预训练模型融合框架，形成高效训练新模式，训练时间缩短27.3%，速度提升37.5%;

　 高效微调：世界首创多类别Prompt微调，只需训练0.001%参数即可实现下游任务适配;

　　高效推理：世界首创低资源大模型推理系统，单机单卡GPU即可以进行千亿参数规模的模型推理。

　　行业贡献，建设全球最大的语料数据库WuDaoCorpora2.0，提出自然语言评测新标准“智源指数”

　　“悟道”模型研发过程中，智源研究院建设了全球最大的语料数据库WuDaoCorpora2.0，包含全球最大的中文文本数据集、全球最大的多模态数据集、全球最大的对话数据集，为行业内大规模智能模型的研发提供了丰富的数据支撑。

　　另外，智源研究院提出“智源指数”，构建以人类语言能力为参照、全面系统的针对机器语言能力进行评测的体系。“智源指数”首次提出了基于“能力-任务-数据集”层次结构的机器语言评测体系及评测方案，包含6种主要语言能力，30余项主流任务与相关数据集，同时也是首次基于信度、难度、效度等指标进行评价的高质量评测数据集合，形成了大模型“权威考卷。