2021年4月25日,在华为开发者大会(Cloud)上,华为云发布了盘古系列超大规模预训练模型。盘古大模型由NLP大模型、CV大模型、多模态大模型、科学计算大模型等多个大模型构成。2019年,盘古大模型在权威的中文语言理解评测基准CLUE榜单中,盘古NLP大模型在总排行榜及分类、阅读理解单项均排名第一,刷新三项榜单世界历史纪录;总排行榜得分83.046。
盘古大模型由 NLP 大模型、CV 大模型、多模态大模型、科学计算大模型等多个大模型构成,通过模型泛化,解决传统 AI 作坊式开发模式下不能解决的 AI 规模化、产业化难题,可以支持多种自然语言处理任务,包括文本生成、文本分类、问答系统等等。
具体来看,盘古 NLP 大模型首次使用 Encoder-Decoder 架构,兼顾 NLP 大模型的理解能力和生成能力,保证了模型在不同系统中的嵌入灵活性。下游应用中,仅需少量样本和可学习参数即可完成千亿规模大模型的快速微调和下游适配,这一模型在智能舆论以及智能营销方面都有不错的表现。
盘古 CV 大模型是首次实现模型按需抽取的业界最大 CV 大模型,首次实现兼顾判别与生成能力,基于模型大小和运行速度需求,自适应抽取不同规模模型,AI 应用开发快速落地。使用层次化语义对齐和语义调整算法,在浅层特征上获得了更好的可分离性,使小样本学习的能力获得了显著提升,达到业界第一,这一模型在智能巡检以及智慧物流方面有不错的表现。
华为盘古大模型已经在金融、气象、工业等多个领域落地应用。
盘古气象大模型提供秒级天气预报,借助创新的 3DEST 网络结构以及分层时间聚合算法,在气象预报的关键要素和常用时间范围上精度均超过当前最先进的预报方法,速度相比传统方法提升 1000 倍以上。同时,盘古气象大模型支持广泛的下游预报方案,如在台风路径预测任务上,相比传统数值气象预报方法,盘古气象大模型可以降低 20% 以上的位置误差。
华为盘古大模型产业链环节众多:华为盘古大模型基于昇腾计算产业生态,产业链和昇腾生态产业链重合,主要分为应用软件伙伴、IHV硬件伙伴、整机硬件伙伴、一体机解决方案伙伴、辅助运营伙伴。