查看原文
其他

开源引擎GTS乾坤鼎:自动生产模型拿下FewCLUE榜单冠军

机器之心 2022-11-20

机器之心发布

机器之心编辑部


在自然语言处理(NLP)领域,基于 Transformer 结构的预训练语言模型展示出了强大的语言理解能力,在各类 NLP 任务上都取得了巨大突破。


然而,在众多真实的业务场景中,有标注的数据是往往是严重稀缺的,而相关数据的获取和标注需要大量的人力和专家知识的投入。因此,小样本学习的研究已经成为业界的热点之一。


针对这一问题,IDEA 研究院认知计算与自然语言研究中心(下面简称 IDEA CCNL)研发了模型生产工具 GTS 乾坤鼎引擎以及 GTSfactory 模型自动生产平台,其基于封神榜开源模型体系,提出了首创的 GTS(Generator-Teacher-Student)训练体系,通过「用 AI 生产 AI」的方式,以自动化生产的模型在中文语言理解权威评测基准 FewCLUE 榜单上分别取得了第一名及第三名的好成绩。


FewCLUE 是中文语言理解权威评测 CLUE 的子榜,旨在探索小样本学习的最佳实践,先后吸引了包括百度、腾讯微信、美团、网易、奇点智源和浪潮人工智能研究院等工业界和学术界顶尖机构的参与。GTS 系列产品的这一次登顶,也预示着其模型自动化生产技术已经达到了顶尖的算法专家水平。


其中,GTS 乾坤鼎在 EPRSTMT(电商评论情感二分类)任务中超过了其他算法专家生产的模型,同时也刷新了 BUSTM(句子对相似度判断)任务的记录;而 GTSfactory 自动生产出的 1.1 亿参数的小模型在总分和单项任务中均接近算法专家的最好水平,这也是 FewCLUE 榜单中 TOP10 里模型参数最小的模型。


IDEA CCNL 目前已经开源 GTS 乾坤鼎(https://github.com/IDEA-CCNL/GTS-Engine),也将逐步开源 GTSfactory,让更多的人可以参与到 GTS 训练体系中来,将 IDEA-CCNL 坚持的「用 AI 生产 AI」的理念传播开来。

 


GTS 乾坤鼎登顶 fewCLUE,GTSfactory 达到算法专家水平


GTS 系列产品专注于研究在不同模型参数规模下的小样本 NLU 任务模型自动生产,其中,GTS 乾坤鼎引擎利用 13 亿参数规模的 Erlangshen-BERT 进行训练,而 GTSfactory 模型自动生产平台则搭建了 Generator(参数量几十亿及以上的生成模型)、Teacher(参数量 10 亿以上的大模型)及 Student(参数量 1 亿小模型)协同训练的体系,最终生产出可以落地部署的轻量级小模型。


在「GTS」训练体系的加持下,GTS 乾坤鼎通过自动化训练的方式,在没有模型集成的情况下,凭借单一模型登顶 FewCLUE,真的有点「鼎」。其中,EPRSTMT(电商评论情感二分类) 任务中取得了 90.04 分,超过曾经的第一 90.0 分,并刷新了该项任务的最高记录;BUSTM(句子相似度判断)任务中取得了 84.4 分,大幅度刷新了该项任务的最好成绩,其他几项任务也与 SOTA 接近,可以想象一下,如果在离线数据处理场景中使用 GTS 乾坤鼎自动化训练出的模型,那对于数据处理效率上的提升该有多么「鼎」。


GTS 乾坤鼎引擎致力于提供开箱即用的自然语言任务的处理能力,让你仅仅调用不到十行代码,即可低成本地训练出效果强大的模型。据介绍,GTS-Engine 未来将逐步开源全部的训练能力。


Github:https://github.com/IDEA-CCNL/GTS-Engine



如果说 GTS 乾坤鼎生产的 13 亿参数的大模型代表了小样本下的性能巅峰,那么 GTSfactory 生产的 1.1 亿参数的小模型则可能在开创小样本下的应用巅峰。在没有模型集成的情况下,GTSfactory 产出的单一小模型以 1.1 亿参数量取得了 FewCLUE 榜单第三名的成绩,超越一众参数量 10 亿、几十亿的重量级大模型,这说明在 Few-shot 场景下,GTS 训练体系产出的小模型可以兼具高性能及快速推理的能力。


传统的 AI 模型开发模式,一般是「一人负责一个模型」,一个算法工程师负责数据标注、算法尝试和调优、模型评估整个链路的工作,不但耗时耗力,生产的 AI 模型的效果还因算法工程师的水平而异。GTSfactory 平台的出现打破了这一桎梏,设想一下,当你需要进行实时意图识别时,你只需要提供几十条标注数据 + 几小时的训练等待时间,便可以在平台上获取一个性能相当优异的小参数量 AI 模型,业务的生产力将得到极大的释放。正如汽车工业中流水线的进步一样,GTS 打造了 AI 行业的模型自动化生产线,AI 生产工业化时代即将到来。

 


GTSfactory(gtsfactory.com)当前处于「免费公测」阶段,还有什么问题是免费 GPU 算力解决不了的呢?GTSfactory 背后的 GTS 八卦炉引擎,也将逐步开源所有的训练能力,这样本地也可以一键启动「炼丹」啦~

 


如何理解 GTS 训练体系?GTS 又如何实现「用 AI 生产 AI」?


首创的「GTS 训练体系」以模型间能力的传递为核心,依托于大模型的强大 NLU 能力,相较于传统基于 NAS 的自动化训练模式,可以极大地减少算力的消耗同时保持模型的性能。


具体的,GTS 训练体系在训练过程中会用到几十亿参数的生成模型 Generator,13 亿参数量及以上的 NLU 大模型 Teacher,最终将 Generator 及 Teacher 的大模型能力转化到 1 亿参数的小模型 Student 中。


在大模型能力的转化过程中,GTS 训练体系融合了「Collaborative Learning」、「Meta Learning」、「Self-Training」、「Prompt」等多种学习范式,开发者将 GTS 训练体系管道化、模块化,实现「N 个算法工程师」共建一个训练体系的算法开发模式,真正的构筑成了一种物理意义上的训练系统。因此,GTS 训练体系,从系统的角度去解读 G、T、S,又可以变为「General Training as a System」。

 


GTS 训练体系下,Generator 扮演了「存储 + 计算」一体的知识库这样的角色,源源不断地输出下游任务需要的数据,而 Teacher 则是扮演「数据校验」的角色,辅助 Generator 对生成数据进行校验;最终,Student 进一步整合来自 Generator 和 Teacher 的大模型能力。在整个能力传递的过程中,本质上是一个 AI 模型将能力传递到另一个 AI 模型,因此也类似于 AI 模型间的「教学」,这也即是 GTS 训练体系「用 AI 生产 AI」理念的由来。


GTS 乾坤鼎引擎技术揭秘


在 13 亿参数规模的大模型上进行训练,关键在于如何提升模型在小样本数据下的泛化能力。GTS-Engine 主要使用了以下几种关键的技术:


1.有监督预训练


它收集了百万级别带有标签的文本数据,并通过开源的中文概念图谱进行多标签层级的扩充,构造了一个涵盖所有主题的有监督分类数据集,利用这一规模庞大的数据集进行了有监督预训练,主要用于解决主题分类的任务。IDEA 研究院已经在 huggingface 上开源了模型。


2.新的学习范式


GTS-Engine 使用 UniMC(https://arxiv.org/abs/2210.08590)作为学习范式。UniMC 同样也是 IDEA-CNNL 提出的统一 NLU 学习范式,发表在了 EMNLP2022 会议上。它不仅在零样本 NLU 任务上表现优异,在小样本任务上同样效果卓越,在自然语言蕴含和句子对相似任务上,它使用这一范式进行微调。

 


3.检索增强


GTS-Engine 利用训练数据集构造了一个索引,通过编码器获得的句子向量作为索引的 key,标签作为索引的 value。通过 kNN 的方式对索引进行检索,把 kNN 预测的概率和分类器预测的概率进行插值作为最后的分类概率输出。同时,它也可以利用 TCBert 对句子编码器和分类器进行同时训练,进一步提高性能。


4.数据增强


GTS-Engine 使用 Masking、Dropout、Mixup 等方式进行数据增强,其中 Mixup 通过对输入数据进行简单的线性变换,构造新的组合样本和组合标签,可以增强模型的泛化能力。同时,它也引入了 R-Drop 对同一个句子做两次 Dropout,并且强制由 Dropout 生成的不同子模型的输出概率保持一致,使得模型更具有泛化性。


5.对比学习


GTS-Engine 使用 batch 内样本构造正负例,加入对比损失来训练模型。更进一步地,它也引入了 kNN 对同一个 batch 内的样本进行正负例的扩充,让对比学习能看到更多更丰富的语义,这也进一步提升了效果。


6. 系统化


最后,作者将上述提到的技术,通过训练流水线的方式有机地结合在一起,并加入 Self Training 驱动各个技术间的训练和融合,最终产出一个 13 亿级别参数的大模型。


IDEA 研究院已将部分训练细节进行了开源,GTS 乾坤鼎引擎后续将会逐步更新,将全部的模型生产能力全部开源,让你仅编写不到十行 Python 即可生产最好的 NLU 模型。


GTSfactory 技术揭秘


GTSfactory 的目标是生产出轻量化、可自由部署、高性能的小模型,从算法角度,可以分成离线算法和在线算法。


1.模型离线预训练技术:


A.基于 Meta Learning 的线下大规模有监督数据预训练

B.基于全词 MLM 的线下特定领域数据的无监督预训练 Domain Adaptive Pretraining


2.模型在线训练技术:


A.基于文本检索系统的任务相关预训练 Task Adaptive Pretraining

B.基于 3D 信息对齐的多模型协同训练

C.深度改造的 Prompt Learning

D.Self-Training / 伪标签等半监督技术的运用

E.RDrop、KNN、多任务学习、自适应模型验证等众多 Trick 的整合


小结


GTS 训练体系瞄准当前 AI 产业界的两大痛点:1)数据少、2)人力贵,类似于福特 1913 年发明的汽车生产流水线,IDEA CCNL 希望 GTS 训练体系成为「用 AI 生产 AI」的模型生产线,后续 GTS 训练体系还会纳入更多的 NLP 及多模态任务,如信息抽取、摘要、AIGC 等,为 AI 产业化贡献力量。GTS 系列产品面向更广泛的使用者,能够更快地接入业务轨道,节省硬件、软件、人力等成本,在激烈的市场竞争中,为千百万个尚在萌芽阶段的 ideas 抢救出更多的成长时间。


「让机器拥有与人一样的认知能力」,是一个非常高远的目标,等到它实现并掀起下一次人工智能浪潮,也许时间已经过去了许久。但正是每一次小小的进步,每一次手舞足蹈着宣布的「idea」,坚定地牵引着那一天的到来。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存