查看原文
其他

大模型哪家强?OpenBMB发布BMList给你答案!

OpenBMB OpenBMB开源社区 2023-01-04



你是否知道:


  早在 2017 年,Google 就已经推出了一款 1370亿 参数的“大模型”?(基于 MoE 和 LSTM 架构)


  都说大模型训练很难,但目前已经公开发表的 10 亿以上参数大模型就已经 超过了100个 


  除了常见的英文、中文大模型,针对 法语、韩语、俄语、阿拉伯语 等语言也已经有大模型公开发布?


  大模型时代,哪些公司与机构已经争得头筹,目前拥有最多的大模型训练经验与储备?


  面对这么多的大模型,光是记住名字我们就已经晕头转向,当我们需要具体了解的时候,我们应该如何选择,并且在需要的时候快速找到相关的资源呢?



BMList 能够回答这些问题!


OpenBMB 近日于 GitHub 推出了大模型榜单 BMList。BMList 整理了公开的大模型信息,通过 大模型榜单 对大模型信息进行全面展示,并在 大模型长廊 中对模型信息进行了作图统计。两种方式让我们能够更加全面、直观地了解到当前的大模型信息,快来看看吧!






   大模型榜单



大模型榜单以多维表格形式展示大模型相关信息。这份列表具有如下特点:


  信息全面

榜单收录了大模型 发布日期、机构、语言、参数量 等信息,并提供 文档、参数、代码、API 链接


  筛选快捷

榜单支持通过 机构、语言、领域 等标签进行模型筛选,方便用户快速查看某一特定语言、特定机构、特定领域相关的模型。


  关注开源

榜单整理了大模型的 参数、代码、API 开源链接,方便用户快速查找使用并体验大模型能力。






   大模型长廊



大模型长廊中提供了大模型信息相关统计图表。通过公开信息,我们可以从中观察大模型的发展趋势并得到很多有趣的结论(分析仅限于已收录数据)。



在这张大模型趋势图中可以看出,英文文本模型仍占据主流,中文文本模型比英文文本模型出现稍晚,但在各数量级都有相应的中文文本模型推出。在图中也可以看出,2017 年最早的“大模型” Sparsely-Gate MoE,以及目前最大的 10 万亿参数模型 M6-10T



在不同组织发布的模型数量统计图中,我们可以看到 Google 一骑绝尘,推出了 20 余个大模型,Meta 和 清华大学 紧随其后。在模型数方面,国内外各组织仍大体上旗鼓相当。


而对于所有发布模型的参数量总和,我们能够发现前十名的机构中 阿里、BAAI、鹏城实验室、百度 分列第一、第三、第九、第十位,在总参数量上国内机构稍落后于国外。




   参与贡献



BMList 提供了非常简单的方式来增加新的模型。我们约定了一个简单的模型选择规则:


▶  01  模型参数需大于 10亿(即大于 1B 参数)

▶  02  模型已通过论文、博客或新闻 公开发布


参考 贡献指南



您只需要提交一份以大模型名为文件名的 yaml 文件到 big_models 文件夹即可,PR 通过后,大模型榜单和大模型长廊将会自动更新。


除了增加新模型,如果您对 数据展示形式、模型信息字段 等内容有新的想法与意见,也非常欢迎在社区提出。除此之外,由于信息来自公开渠道,榜单在收录模型与模型信息等内容上可能会不完全准确,也希望大家能够积极通过 issue 和 PR 提出宝贵意见与建议!


最后,希望 BMList 能够成为大模型时代的 “备忘录”,让我们一起见证大模型时代的进步与发展!






官方网站

https://www.openbmb.org


技术文章

高效训练工具 BMTrain BMTrain 技术原理

CPM-Live 邀请函 CPM-Live 训练启动

OpenBMB 社区介绍 大模型课程


长期开放招聘含实习

开发岗  |  研发岗  |  运营岗


交流QQ群
735930538

👏期待您的关注与加入👏



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存