训练即将启动，和CPM-Ant一起乘风破浪！

经过多天的准备，CPM-Live第一期模型CPM-Ant的各项工作已经准备就绪，训练将于今日16:00正式启动！

▶  算力准备

CPM-Ant的算力将使用国家超级计算济南中心的计算节点，目前模型训练启动阶段将使用1台具有8块NVIDIA A100显卡的服务器，后续我们将会扩展到多台机器。感谢BMTrain（https://www.openbmb.org/toolKits/bmtrain）的高效计算和低资源占用设计，让我们能以较少的资源和成本开启训练。

- BMTrain官方页面

▶  数据准备

前期我们整理了约4TB原始数据，面对MB级别的网络带宽，我们的小伙伴挠起了头。但正如那句经典老话，“永远不要忽略一辆载满磁带的在高速公路上飞驰的卡车的带宽”，我们最终将一块满载数据的硬盘通过快递寄到了算力中心，完成了数据的上传。

▶  代码准备

CPM-Ant相关代码目前已更新至GitHub（https://github.com/OpenBMB/CPM-Live），欢迎大家观摩拍砖！

- CPM-Live GitHub页面

训练开始后，官网将实时展示训练过程中使用的GPU数、模型的吞吐量、损失值等动态数据，后续也会陆续更新更多的模型训练动态。另外，每天下午的四点左右，我们将会上传前一日的训练总结，欢迎大家前来围观。

- 启动前的训练“仪表盘”

训练即将开始，让我们一起屏息期待！如果有你任何感兴趣的话题，欢迎来到GitHub讨论区（https://github.com/OpenBMB/CPM-Live/discussions）参与讨论。此外，我们也欢迎任何组织与个人提供的算力、数据与资金等支持，如果您有意愿，欢迎联系 openbmb@gmail.com。

   关注我们

叮！你有一份大模型直播训练邀请函！