可能是最强的开源代码大模型！深度求索发布 DeepSeek Coder

成立半年后，DeepSeek 带着代码大模型与大家见面了。免费商用，完全开源。

进入 DeepSeek Coder 对话界面，输入：用 Python 写一个贪吃蛇游戏，随着屏幕快速输出跳跃的代码，一段可直接运行的游戏代码即可生成：

贪吃蛇太简单了？两轮交互，指挥 DeepSeek Coder 修改 UI，轻松写出更难的 2048 游戏：

作为代码助手，如果只会写游戏那未免也太局限了。DeepSeek Coder 还能生成测试样例：

DeepSeek Coder 修 bug 同样是一把好手，从此告别恼人的内存泄露：

作为数据分析的好帮手，学写 SQL 也是必备技能：

你还可以从 LeetCode 挑选任意一个周赛题，让 DeepSeek Coder 帮你冲击 No.1：

目前，DeepSeek Coder 已经开放内测。

访问 coder.deepseek.com 或者扫描以下二维码，立即抢先使用。

DeepSeek Coder 已开源 1B，7B，33B 全系列模型，包含 Base 模型和指令调优模型。

Hugging Face 首页：

https://huggingface.co/deepseek-ai

GitHub 仓库：

https://github.com/deepseek-ai/DeepSeek-Coder

在国际权威数据集 HumanEval 编程多语言测试上，DeepSeek Coder 在各个语言上的表现都领先已有的开源模型。

图2：Multilingual HumanEval 测评

与之前最好的开源大模型 CodeLlama 相比，DeepSeek Coder 在代码生成任务上（使用标准数据集 HumanEval、MBPP 和 DS-1000 进行评测）分别领先 9.3%、10.8% 和 5.9%。其中 DeepSeek Coder 的 70 亿参数版本在代码能力上达到了 CodeLlama 的 340 亿参数水平。经过指令调优后的 DeepSeek Coder 模型更是全面超越了 GPT3.5-Turbo。

图3：代码生成测评

除了代码能力以外，DeepSeek Coder 也展现了极强的数学和推理能力。不通过任何指令微调，DeepSeek Coder 在数学推理评测上展现了极佳的性能。

图4：基于程序的数学推理能力测评

数据处理

步骤1：从 GitHub 收集代码数据，并利用过滤规则高效地筛选数据。

步骤2：解析同一项目中代码文件之间的依赖关系，根据它们的依赖关系重新排列文件位置。

步骤3：组织依赖文件，并使用项目级别的 minhash 算法进行去重。

步骤4：进一步过滤掉低质量的代码，例如语法错误或可读性差的代码。

图5：数据处理流程

模型训练

步骤1：使用 4K 的窗口大小在 1.8 万亿单词上进行模型的预训练。

步骤2：使用 16K 的窗口在 2 千亿单词进一步进行预训练，从而得到基础版本模型（DeepSeek-Coder-Base）。

步骤3：使用 20 亿单词的指令数据进行微调，得到经过指令调优的模型（DeepSeek-Coder-Instruct）。

DeepSeek 致力于探索 AGI 的本质，不做中庸的事，带着好奇心，用最长期的眼光去回答最大的问题。

DeepSeek Coder 是深度求索发布的第一代大模型，在不久的将来，我们还将呈现给社区更多更好的研究成果。让我们在这个激动人心的时代，共同推进 AGI 的到来！