CodeShell——代码大模型

2023-10-30 • 其他

CodeShell 是多语言代码大模型，具有 70 亿参数，采用五千亿 Tokens 进行了训练，上下文窗口长度为 8192。 CodeShell 的原始训练数据基于自己爬取的 GitHub 数据、Stack 和 StarCoder 数据集，以及少量高质量的中英文数据。在权威的代码评估 Benchmark（HumanEval 与 MBPP）中，CodeShell 取得同等规模最好的性能。