允中 只想说 凹非寺

量子位 | 微信公众号 QbitAI

王小川的全新初创公司百州智能化，刚上线了70 亿计算复杂度的中英预训练大模型——baichuan-7B。

baichuan-7B不但在C-Eval、AGIEval和Gaokao中文权威性评测排行榜上，以独特优势全方位超过ChatGLM-6B等其它大模型，而且在MMLU英语权威性评测排行榜上，大幅度领跑LLaMA-7B。

现阶段baichuan-7B大模型已经在Hugging Face、Github及其Model Scope网站发布。

开源详细地址：Hugging Face：https://huggingface.co/baichuan-inc/baichuan-7BGithub：https://github.com/baichuan-inc/baichuan-7BModel Scope：https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary

好几个最有影响力的中文评定标准7B最好

为了能认证模型的各种水平，baichuan-7B在C-Eval、AGIEval和Gaokao三个最具影响力中文评定标准展开了综合评定，而且均获得了优异的成绩，它成为了同样主要参数经营规模下中文主要表现最出色原生态预训练模型。

在中文C-EVAL的评测中，baichuan-7B的综合得分达到42.8分，超过ChatGLM-6B的38.9分，可能比一些主要参数经营规模更多的模型还需要优异。

https://cevalbenchmark.com/static/leaderboard_zh.html (时间是在2023-06-15)

C-Eval评测标准由上海交大、清华及其爱丁堡学校协同建立，主要面向中文语言表达模型的综合考试评测集，覆盖52个来自各式各样业务领域的科目。

在AGIEval的评测里，baichuan-7B综合得分做到34.4分，远高于LLaMa-7B、Falcon-7B、Bloom-7B及其ChatGLM-6B等其它开源模型。

AGIEval评测标准由微软研究院进行，致力于全方位评定基本模型在人们认知问题改进有关每日任务里的水平，包括了我国的高考、国家司法考试，及美国的SAT、LSAT、GRE和GMAT等20个公布且科学严谨官方网入校和从业资格考试。

在GAOKAO评测中，baichuan-7B的综合得分达到36.2分，明显技术领先同参数体量的各种各样别的预训练模型。

GAOKAO评测标准是上海复旦大学科学研究团队创建的评测架构，以美国高考试题做为数据，用以检测大模型在中文语言逻辑和逻辑分析能力上的表现。

MMLU英语评定标准主要表现大幅度领跑LLaMA-7B

baichuan-7B不但在中文层面表现优秀，在英语上呈现一样醒目。在MMLU的评测中baichuan-7B综合得分达到42.5分，大幅度领跑英语开源预训练模型LLaMA-7B的34.2分及其中文开源模型ChatGLM-6B的36.9分。

MMLU由加州大学伯克利分校等知名院校携手共建，汇集了科学合理、工程项目、数学课、历史人文、人文科学等方面的57门科目，主要任务应该是模型的英文翻译交叉学科专业技能进行全方位检测。内容普遍，从初中级水准一直包含到高端专业能力。

万亿元高品质数据信息、4K前后文对话框、高效率平稳训练铸就领跑7B预训练模型

训练语料库对于模型的训练结论尤为重要。在建立预训练词库层面，百州智能化以高品质中文语料库为载体，与此同时融入了高质量的英语数据信息。在基础数据领域，根据品质模型进行数据评分，对原始记录集开展章节级语句级精准挑选；在内容多元性层面，运用自主研发集成电路工艺部分比较敏感hach聚类算法系统及词义聚类算法系统软件，进行数据了多层面多粒度的聚类算法，最后打造了包括1.2万亿元token的兼具质量与多元化的预训练数据信息。相比于其他同参数体量的开源中文预训练模型，信息量提升了超出50%。

在万亿元高品质中英数据信息的前提下，为了方便提高训练高效率，baichuan-7B深层融合了模型算法来加速测算步骤，并对每日任务负荷和集群配置，响应式改善了模型并行处理对策及其重测算对策。根据高效率的训练全过程生产调度通讯，baichuan-7B很好地完成了测算与通讯高效重合，从而达到了超线性的训练加快，在大卡集群式上训练吞吐量做到180 Tflops的业内领先地位。

与此同时，现有的开源模型对话框长短在2K之内，对于一些长文本模型每日任务，如果需要引进外界专业知识做检索强化的情景，比较长的解决长短有利于模型在训练与逻辑推理环节捕捉越多上下文信息，2K的处理方法长短存有较大的牵制。baichuan-7B根据高效率的attention算法提升完成了万等级较长动态性窗口扩大水平，此次开源的预训练模型免费了4K前后文对话框，使模型应用领域更为广泛。

除此之外，baichuan-7B也对模型训练程序进行了深层提升，使用了更全面且相对稳定的训练流程及超参挑选，促使 baichuan-7B模型的收敛速度大大提高。与同样主要参数体量的模型对比，baichuan-7B在困惑度（PPL）和训练损害（training loss）等关键性能指标上主要表现更加出色。

完全免费可商用，重点大学首先应用助推科学研究

秉持着开源精神实质，baichuan-7B编码选用Apache-2.0协议书，模型权重值使用了免费商用协议书，仅需进行系统的备案就可以免费商用。

baichuan-7B本次开源内容十分丰富，包括了逻辑推理编码、INT4量化分析完成、调整编码，及其预训练模型权重。

在其中，调整编码方便大家对模型作出调整和改进；逻辑推理编码与INT4量化分析完成则有利于开发人员降低成本地开展模型部署与应用；预训练模型权重值开源后，客户则可以直接用预训练模型进行相应的实验分析。

据统计，北大和清华两家顶级大学已最先应用baichuan-7B模型推动有关研究工作中，并计划不久的将来与百州智能化深度合作，共同推进baichuan-7B模型的使用与发展。

清华互联网技术司法部门科学研究院、计算机专业专家教授刘奕群觉得， baichuan-7B模型在中文里的实际效果主要表现十分出色，它免费商用的开源方法展示出对外开放的心态，不但奉献小区，也促进技术发展趋势。公司计划根据baichuan-7B模型进行司法部门人工智能行业的有关研究。

北大人工智能研究院终身教授杨耀东觉得，baichuan-7B模型的开源将针对中文基础语言模型的生态文明建设及科学研究造成关键促进作用，并且他表明将持续关注相关行业探寻，而且在中文大语言表达模型的安全两端对齐上进行进一步深入分析。

百州智能化CEO王小川表明：“此次开源模型的出台是百州智能化创立2个月后的第一个里程碑式，对百州智能化来说是一个良好的开场。baichuan-7B模型，不但能为中国的AGI工作贡献力量，又为世界大模型开源小区奉献了新的力量。”

— 完 —

量子位 QbitAI · 今日头条号签

关注自己，第一时间得知前沿技术动态性