腾讯科技讯(苏扬)1 月 29 日,王小川旗下百川智能发布首个超千亿参数大语言模型 Baichuan3,主打中文能力尤其是在医疗领域中文方面的提升。
公开资料显示,百川智能基于 "RLHF(基于人类反馈的强化学习)、RLAIF(基于 AI 反馈的强化学习)以及迭代式强化学习方法,Baichuan3 强化了对中文的理解,尤其是诗词歌赋的创作能力。

*Baichuan3 中文医疗相关诗词生成演示
官方提供的数据显示,Baichuan3 在多个权威通用能力评测如 CMMLU、GAOKAO 和 AGI-eval 中,表现都优于 GPT-4。

*Baichuan3 与 GPT-4 通用能力基准测试对比
到目前为止,OpenAI、谷歌等头部大模型企业都将医疗作为模型的重点训练方向和性能评价的重要体系。
大模型在医疗领域的优点在于,多模态学习能力能够整合文本、影像、声音等多种类型的医疗数据,深层推理能力有助于复杂医疗决策的制定,而稳定的性能和知识更新能力确保了医疗建议的可靠性和时效性,同时还具备处理专业术语和复杂句式,也支持从复杂的医疗数据中学习和识别出重要的模式和特征。
优点众多,但也要求大模型具备丰富的医疗知识、合适的 prompt,以及模型本身的逻辑推理能力。

*Baichuan3 与 GPT3.5,GPT-4 等权威医疗评测对比
百川智能强调称,Baichuan3 在对逻辑推理能力及专业性要求极高的 MCMLE、MedExam、CMExam 等权威医疗评测上的中文效果同样超过了 GPT-4。
据百川智能介绍,为了给 Baichuan3 注入丰富的医疗知识,官方在模型预训练阶段构建了超过千亿 Token 的医疗数据集,包括医学研究文献、真实的电子病历资料、医学领域的专业书籍和知识库资源、针对医疗问题的问答资料等。数据集涵盖了从理论到实际操作,从基础理论到临床应用等各个方面的医学知识。





