雅意LLaMA-2中文调优开源模型来了！HuggingFace和Github可下载

2023年08月08日
企业资讯
中科闻歌“雅意”大模型已开源基于 LLaMA-2 的中文优化模型版本 ，探索适用于中文多领域任务的最新实践。目前7B及13B两个版本已在HuggingFace、GitHub平台开源，向行业开发者开放。

模型下载地址


GitHub


HuggingFace

13B版本 7B版本



雅意大模型通过真实场景人类反馈数据进行数据分布采样，数据涵盖通用任务指令数据、多轮对话数据、多领域分析任务数据、安全增强数据等。模型基于 DeepSpeed ZeRO 技术与 Huggingface Trainer 进行多机多卡分布式全参数指令微调，并基于 pagedAttention 等技术实现高效并行推理。

与初代雅意大模型相比，雅意大模型（LLaMa-2版本）具有如下优势：

1、更强大的性能： 效果评测显示，雅意大模型在基础能力、领域能力及安全性方面，较之前均有更优表现。模型推理速度比初代提升7-10倍，上下文窗口大小由2k提升至4k，能够支持更多轮次的对话。在HuggingFace Open LLM Leaderboard中，平均得分54.4。

HuggingFace大语言模型排行榜


2、更加安全可控： 雅意大模型针对偏见性、违法犯罪、道德伦理、指令攻击、反向诱导等11项安全场景进行了升级，安全性、可控性大幅提升。HuggingFace Open LLM Leaderboard中，雅意TruthfulQA得分相较于Meta LLaMa-2 提升13.4% 。


欢迎投递： zhaopin@wenge.com

分享到：

分享到微信

用微信扫描下方二维码，即可分享此文章