概述
Llama 是由 Meta AI 开发的开源大型语言模型系列，旨在为研究人员和开发者提供高性能、可扩展的语言模型。相比 GPT 等闭源模型，Llama 的开源策略允许更多的定制和研究，是开源 LLM 领域的重要里程碑。
版本演进
- Llama 1（2023.02）：初始版本，提供 7B/13B/33B/65B 参数规模
- Llama 2（2023.07）：性能显著提升，提供 7B/13B/34B/70B 参数版本，并包含经过指令微调的 Chat 版本
- Llama 3（2024.04）：架构改进，扩展上下文长度，提供 8B/70B 版本
- Llama 3.1（2024.07）：新增 405B 参数版本，支持 128K 上下文
主要特点
- 开源：允许研究者和开发者自由使用和修改
- 高效：相比同等规模的其他模型，Llama 通常表现更好
- 指令微调：提供经过 RLHF 微调的 Chat 版本，适合对话和任务完成
- 多语言支持：主要训练于英语数据，但具备一定的多语言能力
应用场景
- 自然语言处理研究
- 对话系统开发
- 文本生成和内容创作
- 代码辅助和程序设计