Meta 的 Llama 3.1 405B 是什么？它的工作原理、用例等等
Posted: Sun Jan 12, 2025 6:09 am
2024 年 7 月 23 日星期二，Meta 宣布推出 Llama 3.1，这是其Llama 系列大型语言模型 (LLM) 的最新版本。
虽然对 Llama 3 模型进行了小幅更新，但它引入了Llama 3.1 405B ：一个 4050 亿个参数的模型，是迄今为止世界上最大的开源 LLM，超过了 NVIDIA 的Nemotron-4-340B-Instruct。
实验评估表明，它在多项任务中可与GPT-4、GPT-4o和Claude 3.5 Sonnet等领先模型相媲美。
然而，随着Mistral和Falcon等竞争对手选择较小的模型，人们对大型开放式法学硕士在当前形势下的相关性提出了质疑。
请继续阅读我们的观点以及有关 Llama 生态系统更新的信息。
什么是美洲驼 3.1 405B？
Llama 3.1 是 Llama 3（ 2024 年 4 月发布）的及时更新。 Llama 3.1 405B 是该模 律师数据 型的旗舰版本，顾名思义，它拥有 4050 亿个参数。
Llama 3.1 提供三种型号尺寸：8B、70B 和 405B
资料来源：Meta AI
LMSys Chatbot Arena 分类中的 Llama3.1 405B
拥有 4050 亿个参数，使其在LMSys Chatbot Arena 排行榜上争夺较高的位置，这是一项通过盲选用户投票得出的性能指标。
近几个月来，第一名的位置在 OpenAI GPT-4、 Claude Anthropo 3和 Google Gemini的版本之间交替。目前，GPT-4o 占据桂冠，但较小的 Claude 3.5 Sonnet 排名第二，而即将推出的 Claude 3.5 Opus 如果能够在 OpenAI 更新 GPT-4o 之前上市，它很可能会占据榜首。
这意味着高端市场的竞争非常激烈，看看 Llama 3.1 405B 如何与这些竞争对手竞争将会很有趣。当我们等待 Llama 3.1 405B 出现在排行榜上时，本文后面会提供一些对比测试。
多语言能力
从 Llama 3 到 Llama 3.1 的主要更新是更好地支持英语以外的语言。 Llama 3 的训练数据是 95% 英语，因此它在其他语言上的表现很差。更新 3.1 提供对德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语的支持。
更长的上下文
Llama 3 模型有一个上下文窗口（可以一次推理的文本量），包含 8,000 个标记（约 6,000 个单词）。 Llama 3.1 使其达到了更现代的数字：128,000，使其与其他最先进的法学硕士具有竞争力。
这解决了 Llama 家族的一个主要弱点。对于总结长文档、从大型代码库生成涉及上下文的代码或扩展支持聊天机器人对话等业务用例，可以存储数百页文本的长上下文窗口至关重要。
开放式许可协议
Llama 3.1 模型可根据 Meta 的定制开放模型许可协议获得。这种宽松的许可证使研究人员、开发人员和公司可以自由地将模型用于研究和商业应用。
虽然对 Llama 3 模型进行了小幅更新，但它引入了Llama 3.1 405B ：一个 4050 亿个参数的模型，是迄今为止世界上最大的开源 LLM，超过了 NVIDIA 的Nemotron-4-340B-Instruct。
实验评估表明，它在多项任务中可与GPT-4、GPT-4o和Claude 3.5 Sonnet等领先模型相媲美。
然而，随着Mistral和Falcon等竞争对手选择较小的模型，人们对大型开放式法学硕士在当前形势下的相关性提出了质疑。
请继续阅读我们的观点以及有关 Llama 生态系统更新的信息。
什么是美洲驼 3.1 405B？
Llama 3.1 是 Llama 3（ 2024 年 4 月发布）的及时更新。 Llama 3.1 405B 是该模 律师数据 型的旗舰版本，顾名思义，它拥有 4050 亿个参数。
Llama 3.1 提供三种型号尺寸：8B、70B 和 405B
资料来源：Meta AI
LMSys Chatbot Arena 分类中的 Llama3.1 405B
拥有 4050 亿个参数，使其在LMSys Chatbot Arena 排行榜上争夺较高的位置，这是一项通过盲选用户投票得出的性能指标。
近几个月来，第一名的位置在 OpenAI GPT-4、 Claude Anthropo 3和 Google Gemini的版本之间交替。目前，GPT-4o 占据桂冠，但较小的 Claude 3.5 Sonnet 排名第二，而即将推出的 Claude 3.5 Opus 如果能够在 OpenAI 更新 GPT-4o 之前上市，它很可能会占据榜首。
这意味着高端市场的竞争非常激烈，看看 Llama 3.1 405B 如何与这些竞争对手竞争将会很有趣。当我们等待 Llama 3.1 405B 出现在排行榜上时，本文后面会提供一些对比测试。
多语言能力
从 Llama 3 到 Llama 3.1 的主要更新是更好地支持英语以外的语言。 Llama 3 的训练数据是 95% 英语，因此它在其他语言上的表现很差。更新 3.1 提供对德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语的支持。
更长的上下文
Llama 3 模型有一个上下文窗口（可以一次推理的文本量），包含 8,000 个标记（约 6,000 个单词）。 Llama 3.1 使其达到了更现代的数字：128,000，使其与其他最先进的法学硕士具有竞争力。
这解决了 Llama 家族的一个主要弱点。对于总结长文档、从大型代码库生成涉及上下文的代码或扩展支持聊天机器人对话等业务用例，可以存储数百页文本的长上下文窗口至关重要。
开放式许可协议
Llama 3.1 模型可根据 Meta 的定制开放模型许可协议获得。这种宽松的许可证使研究人员、开发人员和公司可以自由地将模型用于研究和商业应用。