掌握Ollama中的上下文：你需要知道的

Click HERE to read the original article in English.

理解AI模型中的上下文大小

“上下文主要是你模型对你之前互动的记忆，但它也是模型回答你下一个问题的空间。” — Matt Williams

适当地利用上下文大小可以显著影响你与AI模型（如Ollama）的互动。然而，上下文大小对于新用户和经验丰富的用户来说可能是一个复杂的概念。本指南将探讨上下文大小在AI领域的含义，如何确定限制，调整设置，以及为什么上下文并不总是越大越好。

什么是上下文大小？

在核心层面，AI模型中的上下文大小决定了模型对过去互动的“记忆”以及为新的查询和响应提供的空间。在Ollama中，上下文不是用字或字符来衡量的，而是用tokens来计算。一个token可以是一个完整的单词，也可以只是其一部分。例如，简单的单词“is”包含一个token，而复杂的单词“Rhinoceros”可能被分为四个tokens。

较大的上下文大小意味着模型可以记住更多的过去信息或生成更全面的响应。这个大小受到模型架构和运行AI的硬件能力的限制。

上下文大小的重要性

• 对过去互动的记忆：使模型能够记住先前的问题和回答。
• 新查询的空间：指定在单次互动中可以处理的新信息量。

“上下文决定了模型将记住的所有内容，以及模型可以生成的所有内容。”

token数量及其运作方式

为了解释清楚，考虑一个上下文大小为2048 tokens；这个容量大致相当于1350个单词。这一限制在模型可以保持的记忆和可以生成的响应方面起着至关重要的作用。

查找上下文限制

在Ollama中，标准上下文大小为2048 tokens。对于特定模型，尤其是嵌入模型，上下文大小可能会有所不同。要确定模型的上下文大小：

1. 架构元数据：查看模型架构的元数据。例如，版本Llama 3.2可能支持理论最大上下文大小为128k tokens。
2. 参数：如果numctx参数可见，则上下文大小默认为2048 tokens。

开发者可以重写这些默认设置以增加上下文，只要系统内存允许。然而，较大的上下文大小会显著增加内存需求，使高效的内存管理变得至关重要。

在Ollama中调整上下文大小

• 使用REPL：set numctx131072在运行Llama 3.2时将上下文调整为128k。
• API选项：通过聊天或生成端点修改上下文。
• 模型文件：创建一个新模型文件，指定numctx131072等参数。

为什么不最大化上下文？

最大化上下文大小可能看起来很有吸引力，但有诸多缺点：

• 内存限制：增加的上下文大小会消耗更多的系统内存，可能导致不可预测的行为或处理缓慢。
• 处理延迟：较大的上下文需要更长的上传和处理时间。
• 潜在的信息损失：模型可能专注于开头和结尾，而忽视中间部分的重要细节。

“模型往往记住开头和结尾，却忘记了中间的很多内容。”

高效上下文管理的实用技巧

1. 逐步增加上下文：从8k开始逐步增加上下文，然后逐渐达到16k、32k。
2. 使用相关信息：大量的上下文支持并不意味着需要使用所有可用空间。相反，只提供必要的信息。
3. 实施基于相关性的输入：使用RAG（检索增强生成）技术，可以确保仅将相关细节发送到模型。

提升用户体验

1. 使用缓存：虽然各个服务可能称呼不同，缓存将相关信息存储在更靠近模型的地方，减少了对完整上下文的需求。
2. 有效管理摘要：在保持数据库中完整消息作为参考的同时，对早期对话部分进行摘要。
3. 高效适应内存：利用上下文管理的两侧——模型后端内存和用户端互动，以提升系统性能。

结论

理解AI模型中上下文大小的细微差别，可以解锁这些工具的强大应用。通过掌握上下文大小的平衡和有效利用内存，你可以显著优化与Ollama等模型的交互能力。无论你是出于个人项目还是专业应用探索AI，了解上下文管理的限制和潜力都是至关重要的。

通过融入建议的实践和调整，用户可以防止系统过载并保持高效、有意义的互动。AI模型的使用在很大程度上取决于理解这些能力和限制。

加入讨论：你在本地机器上使用过的最大上下文是什么？在下面的评论中分享你的经验。

感谢你的阅读！如果你觉得本指南有帮助并想要更多见解，请考虑订阅我们的频道，获取最新的AI工具和教程。你的支持将产生巨大的不同，帮助我们继续创造有价值的内容！

Midjourney prompt for the cover image: A vast digital landscape representing token distribution within AI, surrounded by neural network lines and nodes. Birds-eye view focusing on complex token structures, glows and highlights emphasizing context differentiation, sketch cartoon style, futuristic and informative mood.