探索 Anything LLM：利用本地语言模型的力量

Click HERE to read the original article in English.

在人工智能不断发展的领域中，语言学习模型（LLMs） 已经成为了关注的焦点。LLMs 处理和生成类似人类文本的能力开辟了许多应用范围，从聊天机器人到复杂的数据分析工具。Anything LLM 是这一领域的一个了不起的发展，它是一款开源软件，能够让用户与来自不同提供商的多种 LLMs 互动，包括 Ollama 和 LLM Studio 等开源权重模型，这些模型都在 Llama CPP 之上无缝运行。该软件针对 Nvidia 的消费级 GPU——RTX GPU 进行了优化，使得在您的计算机上完全私密地运行功能强大的本地代理成为可能。

在本地设置 Anything LLM

开始使用 Anything LLM 很简单。首先下载桌面应用程序。这个直观的软件利用了一个"工作区"的概念。以下是设置步骤指南：

创建工作区：启动应用程序并创建一个新的工作区，您将在那里组织 LLM 活动。
配置设置：导航到聊天设置，您会发现包含 Ollama、LLM Studio 和 Local AI 在内的不同 API 提供商的列表。这些选项提供了运行本地模型或使用 Hugging Face ID 直接下载模型的选择。
运行模型：例如，要运行 Ollama 模型，只需在终端中启动您选择的模型即可。这可能是 llama 38 billion。该软件会更新工作区，以允许进行互动。
与 LLM Studio 合作：使用 LLM Studio 载入如 Mistral Small instruct model 之类的模型，使用 8 位浮点精度进行更高的量化，以适应代理式工作流程。

自定义代理和技能

Anything LLM 的真正潜力在于其自定义代理功能。以下是如何利用这些自定义构建代理：

配置代理

代理配置：通过设置访问此功能并选择您喜欢的 LLM 提供商。更新设置以反映这些配置。
代理技能：通过启用文档摘要、网页抓取、SQL 数据库连接和创建图表等功能来定制技能。

使用代理

网络搜索：例如，使用来自 Prelly Search 的预签名 API 密钥可以作为代理技能执行网络搜索。

💡

代理命令可以调用特定技能，如网络浏览或文档摘要，以便更高效地处理任务。

技能实战

示例：网页浏览

使用一个代理技能命令，例如

add agent

这将触发代理决定使用可用技能的最佳方法。例如，利用网页浏览功能查找谁赢得了 2024 年美国大选。

示例：内容总结

代理可以利用网络抓取工具获取数据并提供网页的简要总结，展示模型执行超越单纯文本生成的能力。

扩展技能

自定义和社区技能

社区中心：探索社区中心的工具，如 OpenStack 应用程序或 Jin Reader，启用 Anything LLM 的进一步自定义和功能。
开发者贡献：通过创建或导入技能如论文的归档搜索进行贡献。这对于希望利用 LLM 搜索文献的研究人员和学者来说是无价的。

技术细节

为本地环境优化

本地运行 Everything LLM 可免去对云的依赖，提供隐私和性能，并且在 Nvidia RTX GPUs 上运行得异常出色。这种能力使诸如以下任务成为可能：

高性能本地建模；
启用无需数据共享担忧的私密 AI 任务；
轻松利用社区驱动的改进和插件。

结论

Anything LLM 作为利用本地 LLM 模型的多功能工具脱颖而出。无论是通过创建自定义代理还是使用预定义技能，它在本地范围内重新定义了 AI 应用。作为一个开源项目，它以其透明性和灵活性鼓励社区贡献、支持和创新。

对于那些对超越基本 LLM 互动并进入创新的本地 AI 应用感兴趣的人来说，Anything LLM 代表了一个重要的飞跃。这对开发者和 AI 爱好者来说都是一个令人兴奋的时刻，他们可以通过开放源码的 LLM 技术参与到可能重塑私密 AI 使用的社区项目中。

有关使用本地模型和对开放源码 AI 进行贡献的更多见解，请查看 Anything LLM 的 GitHub，思考这些发展如何能够增强您的项目。

如往常一样，保持好奇心，继续实验，编程愉快！

LOCAL MODELS, OPEN-SOURCE, LLM, RTX GPU, 机器学习, NVIDIA GPUS, 开源软件, AI人工智能, YOUTUBE, 自然语言处理, LLAMA CPP, OLLAMA