如何添加并下载一个 AI 模型?
打开应用的“设置”面板,选择“模型”标签页,点击“+”创建一个配置。你可以输入 Hugging Face 仓库 ID(例如 mlx-community/Qwen2.5-1.5B-Instruct-4bit),也可以选择 Mac 上的本地权重文件夹。点击“创建配置”,再从状态栏弹窗中加载它。
支持与帮助
欢迎来到 LocalModel Bridge 的支持页面。这款应用让你完全离线地运行生成式 AI 模型。关于加载模型、配置快捷指令或搭建本地 API 服务器的疑问,我们随时为你解答。
帮助
打开应用的“设置”面板,选择“模型”标签页,点击“+”创建一个配置。你可以输入 Hugging Face 仓库 ID(例如 mlx-community/Qwen2.5-1.5B-Instruct-4bit),也可以选择 Mac 上的本地权重文件夹。点击“创建配置”,再从状态栏弹窗中加载它。
LocalModel Bridge 100% 离线运行。客户端网络访问只用于从 Hugging Face Hub 查询并下载模型权重;服务端网络访问只用于在你自己的机器(localhost)上、于所选端口(例如 8080)承载与 OpenAI 兼容的本地 HTTP 服务器。
LocalModel Bridge 为 macOS 内置的“快捷指令”App 提供了原生操作。打开“快捷指令”,新建一个流程,在操作库中搜索“LocalModelBridge”。“查询本地模型”这一操作接收提示词,并返回运行中的模型所生成的文本。
在“设置”的“通用”标签页中,可以开启“启用本地 HTTP API 服务器”。这会在 http://localhost:8080/v1/chat/completions上提供与 OpenAI 兼容的补全 API,让开发工具(例如 Cursor 编辑器)能查询你的本地模型。
生成式 AI 模型会占用大量内存。为避免系统变慢,LocalModel Bridge 会在可设定的闲置时长之后,自动把模型从 Apple 芯片的统一内存中卸载,并清理系统的 Metal 缓存。
如果常见问题没能解答你的疑问,欢迎发邮件给我们,并附上以下信息: