3步接入本地模型：Qwen-Agent 配 LM Studio 函数调用实测

3步接入本地模型Qwen-Agent 配 LM Studio 函数调用实测【免费下载链接】Qwen-AgentAgent framework and applications built upon Qwen3.0, featuring Function Calling, MCP, Code Interpreter, RAG, Chrome extension, etc.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen-AgentQwen-Agent 是构建在 Qwen3.0 之上的 Agent 框架内置函数调用、代码解释器、RAG 与 MCP 支持。本文用 LM Studio 作为模型服务把它接到你自己的本地模型上3 步完成配置最终得到一个不经过云端 API 的对话与代码执行环境。读完本文你将获得安装装好可直连本地模型的 Qwen-Agent 运行环境配置用一份llm_cfg把 Qwen-Agent 指向 LM Studio 的本地端点实测跑通代码解释器与 PDF 文档问答两个功能看到真实输出排障拿到一张硬件-配置对照表和常见报错的三段式解法两个真实场景场景一你处理的是客户合同、财务报表这类文件不想让内容离开内网。本地模型推理全程在机器上完成敏感数据不出本机。场景二你频繁调用 Agent 做多轮工具编排API 按 token 计费长会话成本叠加明显。本地跑模型没有调用费用只有电费而且局域网内响应首 token 延迟通常低于走公网 API。代价是推理速度取决于你的显存和量化等级下文调优表给出对照。 对接原理一个接口层 一个兼容端点Qwen-Agent 能接入本地模型靠两点设计。第一点所有 LLM 后端实现统一接口。qwen_agent/llm/base.py 里的BaseChatModel定义了chat、quick_chat等统一方法各后端DashScope、OpenAI 兼容、本地 Transformers只是接口实现qwen_agent/llm/function_calling.py 在其上统一处理工具调用与后端无关。第二点oai适配器本身就是指向任意 OpenAI 兼容端点。看 qwen_agent/llm/oai.py 的核心逻辑# api_base 支持三个来源取到哪个用哪个本地端点只是其中一个值 api_base cfg.get(api_base) or cfg.get(base_url) or cfg.get(model_server) api_key cfg.get(api_key) or os.getenv(OPENAI_API_KEY) or EMPTY client openai.OpenAI(base_urlapi_base, api_keyapi_key)LM Studio 的 Server 页签启动的就是一个 OpenAI 兼容服务默认http://localhost:1234/v1所以把api_base指过去即可不用改任何源码。另外 qwen_agent/llm/init.py 中的get_chat_model有个便捷逻辑只要model_server以http开头就会自动按oai类型实例化。 部署实操从零到本地 Agent第 1 步启动 LM Studio 本地服务目标在机器上得到一个可用的 OpenAI 兼容端点。从 LM Studio 官网下载安装在搜索页下载一个 Qwen 系列 GGUF 模型如 Qwen3-8B 或 Qwen2.5-7B-Instruct量化等级 Q4_K_M。打开左侧 Server 页签确认端口为默认的 1234点击启动服务。下面的命令用来验证服务是否就绪curl -s http://localhost:1234/v1/models看到返回的 JSON 里包含刚加载的模型标识即成功。记下这个标识下一步的model字段要填它通常是 GGUF 文件名。第 2 步安装 Qwen-Agent目标拿到带代码解释器、RAG 依赖的完整环境。克隆仓库并安装git clone https://gitcode.com/GitHub_Trending/qw/Qwen-Agent cd Qwen-Agent pip install -e .[gui,rag,code_interpreter,mcp]验证执行python -c import qwen_agent; print(ok)输出ok即依赖就绪GUI 需 Python 3.10。第 3 步把 llm_cfg 指向 LM Studio目标让 Qwen-Agent 的对话与函数调用走本地端点。新建一个脚本复用下面这份配置from qwen_agent.agents import Assistant llm_cfg { model: Qwen3-8B, # 与 LM Studio Server 页签显示的标识一致 model_server: http://localhost:1234/v1, # 以 http 开头会自动按 oai 类型处理 api_key: EMPTY, # 本地服务无需真实密钥 generate_cfg: {max_input_tokens: 8000}, } bot Assistant(llmllm_cfg) for response in bot.run([{role: user, content: 用一句话介绍你自己}]): print(response[-1][content])验证运行后终端打印模型生成的回复全程无需DASHSCOPE_API_KEY看到正常文本输出即对接成功。 功能实测代码解释器本地跑 Python 出图复用上面的llm_cfg给ReActChat挂上code_interpreter工具让它在本地沙箱里执行代码from qwen_agent.agents import ReActChat bot ReActChat(llmllm_cfg, function_list[code_interpreter]) for response in bot.run([{role: user, content: 画一条 0 到 2π 的正弦曲线并保存为 png}]): print(response[-1][content])看到回复中包含保存的图片路径且本地生成了 png 文件即代码执行链路跑通。文档问答PDF 全程本地解析把example.pdf放到工作目录用消息里的file字段传入文档messages [{role: user, content: [{text: 总结这份文档的核心观点}, {file: example.pdf}]}] for response in Assistant(llmllm_cfg).run(messages): print(response[-1][content])验证输出是对该 PDF 内容的总结而不是泛泛的客套话说明文档解析与本地模型问答都正常工作。️ 调优与排障硬件条件 → 推荐配置硬件条件推荐模型与量化说明8GB 显存7B/8B 模型Q4_K_M 量化上下文调低max_input_tokens设 4000~800016GB 显存14B 模型 Q8 或 7B 模型 Q8可开更长上下文函数调用成功率更稳24GB 及以上32B 模型 Q4_K_M适合复杂多轮工具编排任务生成参数建议max_new_tokens视任务给 1024~2048temperature对话类 0.7代码执行类调低到 0.3 左右可减少语法错误。常见问题现象 → 原因 → 解法现象Connection refused→ 原因LM Studio Server 页签没启动或端口不是 1234 → 解法检查 Server 页签状态把model_server改成实际端口现象端口报错被占用 → 原因其他程序占用了 1234 → 解法在 LM Studio 中更换端口同步修改model_server现象回复明显慢、首 token 久 → 原因模型过大或量化等级过高 → 解法换 Q4_K_M 量化或更小参数量模型现象工具没被调用、函数调用解析报错 → 原因小模型指令遵循弱或工具调用格式不被识别 → 解法换 Qwen3 系列模型必要时在generate_cfg设置use_raw_api现象model not found类错误 → 原因model字段与 LM Studio 显示的模型标识不一致 → 解法以curl .../v1/models返回的标识为准小结本文完成了三件事用 LM Studio 起了本地模型服务用一份llm_cfg把 Qwen-Agent 接过去并实测了代码解释器与文档问答两条链路。后续可以把服务换成 vLLM/SGLang 部署的高吞吐版本或给 Agent 挂上 MCP 与 Chrome 扩展做浏览器自动化。完整参数说明见 qwen-agent-docs/website/content/en/guide/get_started/configuration.md部署中遇到仓库问题欢迎提交 issue 讨论。【免费下载链接】Qwen-AgentAgent framework and applications built upon Qwen3.0, featuring Function Calling, MCP, Code Interpreter, RAG, Chrome extension, etc.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen-Agent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考