HENCH@T

在现代软件开发中，本地大模型（LLM）因其隐私保护和高性能而受到越来越多开发者的青睐。本文教学如何在VSCode Continue插件中配置本地大模型，包含YAML配置文件设置、OpenAI API兼容性说明和模型角色定义，提升代码开发效率。

本文详细介绍了如何通过配置models.ini文件和run-llama.bat启动脚本，实现Qwen3.6-35B、Qwen3-Coder-30B等大型模型在llama.cpp网页端的灵活切换。学习模型预加载、按需加载、参数优化等关键技术，构建高效的本地AI推理环境。

本文以 Qwen 本地大模型为例，介绍如何在 Windows 上使用 llama.cpp 本地部署多模态 GGUF 大模型，配置主模型与 mmproj 视觉投影器，启用 NVIDIA CUDA 加速，并通过 Web UI 和 OpenAI 兼容 API 实现文本对话与图片理解。