AI

在现代软件开发中，本地大模型（LLM）因其隐私保护和高性能而受到越来越多开发者的青睐。本文教学如何在VSCode Continue插件中配置本地大模型，包含YAML配置文件设置、OpenAI API兼容性说明和模型角色定义，提升代码开发效率。

本文详细介绍了如何通过配置models.ini文件和run-llama.bat启动脚本，实现Qwen3.6-35B、Qwen3-Coder-30B等大型模型在llama.cpp网页端的灵活切换。学习模型预加载、按需加载、参数优化等关键技术，构建高效的本地AI推理环境。

本文以 Qwen 本地大模型为例，介绍如何在 Windows 上使用 llama.cpp 本地部署多模态 GGUF 大模型，配置主模型与 mmproj 视觉投影器，启用 NVIDIA CUDA 加速，并通过 Web UI 和 OpenAI 兼容 API 实现文本对话与图片理解。

从一个例子开始：需求是向AI提出在Linux中希望进行的操作后AI能够直接回答Linux的命令，而不包含其他废话和Markdown符号。经本人测试（gpt-4，gpt-5，deepseek-r1），该需求可通过将以下内容首先喂给AI实现：……

本文教你如何在自己的PC上搭建并使用deepseek-r1生成式AI模型。教学内容在Windows11系统的PC上测试。显卡使用了NVIDIA GeForce GTX 1080。步骤简单，有手就会。从此无需联网就可体验生成式AI的魅力。