需求网站装修公司咨询

需求网站,装修公司咨询,创建qq网站吗,免费户型图设计软件接入ollama本地模型ollama是大语言模型的运行环境 #xff0c; 支持将开源的大语言模型以离线的方式部署到本地#xff0c;进行私有化部署。 这也是企业中常用的方案#xff0c; 因为本地化部署能保证企业级的数据安全#xff0c; 降低企业使用成本。可以将我们的 ollama 理…接入ollama本地模型ollama是大语言模型的运行环境 支持将开源的大语言模型以离线的方式部署到本地进行私有化部署。 这也是企业中常用的方案 因为本地化部署能保证企业级的数据安全 降低企业使用成本。可以将我们的 ollama 理解为是我们的 Docker 容器(Docker 拉取的是镜像)而 Ollama 拉取的就是大模型的镜像同时运行大模型本地大模型安装https://ollama.com/download点击下载 一直下一步即可非常简单安装完后运行cmd -- ollama list 查看已安装的大模型开始肯定什么都没有拉取模型 ollama run qwen3:4bhttps://ollama.com/library/qwen31. 这里的4b40亿参数 对应gpu显存差不多是4G 当然8B也可以只是比较卡测试基于spring-ai使用 上我们在 Ollama 本地模型部署的大模型添加依赖添加 ollama 的 SDK 依赖dependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-starter-model-ollama/artifactId/dependency配置(配置 ollama 的配置注意ollama 是不需要配置 api_key 的因为只有云端大模型才需要根据你的 api_key 计费算钱授权。本地大模型是不需要的)。ollama 的默认端口 11434 。ollama 是可以拉取配置运行多个本地大模型的所以这里需要配置指明我们使用的是 ollama 本地当中的那个大模型ollama list # 查看 ollama 当前含有配置拉取的有那些大模型spring.ai.ollama.base-url http://localhost:11434 # 默认端口是:11434spring.ai.ollama.chat.model qwen3:4b测试/*** author*/SpringBootTestpublic class OllamaTest {Testpublic void testChat(// 自动装配了 OllamaChatModel 配置类Autowired OllamaChatModel ollamaChatModel) {String text ollamaChatModel.call(你是谁);System.out.println(text);}}关闭 thingking因为我们的 qwen3 大模型是一个思考模型(存在一个深度思考的过程)所以可能会思考的比较久这里我们可以关闭 ollama 当中的大模型思考(深度思考)模式可以通过 在提示词结尾加入“/no_think” 指令String text ollamaChatModel.call(你是谁/no_think); // 你的提示词上加上 /no_think 软关闭深度思考过程System.out.println(text);但是依然有标签 暂时可以前端单独处理下