Windows本地部署Ollama + AnythingLLM解读本地文档 构建私有知识库
https://www.bilibili.com/read/cv33734222/
Ollama 下载地址 https://ollama.com/download
AnythingLLM 下载地址 https://useanything.com/download
Open WebUI 安装地址 https://github.com/v1cc0/open-webui
步骤：
下载上面三个地址的工具，需要科学上网下载，下载后直接运行安装
在win键界面找到命令行，或者win键 + R，输入cmd打开命令行。
安装Ollama工具后，在命令行输入【ollama pull qwen:4b】 下载模型【千问4b的模型，也可以下载其他模型】，支持的模型列表：https://ollama.com/library。
要开始运行Ollama的话，只需要在命令行输入【ollama run qwen:4b】就可以使用并访问这个模型了。
接下来我们需要安装向量模型和数据库，在https://ollama.com/里面搜索【nomic-embed-text】，这个模型可以将文本内容转换成向量数据，里面是模型介绍。
安装模型可以在命令行输入【ollama pull nomic-embed-text】进行下载和安装。
安装AnythingLLM工具后打开初始化界面，会进入到配置页面，在【LLM Preference】选项卡中，选择Ollama，然后配置【http://127.0.0.1:11434】、选择运行的大模型【qwen:4b】，token填【8192】
下一步是配置【Embedding Preference】选项卡中，一样选择 Ollama，然后配置【http://127.0.0.1:11434】、选择运行的大模型【nomic-embed-text】，length填【512】
下一步是配置【Vector Database】，选择默认的【LanceDB】，这是内置的向量数据库，如果想用云端数据库，可以选择【Pinecone】进行云端配置。
后面就是按提示下一步下一步，如果是要加新的工作空间，可以点new workspace来增加不同场景下的工作空间。如果需要更换模型，可以点左下角的配置按钮，重新执行上面三步完成配置。
到这里环境已经部署了，这时你已经可以跟大模型进行对话了。
接下来的步骤是争对私有知识库的内容进行分析和获取。需要将文档上传到AnythinLLM，通过【nomic-embed-text】模型进行向量转换，然后存在向量数据库中。最后通过提问，去向量数据库获取内容并分析回答。
在工作空间页面上有一个上传文档的按钮，点击可以上传我们的文档内容。上传后选中文档，点击【Save and Embed】，等待一段时间，让模型进行向量转换和保存。
然后回到主界面点击工作空间的设置，选择【Chat Setting】选项卡，这里对话模式选择【Query】，这个模式是指只从提供的文档内容进行查找分析，而不要求大语言模型里面提供的信息作答。最后点击【Update workspace】进行更新。
然后就可以进行提问了，以上是本地部署应用的地方，如果你的电脑不太行，可以装Ollama部署在云端GPU服务器，然后本地安装AnythingLLM，在选择URL上填写云端Ollama的地址即可。
第三个工具就是Open WebUI，此工具可以支持云端部署web界面，在浏览器上访问大模型。
前置需要安装Docker，具体安装步骤可以看https://github.com/v1cc0/open-webui上面的安装步骤，这里就不再赘述。
安装完后输入github上的指令即可连通Ollama，并进行使用。
Ollama 命令的语法主要包括模型管理、模型运行和系统管理等方面的命令。
模型管理命令
创建模型：使用ollama create <model_name> -f <Modelfile>命令根据指定的Modelfile创建一个新模型。Modelfile包含了模型的配置信息，如模型架构和参数等
拉取模型：使用ollama pull <model_name>命令从远程仓库拉取指定的模型到本地。如果本地已存在该模型，此命令会更新模型，仅下载变更部分
列出本地模型：使用ollama list命令显示本地存储的所有模型及其版本信息
查看模型信息：使用ollama show <model_name>命令显示指定模型的详细信息，包括版本、参数和大小等
复制模型：使用ollama cp <source_model> <destination_model>命令复制一个模型，创建一个新模型的副本
删除模型：使用ollama rm <model_name>命令从本地删除指定的模型，释放存储空间
模型运行命令
启动Ollama服务：使用ollama serve命令启动Ollama服务器，使其开始监听请求并处理模型任务
运行模型：使用ollama run <model_name>命令运行指定的模型，用户可以与模型进行交互，输入提示并获取推理结果
停止运行的模型：使用ollama stop <model_name>命令停止正在运行的指定模型
查看正在运行的模型：使用ollama ps命令列出当前正在运行的模型列表
系统管理命令
获取帮助：使用ollama -h或ollama --help命令查看Ollama的基本命令列表和帮助信息
显示版本信息：使用ollama -v或ollama --version命令显示当前Ollama工具的版本信息
评论区