安装Ollama 和 open webui，本地运行deepseek r1 大模型

27 1 月, 2025 50点热度 3人点赞 0条评论

本地部署DEEPSEEK大模型和知识库

1. 下载安装Ollama

点击下载ollama

2. 拉取大模型

Ollama 模型页面 https://ollama.com/search

拉取deepseek命令 ollama pull deepseek-r1:1.5b 或者ollama pull deepseek-r1:7b

拉取向量化模型命令 ollama pull nomic-embed-text #本地知识库用得到

3. ollama常用命令

ollama 列出命令详细
ollama list 查询已加载大模型
ollama serve 启动服务
Ollama rm 删除某个已下载的模型，比如 Ollama rm deepseek-r1:7b

运行已下载的大模型：
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b

4. 推荐的UI程序

open webui #需要docker 搭建
Page Assit #浏览器插件
AnythingLLM #本地知识库方案之一

5.本地智能体和知识库

AnythingLLM #windows运行首选
Dify #智能体，本地知识库和自动化工作流方案（docker 搭建）
N8N #智能体，本地知识库和自动化工作流方案（docker 搭建）

Docker run 安装open webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Docker compose 安装open webui，原版

services:
    open-webui:
        ports:
            - 3000:8080
        environment:
            - OLLAMA_BASE_URL=https://example.com
        volumes:
            - open-webui:/app/backend/data
        container_name: open-webui
        restart: always
        image: ghcr.io/open-webui/open-webui:main

Docker compose 安装open webui，修改后

services:
    open-webui:
        ports:
            - 3311:8080
        volumes:
            - ./data:/app/backend/data
        container_name: open-webui
        restart: always
        image: ghcr.nju.edu.cn/open-webui/open-webui:main

加速镜像：将ghcr.io替换为ghcr.nju.edu.cn