第一步：安装Ollama

https://ollama.com/download

第二步：下载Gemma模型

Ollama 下载的模型模型保存在 C 盘，如果想更改默认路径的话，可以通过设置 OLLAMA_MODELS 进行修改。

OLLAMA_MODELS：F:\OllamaCache

运行模型

通过ollama run命令，你可以运行特定的模型。例如，ollama run qwen将启动qwen模型。

安装 Openwebui

docker run --gpus=all -d -p 3000:8080 --network=host --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果 Ollama 位于不同的服务器上，请使用以下命令：
要连接到另一台服务器上的 Ollama，请将 更改OLLAMA_BASE_URL为服务器的 URL：
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

=======避坑========

1.docker部署ollama
1.1.CPU模式
docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

1.2.GPU模式（需要有NVIDIA显卡支持）
1.2.1.安装英伟达容器工具包（以Ubuntu22.04为例）

1.配置apt源

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

2.更新源

sudo apt-get update

3.安装工具包

sudo apt-get install -y nvidia-container-toolkit

1.2.2.docker使用GPU运行ollama

docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2.docker部署ollama web ui

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

3.使用docker中的ollama下载并运行AI模型（示例为阿里通义千问4b-chat）

docker exec -it ollama ollama run qwen:4b-chat

===============