Ollama 本地大模型完全指南

# 方法 1：官方安装包（推荐）
# 从 https://ollama.com/download 下载 .dmg

# 方法 2：Homebrew
brew install ollama

# 验证安装
ollama --version

# 官方安装脚本（会自动检测 CUDA 或 Metal）
curl -fsSL https://ollama.com/install.sh | sh

# 验证
ollama --version
nvidia-smi  # 如果有 NVIDIA GPU，确认驱动正常

# 下载并运行 Llama 3.2（默认 3B 版本，适合大多数机器）
ollama run llama3.2

# 在交互式对话里测试
>>> 用一句话解释什么是大模型
大模型是通过学习大量文本数据，掌握语言规律，从而能够生成和理解文本的 AI 系统。

>>> /bye

# 运行一个模型，然后在另一个终端查看 GPU 使用情况
ollama run llama3.2

# 另一个终端：
ollama ps
# 输出应该显示 PROCESSOR 是 GPU 而不是 CPU
# NAME            ID           SIZE      PROCESSOR    UNTIL
# llama3.2       xxxxxx       2.0GB     100% GPU    2 minutes ago

# NVIDIA: 确认 CUDA 可用
nvidia-smi
# 如果报错，先安装 NVIDIA 驱动

# Apple Silicon: 确认 Metal 可用（macOS 12+ 默认支持）
system_profiler SPDisplaysDataType | grep "Metal"

# 下载指定版本
ollama pull llama3.2:3b      # 3B 参数（最快，适合开发测试）
ollama pull llama3.2:11b     # 11B 参数（平衡）
ollama pull llama3.2:70b     # 70B 参数（需要大内存）

# 查看已下载的模型
ollama list

# 查看模型详情（包括 Modelfile 内容）
ollama show llama3.2

# 删除模型
ollama rm llama3.2:70b

# 复制模型（用于创建自定义版本的基础）
ollama cp llama3.2 my-llama

# macOS / Linux
~/.ollama/models/

# Windows
C:\Users\你的用户名\.ollama\models\

# 创建 Modelfile
cat > Modelfile << 'EOF'
FROM qwen2.5:7b

# 系统提示词：定义模型的行为
SYSTEM """
你是一个专注于帮助开发者调试代码的助手。
你的回答风格：简洁、直接、给可运行的代码。
你擅长：Python、JavaScript、Rust。
请用中文回答。
"""

# 参数调优
PARAMETER temperature 0.3        # 低温度 = 更确定性的输出（适合代码生成）
PARAMETER top_p 0.9
PARAMETER num_ctx 8192           # 上下文长度（token 数）
PARAMETER repeat_penalty 1.1    # 防止重复
EOF

# 构建自定义模型
ollama create code-helper -f Modelfile

# 运行
ollama run code-helper

# 前台运行（适合开发测试）
ollama serve

# 后台运行
ollama serve &

# 指定监听地址（允许局域网其他设备访问）
OLLAMA_HOST=0.0.0.0:11434 ollama serve

from openai import OpenAI

# 指向本地 Ollama 服务
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 占位符，Ollama 不需要真实 key
)

response = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[
        {"role": "system", "content": "你是一个 Python 代码助手"},
        {"role": "user", "content": "写一个快速排序"}
    ],
    temperature=0.3,
    stream=True  # 流式输出
)

# 处理流式响应
for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

from langchain_ollama import ChatOllama
from langchain_core.prompts import ChatPromptTemplate

# 初始化模型
llm = ChatOllama(
    model="qwen2.5:7b",
    temperature=0.7,
    base_url="http://localhost:11434"
)

# 使用 LangChain 的 prompt 模板
prompt = ChatPromptTemplate.from_messages([
    ("system", "你是一个专门帮助学习 Rust 的助手。"),
    ("human", "{input}")
])

chain = prompt | llm

# 调用
response = chain.invoke({"input": "解释一下 Rust 的所有权系统"})
print(response.content)

# /etc/nginx/sites-available/ollama
server {
    listen 80;
    server_name your-domain.com;

    location / {
        # API key 验证
        if ($http_x_api_key != "your-secret-key") {
            return 403;
        }

        proxy_pass http://localhost:11434;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

# 下载 LLaVA（基于 Llama 3.2）
ollama pull llava

# 运行
ollama run llava

import base64
from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

# 读取本地图片并转为 base64
with open("/path/to/image.jpg", "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="llava",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "这张图片里有什么？"},
            {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_b64}"}}
        ]
    }]
)

print(response.choices[0].message.content)

# 1. 换用更小的模型
ollama pull qwen2.5:3b   # 而不是 7b 或更大

# 2. 减少上下文长度
ollama run qwen2.5:7b --num-ctx 2048  # 默认可能是 8192

# 3. 查看内存使用情况
ollama ps
free -h     # Linux
# 活动监视器 → 内存 → 搜索 "ollama"  # macOS

# 检查驱动
nvidia-smi
# 如果报错：NVIDIA-SMI has failed... → 重新安装驱动

# 检查 CUDA 可用性
python -c "import torch; print(torch.cuda.is_available())"

# 确认 Metal 可用
system_profiler SPDisplaysDataType

# Ollama 在 macOS 上默认用 Metal，如果没用到 GPU：
# 1. 确认 macOS 版本 ≥ 12.0
# 2. 重装 Ollama
brew reinstall ollama

# 1. 确认在用 GPU
ollama ps
# 如果 PROCESSOR 是 CPU → 检查 GPU 配置

# 2. 检查模型大小是否超出内存
ollama show qwen2.5:72b | grep "size"
# 如果 size > 可用内存 → 换小模型

# 3. 检查是否有其他进程占用了 GPU
nvidia-smi          # NVIDIA
sudo powermetrics --samplers gpu  # macOS，需要 sudo

# 实例 1
OLLAMA_HOST=0.0.0.0:11434 ollama serve &

# 实例 2
OLLAMA_HOST=0.0.0.0:11435 ollama serve &

# Nginx 负载均衡配置
upstream ollama {
    server localhost:11434;
    server localhost:11435;
}

# Ollama 支持通过 session_id 复用上下文
response1 = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[{"role": "user", "content": "什么是 Python？"}],
    extra_body={"session_id": "user-123"}  # 复用这个 session 的 KV Cache
)

# 同一个 session_id 的后续请求会更快
response2 = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[{"role": "user", "content": "它有什么优缺点？"}],
    extra_body={"session_id": "user-123"}  # 复用
)