llama.cpp：104k Stars 纯C/C++实现的高效LLM推理框架

# 方式一：从源码编译（推荐）
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
mkdir build && cd build
cmake ..
make -j$(nproc)

# 方式二：使用 CMakeLists.txt 构建（支持更多选项）
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_LLAMAFILE=ON
make -j$(nproc)

# 使用 huggingface-cli
huggingface-cli download \
  meta-llama/Meta-Llama-3.1-8B-Instruct-GGUF \
  Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \
  --local-dir ./models \
  --local-dir-use-symlinks False

# 使用 wget 直接下载（如果是公开链接）
wget -O models/llama-3.1-8b-q4_k_m.gguf \
  "https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct-GGUF/resolve/main/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf"

# 基本推理
./llama-cli \
  -m models/llama-3.1-8b-q4_k_m.gguf \
  -p "你好，请介绍一下自己"

# 交互模式
./llama-cli \
  -m models/llama-3.1-8b-q4_k_m.gguf \
  -i -r "User:" \
  --in-prefix-bos \
  --in-suffix "User:"

# 指定参数
./llama-cli \
  -m models/llama-3.1-8b-q4_k_m.gguf \
  -p "写一首关于AI的诗" \
  -n 256 \           # 生成 token 数量
  -t 8 \             # 线程数
  -r "User:" \        # 交互模式
  --temp 0.7 \        # 温度（创造性）
  --top-p 0.9 \       # nucleus sampling
  --repeat-penalty 1.1  # 重复惩罚

# 批量推理（处理多个 prompt）
./llama-bench \
  -m models/llama-3.1-8b-q4_k_m.gguf \
  -t 8 \
  -ngl 99

# 基础启动
./llama-server \
  -m models/llama-3.1-8b-q4_k_m.gguf \
  -c 2048 \           # context 大小
  -port 8080          # 端口

# GPU 加速（CUDA）
./llama-server \
  -m models/llama-3.1-8b-q4_k_m.gguf \
  -ngl 99 \           # GPU layers (99 = 全部)
  -c 4096 \
  -port 8080

# Metal 加速（macOS）
./llama-server \
  -m models/llama-3.1-8b-q4_k_m.gguf \
  -ngl 99 \
  -c 4096 \
  -port 8080

# Chat Completions API（OpenAI 兼容）
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b",
    "messages": [
      {"role": "system", "content": "你是一个有帮助的助手"},
      {"role": "user", "content": "解释量子计算"}
    ],
    "max_tokens": 256
  }'

# Completions API
curl http://localhost:8080/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b",
    "prompt": "从前有座山，",
    "max_tokens": 100
  }'

# Embeddings API
curl http://localhost:8080/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b",
    "input": "Hello, world!"
  }'

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b",
    "messages": [{"role": "user", "content": "讲个笑话"}],
    "stream": true
  }'

# 拉取镜像
docker pull ghcr.io/ggml-org/llama.cpp/server:latest

# 运行容器
docker run \
  -p 8080:8080 \
  -v /path/to/models:/models \
  ghcr.io/ggml-org/llama.cpp/server:latest \
  -m /models/llama-3.1-8b-q4_k_m.gguf \
  -c 4096 \
  -ngl 99

version: '3.8'

services:
  llama.cpp:
    image: ghcr.io/ggml-org/llama.cpp/server:latest
    container_name: llama-server
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    command: |
      -m /models/llama-3.1-8b-q4_k_m.gguf
      -c 4096
      -ngl 99
      --host 0.0.0.0
      --port 8080
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

from langchain_community.llms import LlamaCpp
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

# 初始化 llama.cpp
llm = LlamaCpp(
    model_path="./models/llama-3.1-8b-q4_k_m.gguf",
    temperature=0.7,
    max_tokens=256,
    n_ctx=2048,
    n_threads=8,
    n_gpu_layers=99  # Metal/CUDA 加速
)

# 创建 Chain
template = """问：{question}
答："""

prompt = PromptTemplate(
    template=template,
    input_variables=["question"]
)

chain = LLMChain(llm=llm, prompt=prompt)

# 执行
result = chain.run("什么是大语言模型？")
print(result)

import { LlamaCpp } from "@langchain/community/llms/llama_cpp";

const model = await LlamaCpp.initialize({
  modelPath: "./models/llama-3.1-8b-q4_k_m.gguf",
  temperature: 0.7,
  maxTokens: 256,
  nCtx: 2048,
  nGpuLayers: 99,
});

const result = await model.invoke("解释量子计算");
console.log(result);

# 启用 KV Cache 量化（节省 30-50% 内存）
./llama-server \
  -m models/llama-3.1-8b-q4_k_m.gguf \
  --kv-cache-type Q8_0 \
  -c 4096

# 启用 Flash Attention（加速 + 省内存）
./llama-server \
  -m models/llama-3.1-8b-q4_k_m.gguf \
  -fa \           # Flash Attention
  -c 4096 \
  -ngl 99

# 使用内置基准测试
./llama-bench -m models/llama-3.1-8b-q4_k_m.gguf -t 8 -ngl 99

# 输出示例
# | model                          |    size |   Q |    threads | tokens/s |
# |--------------------------------|--------:|----:|----------:|---------:|
# | Meta-Llama-3.1-8B-Instruct    |   4.7GB | Q4_K |         8 |   45.23 |

# 1. 安装转换工具
pip install transformers hf-transfer

# 2. 下载模型
python -c "
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('meta-llama/Meta-Llama-3.1-8B')
tokenizer = AutoTokenizer.from_pretrained('meta-llama/Meta-Llama-3.1-8B')
model.save_pretrained('./exported_model')
tokenizer.save_pretrained('./exported_model')
"

# 3. 转换为 GGUF
python llama.cpp/convert.py \
  ./exported_model \
  --outfile models/llama-3.1-8b-f16.gguf \
  --outtype f16

# 4. 量化（可选）
./llama-quantize \
  models/llama-3.1-8b-f16.gguf \
  models/llama-3.1-8b-q4_k_m.gguf \
  Q4_K_M

# 从 Hugging Face 模型直接量化
./llama-quantize \
  /path/to/model.gguf \
  /path/to/model-q4_k_m.gguf \
  Q4_K_M

# 增加线程数
-t $(nproc)

# 启用 GPU 加速
-ngl 99

# 使用更快的量化
Q4_K_M 比 Q5_K_M 快

# 启用 Flash Attention
-fa

# 使用镜像站
export HF_ENDPOINT=https://hf-mirror.com

# 或使用 aria2c 多线程下载
aria2c -x 16 -s 16 \
  "https://huggingface.co/..."

# 使用 hf-transfer 加速
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download ...