腾讯混元 0.5B/1.8B/4B/7B 小模型全攻略：从下载到部署，一篇就够

对话式长文 | 适合专科及以上读者 | 基于官方 README 2025-08-04 版

先回答你最关心的 3 个问题

目录

1. 模型家族速览
2. 性能到底怎么样？一图看懂
3. 下载与文件结构
4. 零门槛体验：transformers 两行代码
5. 生产级部署：TensorRT-LLM / vLLM / sglang 三选一
6. 微调实战：LLaMA-Factory 全流程
7. 量化压缩：FP8 / Int4 真机测试
8. 常见问题 FAQ（持续更新）
9. 延伸阅读与官方链接

1. 模型家族速览

统一支持 256 K 上下文，内置“快思考 / 慢思考”双模式。

2. 性能到底怎么样？一图看懂

学术基准平均分（节选）

长文 & Agent 实测

结论：7B 基本达到 GPT-3.5 水平，4B 性价比最高，1.8B 以下适合离线终端。

3. 下载与文件结构

GitHub 直链

git clone https://github.com/Tencent-Hunyuan/Hunyuan-7B
# 或
git clone https://github.com/Tencent-Hunyuan/Hunyuan-4B
# 其余同理

Hugging Face 直链

目录长什么样？

Hunyuan-7B/
├── config.json          # 模型配置
├── pytorch_model.bin    # 权重（可分片）
├── tokenizer.json
├── tokenizer_config.json
└── README.md

4. 零门槛体验：transformers 两行代码

4.1 最简推理

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_path = "tencent/Hunyuan-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

messages = [{"role": "user", "content": "海水为什么是咸的？"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

out = model.generate(**inputs, max_new_tokens=512)
print(tokenizer.decode(out[0]))

4.2 关闭“慢思考”

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False  # 关闭 CoT
)

或在 prompt 前加 /no_think。

5. 生产级部署：TensorRT-LLM / vLLM / sglang 三选一

5.1 TensorRT-LLM 方案（官方镜像）

Docker 一条命令

docker pull hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-trtllm
docker run --gpus all --rm -it -p 8000:8000 \
  hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-trtllm \
  trtllm-serve /model --host 0.0.0.0 --port 8000 --backend pytorch --tp_size 2

本地 Python 调用

import openai
client = openai.Client(base_url="http://localhost:8000/v1", api_key="EMPTY")
print(client.chat.completions.create(
    model="default",
    messages=[{"role": "user", "content": "写一首五言绝句"}]
))

5.2 vLLM 方案（多卡并行）

启动服务

docker pull hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-vllm
docker run --gpus all --net=host \
  -v /your/model:/model \
  hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-vllm \
  python -m vllm.entrypoints.openai.api_server \
  --model /model --tensor-parallel-size 4 --trust-remote-code

5.3 sglang 方案（轻量极速）

启动

docker pull hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-sglang
docker run --gpus all --shm-size 32g -p 30000:30000 \
  hunyuaninfer/hunyuan-a13b:hunyuan-moe-A13B-sglang \
  python -m sglang.launch_server --model-path /model --tp 4 --host 0.0.0.0 --port 30000

6. 微调实战：LLaMA-Factory 全流程

6.1 环境准备

pip install git+https://github.com/huggingface/transformers@4970b23
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .

6.2 数据格式

[
  {
    "messages": [
      {"role": "system", "content": "你是法律助手。"},
      {"role": "user", "content": "合同违约金上限是多少？"},
      {"role": "assistant", "content": "<think>...</think><answer>根据《民法典》第585条...</answer>"}
    ]
  }
]

6.3 启动训练

export DISABLE_VERSION_CHECK=1
llamafactory-cli train examples/hunyuan/hunyuan_full.yaml

• 单卡：直接运行
• 多机：FORCE_TORCHRUN=1 NNODES=... 详见官方 README。

7. 量化压缩：FP8 / Int4 真机测试

7.1 为什么量化？

• FP8：显存减半，精度几乎无损
• Int4：显存再减半，适合 6 GB 显卡

7.2 一键下载已量化模型

7.3 自量化示例（AngleSlim）

git clone https://github.com/tencent/AngelSlim
python AngelSlim/cli.py quantize \
  --model /path/Hunyuan-7B-Instruct \
  --quant_type int4-gptq \
  --calib_dataset c4 \
  --output_dir Hunyuan-7B-Instruct-Int4

8. 常见问题 FAQ

9. 延伸阅读与官方链接

写在最后
混元小模型的最大价值，是把原本只有大厂才能玩的 256 K 长文本 + 工具调用能力，降到了一张消费级显卡甚至一部手机就能跑的程度。无论你是独立开发者、高校实验室，还是车载、家居场景的产品经理，总有一款尺寸适合你。祝你玩得开心，跑通记得回来交作业！