产品介绍

华宇大模型是清大华宇自研的本地推理模型，面向企业私有化部署，提供两个档位：

huayu-v2：高质量档（Q8_0 量化），精度优先，适合复杂推理、长文档与高要求场景；
huayu-v2-flash：加速档（Q4_K_XL 量化），吞吐优先，专家权重字节数减半、CPU 专家池带宽与计算量减半，同硬件下更快，适合高并发与常规办公场景。

两个档位共用同一套推理服务（Strata 引擎）、同一个 OpenAI 兼容 API 与视觉能力，切换只需更换模型文件与配置。

核心特性

OpenAI 兼容 API：/v1/chat/completions、/v1/models，现有客户端零改造接入；
长上下文：131072 tokens（128K）；
视觉理解：图片输入经内置视觉编码器处理，问答与图文任务一体；
推测解码：MTP 草稿层加速（--spec 4），8 卡 layer-split 流水线并行；
内存高效：专家权重按需从内存流式供给，KV 缓存 32K 常驻 VRAM、其余 RAM 流式；
运维友好：systemd 自愈（崩溃 10 秒自动拉起）、日志按日轮转。

档位对比

	huayu-v2（Q8_0）	huayu-v2-flash（Q4_K_XL）
定位	高质量档	加速档
量化	Q8_0	UD-Q4_K_XL
模型文件	188 GB（6 分片）	105 GB（4 分片）
推荐显存	8× 22G 及以上	8× 20G 及以上
推荐内存	≥ 384 GB	≥ 256 GB
相对吞吐	基准	更快（专家池负担减半）

硬件要求

Linux x86_64，NVIDIA 驱动 ≥ 580（CUDA 13 引擎，RTX 20 系列 / sm_75 起）；
8 张 GPU 推荐：layer-split 自动分配稠密层，专家权重在内存中，单卡显存压力小；
内存越大越好：模型文件常驻页缓存，CPU 专家池直接受益；
磁盘 ≥ 200 GB（huayu-v2）/ 130 GB（huayu-v2-flash）。

安装

方式一：一键脚本（推荐）

在目标服务器上执行（需要 root，用 sudo 执行）：

# Q8 高质量档（推荐 8×22G+ 显存）
curl -fsSL https://lanhc.com/lanhc/install-huayu-v2.sh | sudo -E bash

# Q4 加速档（显存/带宽受限时）
curl -fsSL https://lanhc.com/lanhc/install-huayu-v2-flash.sh | sudo -E bash

脚本自动完成：下载 Strata 运行时与 pack → 从 HF 镜像下载模型分片并逐片校验 SHA-256 → 写入品牌元数据 → 生成启动配置与 systemd 单元 → 启动服务并验证身份。支持断点续传，中断后重跑即可继续。

方式二：手动部署

资产清单与校验和见发布目录（strata-runtime.tar.gz、pack-q8.tar.gz、pack-q4.tar.gz、mtp-rt.tar.gz、huayu-v2-mmproj.gguf），模型分片从 Hugging Face 镜像获取，细节以安装脚本为准。

可选参数

环境变量	默认值	说明
`HUAYU_INSTALL_DIR`	`/app/strata`	安装目录
`HUAYU_PORT`	`8000`	服务端口
`HUAYU_PARALLEL`	`4`	并发槽数
`HUAYU_API_KEY`	随机生成	API Key（安装完成时打印）
`HUAYU_NO_START`	空	置 1 仅安装不启动
`HF_ENDPOINT`	`https://hf-mirror.com`	模型分片下载镜像

使用

模型列表

curl -s http://<服务器IP>:8000/v1/models \
  -H "Authorization: Bearer $API_KEY"

返回 huayu-v2（别名 huayu）或 huayu-v2-flash（别名 huayu-flash）。

对话补全

curl -s http://<服务器IP>:8000/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "huayu-v2",
    "messages": [{"role": "user", "content": "你好"}],
    "max_tokens": 512
  }'

运维

sudo systemctl status huayu-v2     # 查看状态（flash 对应 huayu-v2-flash）
sudo systemctl restart huayu-v2    # 重启
sudo systemctl stop huayu-v2       # 停止

服务日志在 ~/.local/state/strata/runtime/，按日轮转、保留 30 天。

常见问题

huayu-v2 与 huayu-v2-flash 有什么区别？

同一模型的两种量化档位。flash 的专家权重字节数减半，CPU 专家池的带宽与计算量随之减半，同硬件吞吐更高（实测约 +20% 起），代价是量化精度略低于 Q8_0。视觉能力两个档位完全相同。

可以在低于推荐显存的机器上跑吗？

可以，但需调低并发（HUAYU_PARALLEL=2）或缩短上下文。layer-split 下每卡只持有稠密层权重，专家权重在内存中，总显存主要影响 KV 缓存与并发槽数。

支持哪些显卡？

CUDA 13 引擎支持 sm_75 及以上（RTX 20 系列起）：RTX 2080 Ti、30/40/50 系列与 A/H 系列均可。V100（sm_70）与 Pascal 需 CUDA 12 引擎变体，可联系支持获取。

与清大华宇AI 的关系？

清大华宇AI 平台以 huayu-v2 为底座模型；本页的安装包是模型与推理服务本身，供私有化部署与第三方应用直接调用。

huayu-v2-max 与 huayu-hermes 系列是什么？

本页的两个档位是本地部署形态。线上另有更高规格与面向不同任务的同门模型，通过清大华宇自有平台白泽AI平台提供 API：

huayu-v2-max：通用对话与复杂推理的更高档位；
huayu-hermes / huayu-hermes-flash / huayu-hermes-max：面向智能体、工具调用与长流程作业；
huayu-code：代码理解与工程任务。

线上按百万 Tokens 计费（输入与输出同价），实时价格见价格页与白泽AI平台。

华宇大模型Huayu Model