Metadata-Version: 2.4
Name: reu4s-engine
Version: 0.2.1
Summary: REU4-S self-developed LLM inference engine - RL quantization, sparse GEMV, NVRTC fused kernels, zero numpy in hot path
Author: REU4-S Project
License: MIT
Keywords: llm,inference,quantization,cuda,tensor
Requires-Python: >=3.10
Description-Content-Type: text/markdown
Requires-Dist: reu4s-rnu>=0.1.0

# REU4-S 推理引擎

全链路自研 LLM 推理引擎：量化算法（RL2/3/4/6 + K 系）、容器格式、图执行器、
CUDA NVRTC 融合反量化内核、稀疏 GEMV 内核 —— **推理热路径零 numpy、零第三方框架**。

## 实测战绩

| 模型 | 容器 | 压缩比 | 结果 |
|---|---|---|---|
| Yi-1.5-9B-Chat | RL4 (5.5GB) | 2.8× | 极端硬件（16GB RAM / 6GB VRAM）跑通，连贯中文对话 |
| Qwen2.5-32B-Instruct | RL3+K3 (11.97GB) | 5.1× | 32B 三比特量化开口说英文："I am Qwen, a sophisticated..." |
| Qwen2.5-32B-Instruct | 元素级稀疏 TUSN (2.69GB) | **22.7×** | 体积纪录档 |

## 安装

```
pip install reu4s-engine
```

依赖 `reu4s-rnu`（自研张量库，含 rnu.dll）。

## 用法

```
reu4s-chat --model model.reu4s.npz --tok tokenizer.json --once "Hello!" --max-new 64
```

- 支持 ChatML（Qwen）模板；容器为自研 .npz 格式（ZIP_STORED + mmap）
- CPU 路径：稀疏 GEMV + LUT 反量化；CUDA 路径：NVRTC 融合内核 + 流式逐层
- Python 3.13+（含预编译算子模块）

## 架构

- `rl_quant / rl_entropy / rl_scale / rl_codebook`：RL 系量化算法
- `container / graph / executor`：容器与图执行
- `gemv_cpu / spquant`：稠密 LUT GEMV 与元素级稀疏量化（Rice 熵编码索引）
- `su1_backend / su1_runtime / su2_runtime`：CUDA 无 LUT 融合内核 / 常驻 / 流式运行时
- `sp_tokenizer / sampler`：分词与采样
