Metadata-Version: 2.5
Name: promptregress-cli
Version: 0.1.0
Summary: pytest for prompts - turn LLM prompts into versioned, regression-testable cases
Project-URL: Homepage, https://github.com/dycshow/promptregress
Project-URL: Repository, https://github.com/dycshow/promptregress
Project-URL: Issues, https://github.com/dycshow/promptregress/issues
Author-email: dycshow <dycshow@users.noreply.github.com>
License: MIT
License-File: LICENSE
Keywords: llm,prompt,pytest,regression,testing
Classifier: Development Status :: 3 - Alpha
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
Classifier: Programming Language :: Python :: 3
Requires-Python: >=3.9
Requires-Dist: pyyaml>=6.0
Provides-Extra: test
Requires-Dist: pytest>=7.0; extra == 'test'
Description-Content-Type: text/markdown

# PromptRegress

> **pytest for prompts** —— 把 LLM Prompt 变成可版本化、可回归测试的用例。

改了一个 prompt，输出质量是变好还是变差？PromptRegress 把这个问题变成 CI 里的一道检查。

## 为什么需要它

Prompt 是 LLM 应用的"源代码"，但很少有人对它做回归测试。PromptRegress 让每个 Prompt 都像一个测试用例：记录 golden 基线 → 改动后重跑 → 输出漂移直接暴露。

## 安装

```bash
pip install promptregress
```

## 30 秒上手

```bash
promptregress init                 # 生成 promptregress.yaml + prompts/ 目录
promptregress add translate        # 添加一个用例（YAML 模板）
promptregress run                  # 跑全部用例，写入 golden 基线
promptregress check                # 对比当前输出与基线，输出回归报告
```

接入 CI（pytest 插件）：

```bash
pytest --promptregress
```

## 特性

- **Python 原生**：pytest 插件一行接入，不用 Node 生态
- **中文模型开箱即用**：DeepSeek / Qwen / GLM / Kimi 等任意 OpenAI 兼容接口
- **用例即 YAML**：天然可 git diff、可回滚（prompt 版本管理）
- **断言**：contains / excludes / nonempty
- **漂移检测**：输出与 golden 基线不一致即标记 `drift`（回归）并让 CI 失败
- **报告**：Markdown 回归报告，CI 可直接留档

## 用例格式

```yaml
name: translate
description: 中译英
model: deepseek-chat
prompt: |
  将下面的中文翻译成英文：{{text}}
variables:
  - text
assert:
  type: contains
  value: "Hello"
```

## 配置（promptregress.yaml）

```yaml
base_url: https://api.deepseek.com/v1   # 任意 OpenAI 兼容地址
api_key_env: DEEPSEEK_API_KEY           # 环境变量名（缺省回退 OPENAI_API_KEY）
model: deepseek-chat
temperature: 0.2
max_tokens: 1024
cases_dir: prompts
```

## 路线图

- [x] init / add / run / check + golden 基线
- [x] 漂移检测（输出 ≠ 基线 → drift）
- [x] pytest 插件接入
- [ ] 多模型对比报告
- [ ] LLM-as-judge 断言
- [ ] GitHub Actions 回归工作流示例

## 演示

真实运行回放（含截图说明）：[docs/demo.md](docs/demo.md)——无需 API Key，使用自带 mock LLM 服务即可复现基线、回归与漂移检出全流程。

## 许可

MIT
