什么是 Promptfoo?
Promptfoo 是一个开源的 LLM 评估与测试框架,专为 AI 应用开发者设计。它采用 YAML 驱动的配置方式,让你用声明式语法定义测试用例,然后自动在多个模型、多个提示词之间进行对比评测。
简单来说:如果你在用 GPT-4o、Claude、Gemini 等多个模型构建 AI 应用,Promptfoo 能帮你回答一个关键问题——哪个 prompt 配哪个模型效果最好?
截至 2026 年,Promptfoo 已被 OpenAI、Anthropic 等头部公司采用,GitHub 星标超过 15,000,成为 LLM 测试领域的事实标准工具。
核心功能特性
Promptfoo 的核心能力可以概括为四大模块:
1. 自动化提示词评估 定义测试用例集(test suite),自动运行并对比不同 prompt 的输出质量。支持精确匹配、正则表达式、LLM-as-Judge 等多种断言方式。
2. 多模型并排对比 一次配置,同时测试 50+ 个模型提供商的输出。GPT、Claude、Gemini、DeepSeek、Llama、Mistral——所有主流模型一网打尽,生成直观的对比矩阵。
3. 红队安全测试 内置对抗性测试能力,自动探测 prompt 注入、越狱攻击、有害内容生成等安全漏洞。这对企业级 AI 应用至关重要。
4. CI/CD 深度集成 提供官方 GitHub Action,每次提交代码或修改 prompt 时自动触发测试,防止回归问题进入生产环境。
安装与快速开始
Promptfoo 支持多种安装方式,上手极其简单:
# 方式一:npx 直接运行(推荐新手)
npx promptfoo@latest init
# 方式二:全局安装
npm install -g promptfoo
# 方式三:作为项目依赖
npm install --save-dev promptfoo
安装完成后,运行 promptfoo init 会在项目目录生成一个基础配置文件 promptfooconfig.yaml。编辑其中的 prompts 和 tests,然后执行:
promptfoo eval
几秒钟后,终端会输出一个漂亮的对比表格,展示每个 prompt 在每个测试用例上的表现。
YAML 配置文件详解
Promptfoo 的灵魂在于它的 YAML 配置文件。一个典型的配置包含三个核心部分:
# 1. 定义要测试的提示词
prompts:
- "你是一个翻译助手,将以下内容翻译为{{language}}:{{input}}"
- "Professional translator. Translate to {{language}}: {{input}}"
# 2. 定义要对比的模型
providers:
- openai:gpt-4o
- anthropic:claude-3-5-sonnet
- google:gemini-pro
# 3. 定义测试用例和断言
tests:
- vars:
input: "今天天气真好"
language: "英语"
assert:
- type: contains
value: "weather"
- type: llm-rubric
value: "翻译准确且语法正确"
- vars:
input: "机器学习很有趣"
language: "日语"
assert:
- type: contains
value: "機械学習"
关键概念解释:
- prompts:支持内联字符串、文件引用(
file://prompt.txt)、甚至函数调用 - providers:支持 OpenAI、Anthropic、Google、本地 Ollama 等 50+ 提供商
- assert:断言类型丰富——
contains、regex、llm-rubric(用另一个 LLM 评判)、similar(语义相似度)等 - vars:变量替换机制,一个模板可以批量测试不同输入
支持的 LLM 模型
Promptfoo 的模型支持范围极广,几乎覆盖所有主流和新兴的 LLM 提供商:
| 提供商 | 代表模型 | 接入方式 |
|---|---|---|
| OpenAI | GPT-4o、o1、o3 | API Key |
| Anthropic | Claude 3.5 Sonnet、Claude 3 Opus | API Key |
| Gemini Pro、Gemini Ultra | API Key | |
| Meta | Llama 3(通过 Together/Replicate) | API Key |
| 本地部署 | Ollama、vLLM、llama.cpp | 本地端口 |
| Azure | Azure OpenAI | Endpoint + Key |
| AWS | Bedrock (Claude/Titan) | AWS Credentials |
本地模型测试是 Promptfoo 的一大亮点。通过 Ollama 集成,你可以在本地零成本运行评估:
providers:
- ollama:llama3
- ollama:mistral
这对于预算有限或需要数据隐私保护的团队尤其友好。
评估指标与断言系统
Promptfoo 的断言系统是其核心竞争力。它提供了从简单到复杂的完整评估工具链:
基础断言(无需额外成本):
contains/not-contains:关键词检查regex:正则匹配equals/icontains:精确/模糊匹配json-schema:验证输出是否符合 JSON Schemapython/javascript:自定义脚本断言
高级断言(需要 API 调用):
llm-rubric:用 LLM 作为评委,评估输出的准确性、流畅度、安全性等similar:基于嵌入向量的语义相似度(阈值可配置)cost:限制单次调用的成本上限latency:限制响应时间
实用技巧: 组合使用多种断言效果最佳。例如,翻译任务可以同时检查:contains(关键术语)+ llm-rubric(语法正确性)+ similar(语义保留度)。
实战案例:5 个典型测试场景
场景 1:翻译质量对比
同时测试 GPT-4o 和 Claude 在中→英、中→日、中→法三个方向的翻译质量,用 llm-rubric 让 GPT-4o 做评委打分。
场景 2:客服机器人回复质量 定义 20 个常见客户问题,测试不同 system prompt 下的回复是否包含关键信息、语气是否友好、是否存在幻觉。
场景 3:RAG 检索增强生成
评估不同 chunk size 和 embedding 模型对最终回答质量的影响,用 similar 断言检查答案与标准答案的语义相似度。
场景 4:代码生成准确性
测试不同模型在 HumanEval 风格题目上的通过率,用 python 断言自动运行生成的代码并检查输出。
场景 5:内容安全过滤 用红队模式自动注入 100+ 种对抗性 prompt,检测模型是否会生成有害内容、泄露系统提示词或执行危险操作。
CI/CD 集成:GitHub Actions 自动化
将 Promptfoo 集成到 CI/CD 管道是保证 AI 应用质量的关键一步。以下是推荐的 GitHub Actions 配置:
# .github/workflows/prompt-eval.yml
name: LLM Prompt Evaluation
on:
pull_request:
paths:
- 'prompts/**'
- 'promptfooconfig.yaml'
jobs:
evaluate:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: promptfoo/promptfoo-action@v1
with:
config: promptfooconfig.yaml
cache: true
env:
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
最佳实践:
- 只在 prompt 文件或配置文件变更时触发,节省 API 费用
- 启用
cache: true避免重复评估相同输入 - 设置
latency和cost断言作为质量门禁 - 评估结果自动作为 PR 评论发布,方便团队 review
总结与建议
Promptfoo 是目前最成熟的开源 LLM 测试框架,它的核心价值在于:
- 降低试错成本:用配置代替代码,几分钟就能完成多模型对比
- 保障质量底线:CI/CD 集成让每次 prompt 变更都有据可查
- 提升安全性:红队测试帮你发现潜在的安全漏洞
适用人群: AI 应用开发者、Prompt 工程师、QA 测试人员、需要评估 LLM 输出质量的技术团队。
不适用场景: 如果你只需要简单的 API 调用测试(不涉及 prompt 对比),Postman 或 curl 就够了。Promptfoo 的价值在于系统化的评估与对比。
💡 延伸阅读: 如果你想深入了解 LLM 安全测试,推荐阅读我们的 Promptfoo 安全测试指南,详细讲解了红队测试和漏洞扫描的实战技巧。