Promptfoo 完全指南:2026 年开源 LLM 提示词测试与评估神器

Promptfoo 完全指南:2026 年开源 LLM 提示词测试与评估神器

什么是 Promptfoo?

Promptfoo 是一个开源的 LLM 评估与测试框架,专为 AI 应用开发者设计。它采用 YAML 驱动的配置方式,让你用声明式语法定义测试用例,然后自动在多个模型、多个提示词之间进行对比评测。

简单来说:如果你在用 GPT-4o、Claude、Gemini 等多个模型构建 AI 应用,Promptfoo 能帮你回答一个关键问题——哪个 prompt 配哪个模型效果最好?

截至 2026 年,Promptfoo 已被 OpenAI、Anthropic 等头部公司采用,GitHub 星标超过 15,000,成为 LLM 测试领域的事实标准工具。

核心功能特性

Promptfoo 的核心能力可以概括为四大模块:

1. 自动化提示词评估 定义测试用例集(test suite),自动运行并对比不同 prompt 的输出质量。支持精确匹配、正则表达式、LLM-as-Judge 等多种断言方式。

2. 多模型并排对比 一次配置,同时测试 50+ 个模型提供商的输出。GPT、Claude、Gemini、DeepSeek、Llama、Mistral——所有主流模型一网打尽,生成直观的对比矩阵。

3. 红队安全测试 内置对抗性测试能力,自动探测 prompt 注入、越狱攻击、有害内容生成等安全漏洞。这对企业级 AI 应用至关重要。

4. CI/CD 深度集成 提供官方 GitHub Action,每次提交代码或修改 prompt 时自动触发测试,防止回归问题进入生产环境。

安装与快速开始

Promptfoo 支持多种安装方式,上手极其简单:

# 方式一:npx 直接运行(推荐新手)
npx promptfoo@latest init

# 方式二:全局安装
npm install -g promptfoo

# 方式三:作为项目依赖
npm install --save-dev promptfoo

安装完成后,运行 promptfoo init 会在项目目录生成一个基础配置文件 promptfooconfig.yaml。编辑其中的 prompts 和 tests,然后执行:

promptfoo eval

几秒钟后,终端会输出一个漂亮的对比表格,展示每个 prompt 在每个测试用例上的表现。

YAML 配置文件详解

Promptfoo 的灵魂在于它的 YAML 配置文件。一个典型的配置包含三个核心部分:

# 1. 定义要测试的提示词
prompts:
  - "你是一个翻译助手,将以下内容翻译为{{language}}:{{input}}"
  - "Professional translator. Translate to {{language}}: {{input}}"

# 2. 定义要对比的模型
providers:
  - openai:gpt-4o
  - anthropic:claude-3-5-sonnet
  - google:gemini-pro

# 3. 定义测试用例和断言
tests:
  - vars:
      input: "今天天气真好"
      language: "英语"
    assert:
      - type: contains
        value: "weather"
      - type: llm-rubric
        value: "翻译准确且语法正确"
  - vars:
      input: "机器学习很有趣"
      language: "日语"
    assert:
      - type: contains
        value: "機械学習"

关键概念解释:

  • prompts:支持内联字符串、文件引用(file://prompt.txt)、甚至函数调用
  • providers:支持 OpenAI、Anthropic、Google、本地 Ollama 等 50+ 提供商
  • assert:断言类型丰富——contains、regex、llm-rubric(用另一个 LLM 评判)、similar(语义相似度)等
  • vars:变量替换机制,一个模板可以批量测试不同输入

支持的 LLM 模型

Promptfoo 的模型支持范围极广,几乎覆盖所有主流和新兴的 LLM 提供商:

提供商代表模型接入方式
OpenAIGPT-4o、o1、o3API Key
AnthropicClaude 3.5 Sonnet、Claude 3 OpusAPI Key
GoogleGemini Pro、Gemini UltraAPI Key
MetaLlama 3(通过 Together/Replicate)API Key
本地部署Ollama、vLLM、llama.cpp本地端口
AzureAzure OpenAIEndpoint + Key
AWSBedrock (Claude/Titan)AWS Credentials

本地模型测试是 Promptfoo 的一大亮点。通过 Ollama 集成,你可以在本地零成本运行评估:

providers:
  - ollama:llama3
  - ollama:mistral

这对于预算有限或需要数据隐私保护的团队尤其友好。

评估指标与断言系统

Promptfoo 的断言系统是其核心竞争力。它提供了从简单到复杂的完整评估工具链:

基础断言(无需额外成本):

  • contains / not-contains:关键词检查
  • regex:正则匹配
  • equals / icontains:精确/模糊匹配
  • json-schema:验证输出是否符合 JSON Schema
  • python / javascript:自定义脚本断言

高级断言(需要 API 调用):

  • llm-rubric:用 LLM 作为评委,评估输出的准确性、流畅度、安全性等
  • similar:基于嵌入向量的语义相似度(阈值可配置)
  • cost:限制单次调用的成本上限
  • latency:限制响应时间

实用技巧: 组合使用多种断言效果最佳。例如,翻译任务可以同时检查:contains(关键术语)+ llm-rubric(语法正确性)+ similar(语义保留度)。

实战案例:5 个典型测试场景

场景 1:翻译质量对比 同时测试 GPT-4o 和 Claude 在中→英、中→日、中→法三个方向的翻译质量,用 llm-rubric 让 GPT-4o 做评委打分。

场景 2:客服机器人回复质量 定义 20 个常见客户问题,测试不同 system prompt 下的回复是否包含关键信息、语气是否友好、是否存在幻觉。

场景 3:RAG 检索增强生成 评估不同 chunk size 和 embedding 模型对最终回答质量的影响,用 similar 断言检查答案与标准答案的语义相似度。

场景 4:代码生成准确性 测试不同模型在 HumanEval 风格题目上的通过率,用 python 断言自动运行生成的代码并检查输出。

场景 5:内容安全过滤 用红队模式自动注入 100+ 种对抗性 prompt,检测模型是否会生成有害内容、泄露系统提示词或执行危险操作。

CI/CD 集成:GitHub Actions 自动化

将 Promptfoo 集成到 CI/CD 管道是保证 AI 应用质量的关键一步。以下是推荐的 GitHub Actions 配置:

# .github/workflows/prompt-eval.yml
name: LLM Prompt Evaluation
on:
  pull_request:
    paths:
      - 'prompts/**'
      - 'promptfooconfig.yaml'

jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: promptfoo/promptfoo-action@v1
        with:
          config: promptfooconfig.yaml
          cache: true
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
          ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}

最佳实践:

  • 只在 prompt 文件或配置文件变更时触发,节省 API 费用
  • 启用 cache: true 避免重复评估相同输入
  • 设置 latency 和 cost 断言作为质量门禁
  • 评估结果自动作为 PR 评论发布,方便团队 review

总结与建议

Promptfoo 是目前最成熟的开源 LLM 测试框架,它的核心价值在于:

  1. 降低试错成本:用配置代替代码,几分钟就能完成多模型对比
  2. 保障质量底线:CI/CD 集成让每次 prompt 变更都有据可查
  3. 提升安全性:红队测试帮你发现潜在的安全漏洞

适用人群: AI 应用开发者、Prompt 工程师、QA 测试人员、需要评估 LLM 输出质量的技术团队。

不适用场景: 如果你只需要简单的 API 调用测试(不涉及 prompt 对比),Postman 或 curl 就够了。Promptfoo 的价值在于系统化的评估与对比。

💡 延伸阅读: 如果你想深入了解 LLM 安全测试,推荐阅读我们的 Promptfoo 安全测试指南,详细讲解了红队测试和漏洞扫描的实战技巧。