国外 · AI编程工具 / AI智能体工具 / AI开源框架
Promptfoo是什么？Promptfoo使用教程与AI工具介绍
Promptfoo 是本地优先的开源 LLM 应用评测与红队测试工具，可比较提示词和模型、定义断言，并对 RAG、智能体及 API 执行自动化安全测试。
Promptfoo原创介绍
Promptfoo 适合已经在开发聊天机器人、RAG、工作流或 AI 智能体的团队，把零散的人工试问变成可重复测试。它可通过 CLI、配置文件或 CI/CD 运行质量评测，并生成提示注入、越权、隐私泄露和过度自主等对抗测试。工具能发现风险线索，但模型评分和自动攻击都可能误判，生产上线仍需人工复核与传统安全测试。
Promptfoo主要功能
- 用声明式测试集比较多个提示词、模型和应用版本
- 通过精确匹配、规则、脚本或模型评分定义断言
- 测试 OpenAI、Anthropic、Google、Azure、本地模型和自定义 API
- 为 RAG、聊天机器人和智能体生成对抗性红队用例
- 覆盖提示注入、越权、PII 泄露、幻觉和过度自主等风险
- 可在本地、浏览器报告和 CI/CD 流程中持续运行
Promptfoo适合哪些人
Promptfoo典型使用场景
- 比较多个模型在客服标准问题上的准确率与成本
- 为 RAG 知识库测试无答案拒答、引用和文档泄露
- 检查智能体是否被网页内容诱导执行越权工具调用
- 在模型或提示词升级前运行回归测试
- 为上线评审生成可追踪的失败案例和风险报告
优点
- 开源且本地优先，便于纳入现有开发和持续集成流程
- 同时覆盖质量评测与生成式 AI 安全测试
- 支持多模型和自定义应用接口，避免被单一模型平台锁定
注意事项
- 红队测试的生成和评分可能调用远程模型，敏感数据需先核对具体配置与数据处理路径
- 模型裁判可能误判，严重发现必须查看原始输入、输出和真实工具轨迹
- 自动化扫描不能替代权限审计、代码审查、渗透测试和人工业务验收
Promptfoo简明使用教程
- 先定义应用允许做什么、禁止做什么，以及准确率、安全、成本和延迟的通过标准。
- 建立包含正常、边界、无答案和历史故障的最小测试集，固定关键输入与期望结果。
- 把当前版本和候选模型配置为测试目标，先运行质量评测并人工抽查评分。
- 再按应用类型启用提示注入、PII、越权、RAG 泄露或智能体过度自主等红队插件。
- 将确认过的失败案例加入回归集，在 CI 中设置合理门槛，避免一次波动阻断全部发布。
Promptfoo深度教程
有效的 LLM 评测必须来自真实业务失败，而不是只使用通用问答。客服要测政策边界和错误承诺，RAG 要测引用支持与无答案拒答，智能体还要记录实际工具调用、参数、权限和副作用。每次线上事故都应沉淀成固定回归用例。
红队结果应按可利用性和业务影响分级。提示注入导致一句错误文本，与导致读取其他用户数据、发送邮件或执行 shell 命令不是同一风险。严重案例要在隔离环境复现，核实攻击路径，并从权限、输入信任和人工审批多个层面修复。
Promptfoo和同类工具怎么选
Promptfoo vs Langfuse
Promptfoo 更偏开发期批量评测与红队测试；Langfuse 更强调线上追踪、可观测性、数据集和评测闭环。团队常用 Langfuse 收集真实失败，再用 Promptfoo 做发布前回归。
Promptfoo vs 手工测试
手工探索适合发现未知问题；Promptfoo 适合把已知风险变成可重复的多模型回归。成熟流程需要两者结合。
Promptfoo vs 传统安全扫描
Promptfoo 能测试模型行为、提示注入和智能体风险；传统 SAST、依赖扫描和渗透测试覆盖代码、基础设施与常规漏洞，不能互相替代。
Promptfoo常见问题
Promptfoo 是开源的吗？
官方将 Promptfoo 定位为开源 CLI 与库，同时提供企业能力；使用前应按部署方式核对许可证和数据路径。
可以测试自己的 API 或智能体吗？
可以。官方文档支持通过 HTTP、自定义 Python 或 JavaScript、模型提供商及智能体工作流配置测试目标。
所有测试都完全离线吗？
不是。目标执行可在本地，但某些红队生成与模型评分默认可能使用远程推理；敏感项目应阅读数据处理文档并显式配置。
扫描通过就代表可以安全上线吗？
不代表。它只能覆盖已配置的测试和攻击，仍需权限设计、代码审查、人工红队、日志监控和应急流程。
Promptfoo教程与资料引用
下面资料用于继续学习和核对工具功能，建议以官方说明为准。
深入学习Promptfoo
如果你要为客服、RAG 或 AI 智能体建立评测与安全上线门槛，可联系我们设计真实测试集、红队场景、CI 回归和风险验收流程。
联系咨询