por Juanjo LunaCrear evaluaciones para agentes
Crea una primera batería de pruebas para un agente a partir de fallos reales. Te ayuda cuando quieres comprobar que un cambio de prompt o modelo no rompe el comportamiento.
Descripción original (inglés)
evals-bootstrap: Scaffold a first eval suite for an agent: mine real failures into cases, write behavioural checks over traces, and generate the runner. Use when the user wants evals, regression tests for an agent, a golden set, or asks how to know a prompt/model change did not break things. Do NOT use for a single task's done-check (goal-test) or for auditing context (context-audit).
Cómo instalarla
Una skill es una carpeta con un fichero SKILL.md. Para instalarla basta con copiar la carpeta evals-bootstrap en el sitio donde tu agente busca sus skills.
- Sin terminal: abre la carpeta en GitHub, descárgala y cópiala en la carpeta de tu agente (tabla de abajo).
- Con terminal (macOS, Linux o Git Bash en Windows): elige tu agente y copia los comandos.
git clone --depth 1 https://github.com/undefined-ui/second-brain-os.git /tmp/skill-src
mkdir -p ~/.claude/skills
cp -r "/tmp/skill-src/plugins/agents-course/skills/evals-bootstrap" ~/.claude/skills/evals-bootstrap
rm -rf /tmp/skill-src| Agente | Para todos tus proyectos | Solo un proyecto |
|---|---|---|
| Claude Code | ~/.claude/skills | .claude/skills |
| GitHub Copilot | ~/.copilot/skills | .github/skills |
| Codex | ~/.agents/skills | .agents/skills |
| Gemini CLI | ~/.gemini/skills | .gemini/skills |
Muchos agentes leen también .agents/skills. Reinicia el agente después de instalar. Antes de instalar una skill, revisa su SKILL.md y los scripts que incluya: se ejecutan con tus permisos.
Más skills de undefined-ui/second-brain-os
- Auditar contexto de un agente context-audit
- Filtrar decisiones para ahorrar costes gate-check
- Definir y probar un objetivo goal-test
- Auditar la seguridad de un agente harness-audit
- Importar archivos al segundo cerebro second-brain-backfill
- Ver cómo cambió una opinión second-brain-changed-my-mind
- Importar chats al segundo cerebro second-brain-chat-import
- Analizar la red de notas second-brain-graph
Explicación redactada con ayuda de IA a partir de la descripción original.