por Juanjo LunaCrear evaluación para fine-tuning
Construye el marco de evaluación que valida cada entrenamiento con conjuntos de referencia, casos de fallo y calibración de jueces. Te sirve cuando empiezas un proyecto de fine-tuning o quieres medirlo con rigor desde el principio.
Descripción original (inglés)
eval-harness-first: Build the evaluation harness that gates every fine-tuning run — golden sets, per-failure-mode graders, judge calibration, and base-model baselines. Use when starting a fine-tuning effort, when converting traces into an eval set, or when calibrating a judge against human labels.
Cómo instalarla
Una skill es una carpeta con un fichero SKILL.md. Para instalarla basta con copiar la carpeta eval-harness-first en el sitio donde tu agente busca sus skills.
- Sin terminal: abre la carpeta en GitHub, descárgala y cópiala en la carpeta de tu agente (tabla de abajo).
- Con terminal (macOS, Linux o Git Bash en Windows): elige tu agente y copia los comandos.
git clone --depth 1 https://github.com/wshobson/agents.git /tmp/skill-src
mkdir -p ~/.claude/skills
cp -r "/tmp/skill-src/plugins/llm-finetuning/skills/eval-harness-first" ~/.claude/skills/eval-harness-first
rm -rf /tmp/skill-src| Agente | Para todos tus proyectos | Solo un proyecto |
|---|---|---|
| Claude Code | ~/.claude/skills | .claude/skills |
| GitHub Copilot | ~/.copilot/skills | .github/skills |
| Codex | ~/.agents/skills | .agents/skills |
| Gemini CLI | ~/.gemini/skills | .gemini/skills |
Muchos agentes leen también .agents/skills. Reinicia el agente después de instalar. Antes de instalar una skill, revisa su SKILL.md y los scripts que incluya: se ejecutan con tus permisos.
Más skills de wshobson/agents
- Crear interfaces accesibles accessibility-compliance
- Detectar deuda técnica de IA ai-debt-detector
- Migrar de AngularJS a Angular angular-migration
- Técnicas anti-reversing anti-reversing-techniques
- Diseñar APIs REST y GraphQL api-design-principles
- Documentar decisiones técnicas architecture-decision-records
- Patrones de arquitectura backend architecture-patterns
- Programar con asyncio en Python async-python-patterns
Explicación redactada con ayuda de IA a partir de la descripción original.