Qué hace
ab-test-setup convierte a Claude en un especialista en experimentación. En vez de responderte "probá y fijate", te lleva por las 8 etapas de un A/B test hecho con rigor: definir el contexto (métrica primaria, tráfico, guardrails), escribir la hipótesis con un template, calcular el tamaño de muestra y la duración, elegir el tipo de test (A/B, A/B/n, multivariante, bandit), diseñar la variante según el elemento (headline, CTA, layout, pricing, copy), correr el checklist de lanzamiento, analizar los resultados con p-value y significancia, y priorizar el backlog con scoring ICE.
Lo clave es que trae los números reales: una tabla de tamaños de muestra por tasa de conversión, la fórmula estadística, los umbrales de significancia (95%) y potencia (80%), y los siete errores clásicos que arruinan un experimento. Es la diferencia entre "creo que esta versión anda mejor" y "esta versión gana con 95% de confianza".
Cómo aplicarla a tu negocio
Pensá en una agencia que maneja la landing de un cliente que vende un curso online. La conversión está en 3% y el cliente quiere subirla. Sin método, el equipo cambia el headline, mira las ventas de la semana, "parece que subió" y lo deja. Tres semanas después nadie sabe si el cambio funcionó o si fue una buena semana.
Con ab-test-setup el flujo es otro:
- Hipótesis antes de tocar. Le pasás el contexto y la skill te arma la hipótesis: "observamos que el 70% abandona en el primer scroll; si cambiamos el headline de genérico a específico con prueba social, la conversión sube 20%, porque reduce la duda sobre qué es el curso". Métrica primaria: conversión a checkout. Guardrail: que no suba el bounce.
- La skill te dice si el test es viable. Con 3% de conversión y buscando +20%, la tabla marca 65.080 visitantes por variante. Si la landing recibe 2.000 visitas por día, el test necesita correr unas tres semanas con las dos variantes. Si el cliente no tiene ese tráfico, la skill te ofrece testear un micro objetivo (clicks al botón) en vez de la venta final.
- Checklist de lanzamiento. Antes de prender el test verifica que el tracking dispare en las dos variantes, que no haya otro test corriendo en el mismo funnel, que el split sea 50/50 y que estén excluidos bots e IPs internas. Este paso es el que evita el clásico "corrimos dos semanas y el pixel no medía la variante B".
- Análisis honesto. Al cierre no mira solo cuál número es más alto: chequea sample ratio mismatch, calcula el p-value y te dice si la mejora es estadísticamente significativa o si entra dentro del ruido. Un lift del 0,1% "ganador" puede no valer la pena de implementar, y la skill te lo marca.
- Roadmap priorizado. Con varias ideas sobre la mesa (headline, CTA, orden de secciones, pricing), la skill las rankea con ICE (impacto, confianza, facilidad) y te arma un backlog trimestral para correr los tests en serie, uno atrás del otro, evitando que se contaminen entre sí.
El resultado para la agencia: en vez de vender "optimización" como una sensación, le entregás al cliente un roadmap de experimentos con hipótesis, resultados medibles y decisiones defendibles con datos. Eso es lo que justifica un fee de CRO y lo que te deja escalar la optimización a varias cuentas sin depender del olfato de una sola persona.
Cómo instalarla
Es una skill agent-agnostic: el mismo SKILL.md corre en cualquier agente.
- Claude Code: cloná el repo de OpenClaudia y copiá la carpeta
ab-test-setupa.claude/skills/, o pegá elSKILL.mddirectamente ahí. - Cursor: copiá el
SKILL.mda.cursor/rules/. - Codex: copiá el
SKILL.mda.codex/skills/.
El SKILL.md completo (con la fuente y la licencia MIT) está más abajo.
El SKILL.md completo
Skill original de OpenClaudia (MIT). Fuente: https://github.com/OpenClaudia/openclaudia-skills/tree/main/skills/ab-test-setup
<!--
Skill original: ab-test-setup, OpenClaudia (https://github.com/OpenClaudia/openclaudia-skills/tree/main/skills/ab-test-setup)
Licencia: MIT. Reproducida con atribución según los términos de la licencia.
Curada al español en claura-ai.com/skills.
-->
---
name: ab-test-setup
description: Design, plan, and analyze A/B tests with statistical rigor. Use when the user asks about A/B testing, split testing, experiment design, statistical significance, sample size calculation, test duration, multivariate testing, or conversion experiments. Trigger phrases include "A/B test", "split test", "experiment", "statistical significance", "sample size", "test duration", "which version wins", "conversion experiment", "hypothesis test", "variant testing".
---
# A/B Test Design and Analysis
You are an expert in experimentation and A/B testing. When the user asks you to design a test, calculate sample sizes, analyze results, or plan an experimentation roadmap, follow this framework.
## Step 1: Gather Test Context
Establish: page/feature being tested, current conversion rate, monthly traffic, primary metric, secondary metrics, guardrail metrics, duration constraints, testing platform (Optimizely, VWO, custom).
## Step 2: Hypothesis Framework
### Hypothesis Template
```
OBSERVATION: [What we noticed in data/research/feedback]
HYPOTHESIS: If we [specific change], then [metric] will [change] by [amount],
because [behavioral/psychological reasoning].
CONTROL (A): [Current state]
VARIANT (B): [Proposed change]
PRIMARY METRIC: [Single metric that determines winner]
GUARDRAILS: [Metrics that must not degrade]
```
### Hypothesis Categories
- **Clarity**: "Users don't understand what we offer" -- test headline, value prop
- **Motivation**: "Users aren't motivated to act" -- test social proof, urgency, benefits
- **Friction**: "Process is too difficult" -- test form length, step count, layout
- **Trust**: "Users don't trust us" -- test testimonials, guarantees, badges
- **Relevance**: "Content doesn't match intent" -- test personalization, segmentation
## Step 3: Sample Size and Duration
### Sample Size Formula
```
n = (Z_alpha/2 + Z_beta)^2 * (p1*(1-p1) + p2*(1-p2)) / (p2 - p1)^2
Where: Z_alpha/2 = 1.96 (95%), Z_beta = 0.84 (80% power), p2 = p1 * (1 + MDE)
```
### Quick Reference (per variant, 95% significance, 80% power)
| Baseline CR | 10% MDE | 15% MDE | 20% MDE | 25% MDE |
|---|---|---|---|---|
| 2% | 385,040 | 173,470 | 98,740 | 63,850 |
| 3% | 253,670 | 114,300 | 65,080 | 42,110 |
| 5% | 148,640 | 67,040 | 38,200 | 24,730 |
| 10% | 70,420 | 31,780 | 18,120 | 11,740 |
| 15% | 44,310 | 20,010 | 11,420 | 7,400 |
| 20% | 31,310 | 14,140 | 8,070 | 5,230 |
**Duration** = (Sample size per variant x Number of variants) / Daily traffic. Minimum 7 days, maximum 8 weeks.
If duration exceeds 8 weeks: increase MDE, reduce variants, test a higher-traffic page, use a micro-conversion metric, or accept lower power.
## Step 4: Test Types
| Type | What | When | Caution |
|---|---|---|---|
| A/B | Two versions, 50/50 split | One specific change, sufficient traffic | Minimum 7 days |
| A/B/n | Control + 2-4 variants | Multiple approaches to same element | Needs proportionally more traffic |
| MVT | Multiple element combinations | High traffic (100K+/month) | Combinations multiply fast |
| Bandit | Dynamic traffic allocation | High opportunity cost | Harder to reach significance |
| Pre/Post | Before vs. after (no split) | Cannot split traffic | Weakest causal evidence |
## Step 5: Test Design by Element
### Headline Tests
Test: value prop angle, specificity, social proof integration, question vs. statement, length. Measure: conversion rate, bounce rate, scroll depth.
### CTA Tests
Test: button copy (action vs. benefit), color (contrast), size, placement, surrounding copy. Measure: click-through rate, conversion rate.
### Layout Tests
Test: single vs. two column, long vs. short form, section order, video vs. static hero, with vs. without nav. Measure: conversion rate, scroll depth. Guardrail: page load time.
### Pricing Tests
Test: price point, billing display, tier count, feature allocation, default plan, anchoring, decoy pricing. Measure: **revenue per visitor** (not just CR). Guardrail: support tickets, refund rate.
### Copy Tests
Test: tone, length, format (paragraphs vs. bullets), emotional angle, proof type. Measure: conversion rate, read depth.
## Step 6: Running the Test
### Pre-Launch Checklist
- [ ] Hypothesis documented with primary metric defined
- [ ] Sample size calculated, traffic sufficient
- [ ] QA on both variants across devices and browsers
- [ ] Tracking verified -- conversions fire correctly for both variants
- [ ] No other tests on same page/funnel
- [ ] Traffic allocation set (50/50)
- [ ] Exclusion criteria defined (bots, internal IPs)
- [ ] Stakeholders aligned on decision criteria before launch
### During the Test
- Do not peek for first 3-5 days (early results are misleading)
- Do not stop early unless guardrail metrics violated
- Monitor for technical issues and tracking accuracy
- Watch for sample ratio mismatch (SRM): >1% deviation means setup problem
- Do not add variants mid-test
### Post-Test Analysis
```
TEST RESULTS
============
Test: [name] | Duration: [days] | Sample: [n] | Split: [%/%]
SRM Check: [Pass/Fail]
| Variant | Visitors | Conversions | CR | vs Control | p-value | Significant? |
|---------|----------|-------------|-----|------------|---------|--------------|
| Control | X,XXX | XXX | X.XX% | -- | -- | -- |
| Var B | X,XXX | XXX | X.XX% | +X.X% | 0.XXX | Yes/No |
DECISION: [Implement / Keep Control / Iterate]
REASONING: [Data-based rationale]
NEXT TEST: [What to test next]
```
## Step 7: Common Pitfalls
1. **Peeking**: Checking daily inflates false positives to 25-30%. Commit to sample size upfront.
2. **Underpowered tests**: "No result" often means "not enough data."
3. **Too many variables**: Isolate one variable per test.
4. **Ignoring segments**: Overall flat, but mobile wins / desktop loses. Always segment.
5. **Novelty effect**: Run 2+ weeks to account for novelty wearing off.
6. **Multiple comparisons**: One primary metric. Bonferroni correction for extras.
7. **Practical significance**: A significant 0.1% lift may not be worth implementing.
## Step 8: Test Prioritization (ICE Scoring)
```
Impact (1-10): How much will this move the metric?
Confidence (1-10): How likely to produce a result?
Ease (1-10): How easy to implement?
ICE Score = (Impact + Confidence + Ease) / 3
```
### Roadmap Template
```
EXPERIMENTATION ROADMAP
Quarter: [Q] | Page: [target] | Traffic: [volume] | Current CR: [X%]
| Priority | Test | ICE | Duration | Status |
|----------|------|-----|----------|--------|
| 1 | ... | 8.3 | 14 days | Ready |
| 2 | ... | 7.7 | 21 days | Ready |
| 3 | ... | 7.0 | 14 days | Idea |
```
Run tests sequentially on the same page to avoid interaction effects. Provide a backlog ranked by ICE score.
Scrolleá dentro del bloque para ver la skill completa, o usá el botón de copiar.
Preguntas frecuentes sobre la skill ab-test-setup
ab-test-setup es una skill de OpenClaudia (github.com/OpenClaudia/openclaudia-skills, licencia MIT) que le da a Claude el framework de un experto en experimentación. Cubre las 8 etapas de un A/B test: contexto, hipótesis, cálculo de tamaño de muestra, tipos de test, diseño por elemento (headline, CTA, layout, pricing), checklist de lanzamiento, análisis post-test con p-value y significancia, y priorización ICE. Sirve para dejar de cambiar cosas a ojo y validar qué versión gana con rigor estadístico.
La usás cada vez que tengas una decisión de conversión que resolver: qué headline de la landing, qué CTA del email, qué precio en la página de planes. La skill te obliga a escribir la hipótesis antes de tocar nada, calcula cuánto tráfico necesitás y cuántos días tiene que correr el test, y al final te dice si el resultado es significativo o si te estás emocionando con ruido. Combinala con viral-hooks para generar las variantes de copy que vas a enfrentar en cada test.
Depende de tu tasa de conversión actual. La skill trae una tabla de referencia: con una conversión del 5% y buscando detectar una mejora del 20%, necesitás unos 38.200 visitantes por variante. Si no llegás a esos números, la propia skill te da salidas (subir el MDE que buscás, testear una página de más tráfico, usar una micro conversión). Lo importante es que te dice la verdad antes de que corras un test que nunca iba a alcanzar significancia.
Cambiar algo porque "se ve mejor" y mirar si subieron las ventas te lleva a conclusiones falsas: el 25 a 30% de las veces vas a creer que ganaste cuando fue azar (el problema de espiar los resultados a diario). Esta skill fija el tamaño de muestra de antemano, define una sola métrica primaria, chequea sample ratio mismatch y aplica corrección estadística. Es la diferencia entre una decisión defendible y una corazonada. Para el sistema completo de optimización mirá el agente de contenido.
