Módulo 23 · Prueba A/B de tu agente de IA y alertas de deriva

Read in English: Module 23 · A/B test your AI agent and drift alerts.

Objetivo: comparar variantes de un mismo agente de IA de voz (su voz, su estilo, su modelo), leer el veredicto sin engañarte, saber qué significa «Todavía no hay datos suficientes» y entender qué hacen y qué no hacen las alertas de deriva. Tiempo: ~8 minutos · Necesitas: un agente de IA en estado En vivo (Módulo 22) y llamadas reales o de prueba que lo atiendan.

Este módulo es para quien opera el agente. Si lo que quieres es llamar a la API, la guía es Experimentos A/B de la voz IA y alertas de deriva. Para las pruebas A/B de campañas, que funcionan igual, ve el Módulo 18.

1. Qué es y quién lo enciende

Una prueba A/B de un agente reparte sus llamadas entre de dos a cinco variantes y mide cuál da mejor resultado. No hay ningún interruptor que encender: está disponible para todo agente En vivo, y la vigilancia de deriva (sección 5) corre sola para toda cuenta. Un agente sin prueba en marcha atiende exactamente como siempre.

Crear, arrancar y terminar pruebas exige el rol de administrador de la cuenta; con el rol de miembro la plataforma responde «role_forbidden». Ver la lista y los resultados está abierto a cualquier usuario de la cuenta.

2. Crea y arranca una prueba

1. Abre el agente desde Voz IA → Agentes de IA y entra en Experimentos A/B. La pantalla dice «Compara variantes del mismo agente sobre el mismo tipo de llamadas. El control es el agente tal como está hoy.» Si el agente no está activo, la pantalla avisa «El agente no está activo, así que no se puede crear ni arrancar un experimento. Actívalo antes en el editor del agente.»
2. Elige Nuevo experimento y ponle un Nombre del experimento.
3. En Se decide por elige la métrica que dará el veredicto. Una vez creado, no se puede cambiar. Las opciones son: Tasa de promesas de pago, Llamadas cerradas sin humano, Traspaso a un humano (menos es mejor), Latencia del primer audio, p95 (menos es mejor) y Coste por llamada (menos es mejor).
4. Define de 2 a 5 variantes con Añadir una variante y Quitar. Cada una tiene un Nombre, un Peso (entero de 1 a 1000, su parte relativa del reparto) y, en exactamente una, la marca Control: el agente tal como está hoy, que no cambia nada.
5. Para cada variante que no sea el control puedes cambiar, y sólo esto: la Voz y su Ritmo (de 0 lento a 1 rápido), un Párrafo de estilo (una sola línea de hasta 600 caracteres, que se añade después de todo lo que el agente dice por obligación y no puede sustituir nada de ello), el Modelo, el Esfuerzo de razonamiento y la Forma del prompt. Un campo vacío mantiene el agente tal cual.
6. Elige Crear experimento. Nace en Borrador. Si la plataforma rechaza algún campo, la pantalla lo lista bajo «La plataforma rechazó estos campos:» y no guarda nada.
7. En la fila del borrador, elige Arrancar. Pasa a En marcha. Un agente sólo puede tener una prueba en marcha a la vez. Si un modelo salió del catálogo desde que escribiste el borrador, arrancar se rechaza y la pantalla dice por qué.

Mientras corre, las variantes quedan congeladas: para probar otro estilo, otra voz u otro modelo, crea otra prueba. Terminar pide confirmación («El agente vuelve a responder como hoy y un experimento terminado no se puede reanudar.»).

Lo que nunca varía

La pantalla del formulario lo lista bajo Lo que NO varía: el aviso legal de apertura con su texto y su audio, la baja hablada, las reglas de traspaso (incluida «quiero hablar con una persona»), los límites de negociación, la lista de frases prohibidas, las herramientas del agente y las comprobaciones de cumplimiento de cada llamada. Una llamada que un gate bloquea nunca se convierte en conversación, así que tampoco cuenta para ninguna variante.

3. Cómo se reparten las llamadas

El reparto sigue los pesos y es fijo: la misma deuda recibe siempre la misma variante mientras la prueba corre. En una llamada entrante, que no tiene deuda, el reparto es por llamada. Cada conversación guarda su variante al abrirse y no se reasigna jamás. Si una variante no se puede resolver (por ejemplo, un modelo retirado), esa llamada la atiende el agente base y no una variante a medias.

4. Lee el veredicto

Elige Resultados en la fila de la prueba. La consola pinta el veredicto de la plataforma tal cual, sin calcular nada por su cuenta. Tiene tres respuestas posibles:

• Todavía no hay datos suficientes (insufficient_data). No es un empate ni un mal resultado: es que aún no hay llamadas bastantes para decir nada. La plataforma pide, por variante, al menos 100 conversaciones válidas y 10 éxitos cuando la métrica es una tasa, o al menos 100 llamadas con la medida cuando es una media (latencia o coste); la pantalla muestra el mínimo que exige. Espera más llamadas. La plataforma no da un ganador antes de tiempo, y mirar con frecuencia no lo adelanta.
• Sin diferencia significativa (no_significant_difference). Hay datos suficientes y no se distingue una variante del control. Las tasas se comparan con una prueba de dos proporciones, las medias con la prueba de Welch, con 0.05 de significancia y un ajuste por comparar varias variantes contra el control.
• Ganador: X (p = …) (winner). Una variante supera al control con significancia; el detalle da la diferencia frente a quien se compara y su intervalo.

Una conversación válida es una cerrada cuyo desenlace no es fallido ni buzón de voz. Las tasas de las métricas principales se miden sobre las válidas; la tasa de fallidas y la de violaciones de cumplimiento, sobre todas las cerradas.

Tres avisos que cambian cómo leerlo:

• El reparto no salió como los pesos. Si la proporción real de llamadas se desvía de los pesos, la pantalla avisa «las llamadas no se repartieron entre las variantes en la proporción de los pesos, así que la comparación puede estar sesgada» y la plataforma retiene el ganador.
• Coste «Sin tarifa». Si hay llamadas cuyo proveedor no tiene tarifa cargada, la columna Coste dice Sin tarifa o Con tarifa parcial, nunca cero, y un veredicto por coste queda en «datos insuficientes». Tampoco verás importes de coste: la prueba compara; tu factura es por minuto (columna Minutos por llamada).
• «Con métricas». Esta columna dice cuántas conversaciones cerradas publicaron sus métricas. Un número bajo explica una latencia o un coste sin datos.

Si los resultados no cargan, la pantalla dice «No se pudieron cargar los resultados» con Reintentar: un error de red nunca se muestra como «sin datos».

La parada por seguridad

Si una variante comete violaciones de cumplimiento con significancia más a menudo que el control (con al menos 100 conversaciones cerradas en los dos brazos), la plataforma termina la prueba por su cuenta, el agente vuelve a atender como hoy y la pantalla dice «Lo terminó la plataforma: …» con el motivo. No hay forma de apagar esta parada.

5. Alertas de deriva

La deriva es otra cosa: no compara variantes, vigila que lo que ya tienes no se degrade. Cada 15 minutos la plataforma revisa, por hora, cinco medidas de cada agente y variante, y de cada modelo (todas las llamadas que lo usaron, con o sin prueba, de modo que un empeoramiento del proveedor se ve aunque no hayas cambiado nada): la latencia del primer audio (p95), la tasa de traspaso a un humano, la tasa de errores del proveedor, la tasa de llamadas fallidas y el coste por llamada. Sólo avisa cuando la medida empeora, nunca cuando mejora.

Dos reglas deciden:

• Banda móvil. Compara la hora con las de los 7 días anteriores. Necesita al menos 24 horas de esos 7 días con 30 llamadas o más cada una, y 30 llamadas en la hora que juzga; con menos, no juzga.
• Presupuesto de latencia. Si el p95 del primer audio de la hora supera 900 ms, avisa aunque la degradación haya sido lenta y ya parezca normal.

Cada alerta trae su evidencia: lo observado, la media y el umbral, cuántas llamadas la sostienen y las horas que miró la regla. Una alerta se abre y, cuando la medida vuelve a la normalidad, se cierra en una fila nueva; la alerta abierta no se borra.

Qué hace y qué no hace

• Hace: deja la alerta por escrito con su evidencia, disponible en la API (GET /v1/ai/agents/drift) y como el evento de webhook ai.drift.detected que recibe tu integración, una vez por alerta abierta (Módulo 21).
• No hace: no pausa el agente, no termina una prueba, no cambia el modelo ni toca ningún gate. Decidir qué hacer es tuyo.
• También se ve en la consola. Al pie de la pantalla de Experimentos A/B del agente, el panel Alertas de deriva lista las alertas abiertas y cerradas con su evidencia y, bajo Qué se está juzgando, la cobertura de cada serie.
• «Sin alertas» no siempre es «todo bien». La API también devuelve la cobertura: una serie con pocas llamadas en su última hora figura como insufficient_sample, y una que no reúne 24 horas con 30 llamadas o más en los 7 días anteriores como insufficient_baseline. Esas series no se están juzgando todavía.

6. Límites declarados

• Un párrafo de estilo no se puede demostrar neutro por sí mismo. Lo acotan las guardas que corren por encima del modelo y no leen el estilo (el aviso se reproduce por código antes de que hable el modelo y las frases prohibidas se descartan antes de decirse), y la parada por seguridad.
• Una persona con dos deudas puede oír dos variantes, y quien vuelve a llamar a una línea entrante puede caer en otra.
• La prueba es de horizonte fijo: no hay ganador anticipado.
• El coste de proveedor sólo existe donde la plataforma cargó una tarifa.
• La deriva se detecta por sus efectos (latencia, traspasos, errores, coste), no comparando el sentido de las respuestas del modelo.
• Nada de esto toca los textos legales: si necesitas variar un aviso, es una decisión de tu asesor legal y no un experimento.

Resumen

1. Una prueba compara de 2 a 5 variantes de un agente En vivo; sólo cambian voz, estilo, modelo y razonamiento, nunca lo legal.
2. «Todavía no hay datos suficientes» significa esperar más llamadas, no que haya empate.
3. Un ganador sólo aparece con datos suficientes, reparto fiel a los pesos y significancia; un coste «Sin tarifa» no se lee como cero.
4. Si una variante viola más el cumplimiento, la plataforma termina la prueba sola.
5. La deriva avisa de lo que empeora, con su evidencia, y no cambia nada por sí misma.

Qué sigue

• La API de estas pruebas y de la deriva: guía para desarrolladores.
• Las pruebas A/B de campañas: Módulo 18.
• Cómo se factura cada minuto: Módulo 7.