La llamada de una hora antes de publicar
Llamada de salida, martes a las cuatro
Producto Veinte minutos. ¿Sale o no sale?
Plataforma El código está en producción desde el viernes, apagado. Va detrás de un interruptor, así que salir es encenderlo, no subir nada.
Producto Entonces mañana empezamos por el uno por ciento y nos sentamos encima.
Plataforma Por fases, uno por ciento, y quiero probar el corte de emergencia contra la configuración de verdad antes de irme a dormir, no contra la de pruebas.
Datos Con el uno por ciento no leo el experimento en una semana. A ese tráfico, lo mínimo que soy capaz de distinguir es mayor que lo que esperamos mover.
Producto Esta mañana he visto una gráfica que decía que subíamos un once por ciento.
Datos Esa gráfica tenía treinta horas y me gustaría borrarla. Mirar cada mañana y parar el día que sale bonito es convencerse a uno mismo de una moneda al aire.
Plataforma En el de la semana pasada además hubo un problema de reparto. Cincuenta y cincuenta salió cincuenta y tres a cuarenta y siete, y eso con el tráfico de un mes.
Datos Eso dice que la asignación estaba rota, no que ganara la variante. Una prueba que falla esa comprobación no la leo.
Producto Lo del botón lo cerró el reparto a dos versiones, no la reunión.
Datos Y el evento que metisteis el martes lleva un nombre que no acordó nadie. Lo alineo yo antes de que se llene de basura.
Producto ¿Y las métricas de control?
Datos Devoluciones y avisos a soporte, planas. Y lo que acordamos mover es la activación, que en esta casa es compartir un proyecto, no abrir la cuenta.
Plataforma Una cosa más. El margen de fallo del mes nos lo comimos casi entero con la caída de hace dos semanas, así que si esto se tambalea paramos las subidas.
Producto Entendido. Sale al uno por ciento y a las diez repasamos los fallos que hayan entrado.
Veinte minutos para decidir, y casi nada de eso va de la función. Va de quién puede apagarla, quién tiene permiso para leer los números y qué pasa si los números mienten.
La llamada va de la decisión a la salida de emergencia
Empieza con un sí o un no y deja de serlo enseguida: ya nada llega a todo el mundo de golpe. Después vienen las palabras de medir, y las de cómo se estropea una medida. Y termina con lo que al equipo le queda para gastar en riesgo.
Go / no-goGo/no-go
La reunión o el punto de decisión justo antes de publicar: sale o no sale.
El go / no-go es a las cuatro, trae la tasa de caídas.
El momento por el que existe la llamada, y el punto más corto de su guion.
Feature flag
Interruptor en el código que enciende o apaga una función para usuarios elegidos sin publicar una versión nueva.
Va detrás de un feature flag, así que la subimos apagada y la encendemos el lunes.
Lo que separó subir código de enseñárselo a alguien. Por eso el código lleva en producción desde el viernes sin que nadie de fuera se haya cruzado con él.
Despliegue por fasesStaged rollout
Publicar un cambio a una parte cada vez mayor de los usuarios en lugar de a todos de golpe.
Despliegue por fases: hoy el uno por ciento, mañana el diez si las gráficas siguen aburridas.
La razón de que «hemos lanzado» hoy signifique que lo ve una porción diminuta. Con una beta se confunde: aquella son personas elegidas; esto, una parte de todas.
Kill switch
Control con el que se apaga una función al instante cuando algo va mal.
Comprueba que el kill switch funciona antes de subir al cincuenta por ciento.
Se prueba cuando todo va bien, porque el día que haga falta nadie va a leer un manual para encontrarlo.
Test A/BA/B testing
Repartir el tráfico real entre dos versiones y decidir por el comportamiento medido, no por quién argumentó mejor.
Pasamos un test A/B al estado vacío y ganó la versión de un solo botón.
Cómo una discrepancia sobre un botón se convierte en una pregunta con respuesta. También convierte a toda la sala en estadísticos aficionados.
Métrica guardarraílGuardrail metric
Métrica que se vigila durante un experimento para que una victoria en un sitio no esté rompiendo otro.
La conversión sube, pero la métrica guardarraíl de devoluciones también se ha movido.
El número que nadie intenta mover, vigilado justo por eso. Sin él, una victoria en un sitio compra en silencio una derrota en otro.
Peeking
Consultar los resultados del experimento una y otra vez y pararlo en cuanto se ven bonitos; así se disparan los falsos positivos.
Deja de mirar, el test corre hasta el viernes.
La forma más humana de romper un experimento, y la más difícil de reconocer. Quien abre el panel cada mañana ya lo ha hecho.
SRMSample ratio mismatch
Diferencia estadísticamente significativa entre el reparto de tráfico previsto y el real: señal de experimento roto.
Con dos millones de sesiones el reparto no pasó la prueba de SRM, así que no lo leemos.
La comprobación que dice que el experimento está roto, no que la variante perdiera. Saltársela es cómo una asignación rota acaba publicada como hallazgo.
Plan de mediciónTracking plan
Documento acordado sobre qué eventos y propiedades se registran y qué significa cada uno.
Antes de inventar un nombre de evento nuevo, mira el plan de medición.
El acuerdo que impide que dos equipos entiendan cosas distintas por el mismo nombre. Se escribe una vez, se ignora un año y se reescribe con rabia.
ActivaciónActivation
El momento en que un usuario nuevo hace la acción que demuestra que ya ha sacado valor de verdad.
La activación es «primer proyecto compartido», no «cuenta creada».
La definición que todo equipo discute y pocos dejan por escrito. Ponla en el alta y toda gráfica posterior queda de adorno.
Triaje de erroresBug triage
Repaso periódico de los fallos reportados: gravedad, responsable y decisión de arreglarlo o no.
Del triaje salió como P3, así que en este sprint no entra.
La media hora en que un fallo recibe nombre, responsable y veredicto, incluido el veredicto «ahora no», que también es una decisión y se apunta.
Presupuesto de errorError budget
La cantidad de fallo que permite un SLO; ese margen se gasta en riesgo hasta que hay que parar las publicaciones.
Nos fundimos el presupuesto de error en una tarde, así que este mes nada arriesgado.
El motivo de que un equipo deje de publicar mientras todo pinta bien. Convierte la fiabilidad de discusión en cantidad.
Mañana pasa al diez por ciento
Luego al cincuenta, luego a todos, y en algún punto alguien pregunta si la prueba se puede cerrar ya. Quien tenga el interruptor esta vez serás tú.
Preguntas y respuestas
¿Y las demás palabras del oficio?
En la página del tema, las 150. Aquí hay doce: las que gasta una sola llamada de salida.
¿Por qué está el inglés al lado?
Las palabras de publicar llegan en inglés a cualquier oficina — feature flag, rollout — y la pelea que las rodea ocurre en español. Las dos formas van en la misma tarjeta.
¿De dónde salen las definiciones?
Del tema «Producto y UX»: las mismas tarjetas que en la app.
La llamada que viene irá sobre otras doce.
En el tema «Producto y UX» hay 150; en la app llegan de unas pocas en unas pocas cada día.
