Une heure avant la mise en ligne, vingt minutes pour décider
Go / no-go, mardi, seize heures
Product Vingt minutes. On part ou on ne part pas.
Dev Le code dort en production depuis vendredi. Il est derrière un flag, donc partir veut dire l’allumer, rien à envoyer de plus.
Product Alors on commence à un pour cent demain matin et on regarde.
Dev Progressif, un pour cent, et je veux voir le kill switch tourner contre la vraie configuration avant d’aller dormir, pas contre celle de recette.
Data À un pour cent, je ne peux pas lire l’expérience avant une semaine. L’effet détectable à ce trafic est plus gros que le gain qu’on espère.
Product J’ai vu ce matin une courbe qui nous donnait onze pour cent de mieux.
Data Cette courbe avait trente heures et je voudrais qu’on la supprime. Regarder chaque matin et s’arrêter un jour où c’est joli, c’est se convaincre d’un tirage à pile ou face.
Dev Il y a aussi eu un souci de répartition la dernière fois. Cinquante-cinquante est ressorti à cinquante-trois contre quarante-sept sur deux millions de sessions.
Data Ce qui veut dire que l’affectation était cassée, pas que la variante a gagné. Un test qui rate ce contrôle, je ne le lis pas.
Product Et les garde-fous.
Data Remboursements et contacts au support, plats tous les deux. Et la mesure qu’on s’était engagé à bouger, c’est l’activation. Elle vaut pour un projet partagé avec quelqu’un, pas pour une inscription.
Dev Encore une chose. On a dépensé presque tout le budget d’erreur dans la panne d’il y a quinze jours, donc si ça vacille, on arrête les livraisons du mois.
Product Compris. On part, à un pour cent, et triage à dix heures demain.
Vingt minutes pour trancher, et presque rien de tout cela ne porte sur la fonction elle-même. Ça porte sur qui peut l’éteindre, qui a le droit de lire les chiffres, et ce qui se passe si les chiffres mentent.
Un point de mise en ligne va de la décision à la sortie de secours
Ça commence par un oui ou un non, et ça cesse aussitôt d’en être un : plus rien ne va à tout le monde d’un seul coup. Viennent ensuite les mots pour mesurer, et ceux qui disent comment la mesure se casse. Ça finit sur ce qui reste à dépenser en risque.
Go / no-goGo/no-go
La réunion ou le point de décision où l'équipe confirme si la mise en ligne se fait ou non.
Go / no-go à seize heures, apporte le taux de plantage.
Le moment pour lequel le point existe, et la ligne la plus courte de son ordre du jour.
Feature flag
Interrupteur dans le code qui active ou coupe une fonction pour certains utilisateurs, sans passer par une nouvelle version.
C'est derrière un feature flag, donc on livre éteint et on allume lundi.
Ce qui a séparé livrer de mettre en ligne. C’est pour ça que le code dort en production depuis vendredi sans que personne du dehors l’ait rencontré.
Déploiement progressifStaged rollout
Livrer un changement à une part croissante des utilisateurs au lieu de l'ouvrir à tous d'un coup.
Déploiement progressif : un pour cent aujourd'hui, dix demain si les courbes restent ennuyeuses.
La raison pour laquelle « c’est lancé » veut désormais dire « un centième des gens le voit ». Confondu avec une bêta : l’une choisit les gens, celui-ci prend une fraction de tout le monde.
Kill switch
Commande qui coupe une fonction immédiatement quand quelque chose tourne mal.
On vérifie que le kill switch marche avant de passer à cinquante pour cent.
Ce qu’il faut essayer quand tout va bien, parce qu’au moment où il sert, personne ne lira de documentation.
Test A/BA/B testing
Partager le trafic réel entre deux versions et trancher sur le comportement mesuré, pas sur l'argument le mieux tourné.
On a fait un test A/B sur l'état vide, et la version à un seul bouton a gagné.
Comment un désaccord sur un bouton devient une question qui a une réponse. Au passage, ça transforme toute la salle en statisticiens amateurs.
Métrique garde-fouGuardrail metric
Métrique surveillée pendant un test pour vérifier qu'un gain quelque part n'abîme pas autre chose ailleurs.
La conversion monte, mais la métrique garde-fou sur les remboursements a bougé aussi.
Le chiffre que personne ne cherche à bouger, et qu’on surveille exactement pour ça. Sans lui, un gain d’un côté achète en silence une perte de l’autre.
Peeking
Regarder encore et encore les résultats d'un test et l'arrêter dès qu'ils sont beaux, ce qui gonfle les faux positifs.
Arrête le peeking, le test tourne jusqu'à vendredi.
La façon la plus humaine de casser une expérience, et la plus dure à s’avouer. Quiconque ouvre un tableau de bord tous les matins l’a déjà fait.
SRMSample ratio mismatch
Écart statistiquement significatif entre la répartition du trafic voulue et celle qu'on observe : signe que le test est cassé.
Sur deux millions de sessions, la répartition a raté le contrôle de SRM, donc on ne lit rien.
Le contrôle qui dit que l’expérience est cassée, pas qu’une variante a perdu. Le sauter, c’est publier une affectation défectueuse comme un résultat.
Plan de trackingTracking plan
Document validé qui dit quels événements et quelles propriétés sont enregistrés, et ce que chacun signifie.
Avant d'inventer un nouveau nom d'événement, on regarde le plan de tracking.
L’accord qui empêche deux équipes de mettre des choses différentes derrière un même nom d’événement. Écrit une fois, ignoré un an, réécrit en colère.
Activation
Moment où un nouvel utilisateur accomplit l'action qui montre qu'il a tiré une valeur réelle du produit.
L'activation, c'est « premier projet partagé », pas « compte créé ».
La définition dont toute équipe discute et que peu écrivent. Placée à l’inscription, elle rend décoratif tout ce qui vient ensuite.
Triage des bugsBug triage
Passage régulier où les bugs remontés reçoivent une gravité, un responsable et une décision de corriger ou non.
Il est sorti du triage en P3, donc pas dans ce sprint.
La demi-heure où un défaut cesse d’être une plainte : quelqu’un le porte, quelqu’un dit à quel point c’est grave, et « pas maintenant » compte comme réponse.
Budget d'erreurError budget
La quantité de défaillance que le SLO autorise, et que l'équipe peut dépenser en risque avant de devoir suspendre les livraisons.
On a brûlé le budget d'erreur en une après-midi, donc plus de déploiement risqué ce mois-ci.
La raison pour laquelle une équipe cesse parfois de livrer alors que tout a l’air calme. Ça fait de la fiabilité une quantité au lieu d’un argument.
Demain, ça passe à dix pour cent
Puis cinquante, puis tout le monde, et quelque part au milieu quelqu’un demandera si on peut arrêter le test plus tôt. Celui qui tiendra l’interrupteur, ce sera vous.
Questions et réponses
Et les autres mots du produit ?
Sur la page du paquet, les 150. Ceux-là sont ceux qu’un seul point de mise en ligne emploie.
Pourquoi l’anglais est-il à côté ?
Les mots de la mise en ligne arrivent en anglais dans tous les bureaux, et la dispute autour d’eux se tient en français. Les deux formes se tiennent sur une même carte.
D’où viennent les définitions ?
Du paquet « Produit et UX », les mêmes cartes que dans l’appli.
Le prochain point tournera sur douze autres.
Le paquet « Produit et UX » en compte 150 ; dans l’appli, ils viennent par quelques-uns par jour.
