MyTF1 et la coupe du monde

dans le podcast AWS français cette semaine on parle de diffusion d'événements sportifs à très grande échelle avec TF1 et la récente Coupe du monde de football bonjour bienvenue dans le podcast AWS en français merci de vous abonner sur les différentes plateformes d'écoute que sont Spotify dieser Apple music toutes les autres Google podcast Apple podcast abonnez-vous comme ça vous recevez les download tous les vendredi matin vous le savez dans le podcast aw1 français nous revenons sur des architectures des événements clients pour vous inspirer à à déployer certains services à WS ou revoir vos architectures et aujourd'hui on va parler comme je l'ai dit dans l'introduction de diffusion de broadcasting d'événements sportifs à très grande échelle alors j'ai D avec TF1 dans l'introduction mais plus précisément c'est itf1 et j'ai le plaisir d'avoir Thierry bonhomme qui est le CTO chief Technology Officer de itf1 Thierry merci d'être là et donner un tout petit peu ton temps pour le le podcast AWS en français dis-moi itf1 par rapport à TF1 c'est quoi bonjour déjà itf1 c'est la partie digitale de TF1 donc je suis en charge de la plateforme de streaming donc de My TF1 de tfum Max et de TF info qui sont les plateformes de streaming de TF1 donc la branche digitale donc quand tu dis streaming ce sont les applications que je peux avoir sur mon mobile mais aussi sur ma box si je vais voir my TF1 sur sur sur ma box de mon fournisseur les tablettes les sites Web et et tout à fait c'est tout sauf la TNT et le broadcast ça représente quel volume de d'audience par rapport à TF1 classique par la TNT en abord en apport d'audience digital c'est entre 20 et 25 % d'audience maintenant croissant je su fa augmentant d'année en année croissant oui les 10 dernières années de plus en plus ou parce que les habitudes de consommation changent en matière de TV également tout à fait tout à fait c'est ça et il y a plus en plus de téléconnectés aussi donc ça se fait sur mytf alors quand il y a un événement sportif majeur comme il y a eu la Coupe du monde de football récemment au mois de novembre c'était novembre Novembre Décembre l'année passée ça veut dire beaucoup de trafic pour vous sur votre infrastructure c'est quoi les challenges de itf1 pour générer pour pour pour supporter pas pour générer pour supporter le trafic d'un d'un événement sportif majeur les gros challenges enfin faut savoir déjà sur TF1 c'est plus de 29 millions de téléspectateurs télé et nous my TF1 c'est plus de 3 million de visites cumulé donc les gros challenges c'est déjà enfin en dehors du challeng Tech c'est de la pression c'est qu'on accueille plus de 3 millions de personnes à un instant T c'est c'est beaucoup de pression c'est une visibilité parce que c TF1 c'est un événement c'est une pression économique mine de rien parce que TF un modèle publicitaire donc il faut pas planter la plateforme pour pouvoir assurer la publicité donc d'un tel événement donc beaucoup d'adrénaline déf ex c'est le volume performance parce que quand on a un but faut réagir tout de suite quand on a un match il faut voir tout le match faut voir en même temps que son voisin c'est et puis bah voilà c'est c'est beaucoup de pression beaucoup de plaisir aussi parce que voilà c'est c'est l'émotion collective on est ensemble et puis voilà surtout le volume la performance c'est surtout ça qu'on doit assurer donc la scalabilité la la capacité d'accepter plusieurs millions de login dans des périodes de temps extrêmement courtes et de distribuer de la vidéo en temps réel avec le moins de délai possible évidemment c'est un truc qu'on a horreur quand on regarde d'avoir les voisins wou avant de voir l'image de soiême tout à fait tu disais en préparant ce podcast que les les phases du jeu ont des des influences sur les pics de trafic également oui tout à fait c'est les bah au moment du coup de sifflet de début de match c'est un fort trafic après on voit les buts on voit évoluer le volume en fonction du match si le match est nul et c'est un 0 on voit le trafic diminuer au fur et à mesure si il y a un but on voit le volume augmenter parce que les gens sont au courant sur Twitter et donc il viennent voir le but typiquement sur la finale quand on est terminé 2-0 qu'on est revenu à 1-0 on a vu le trafic augmenter puis à deux partout on a vu exploser le trafic et lors des penalties ça allait encore plus en augmentant donc on voit ça vraiment en temps réel au fil de l'eau et on voit des pic de milliers milliers de requetes secondes arrivver d'un seul coup et puis vous avez des des contraintes techniques aussi déclenchement de la pu par exemple tout à fait les décrochash pub de la mi-temps qui qui est le gros spot le Gold spunt avant au moment de juste avant les les les chansons des matchs des hymnes et puis au moment de la pub à la mi-temps tout à faite curiosité ce sont les mêmes pubs qu'on voit sur My F1 et sur la TNT non c'est la pub digitale donc on décroche on capte le signal et on décroche au moment du tunnel de pub et on c'est vraiment du chiffre d'affaires la pub purement digitale différent par région également différent oui tout à fait en fonction de là où on est on va voir des pubs ciblé au plus local en fonction de sur la téé segmentée oui tout à fait bien ça donne un un overview du du challenge que vous aviez devant vous quel est le stack technique que vous utilisez pour pour délivrer my TF1 notre stack depuis 3 4 ans on a on a refait un peu tout du soloplaafond en fait on a on est passé donc sur une infrastructure d'cloud AWS avec l'orchestration containérisée sur kubernites on a découpé notre architecture en microservice avec un backend en Go pour tenir la charge justement lors de ces volumes qu'on a appris lors des dernières compétitions avec des API graphql pour pour pareil tenir la Chae temps réel et avoir des liens avec nos frontes plutôt simples et rapides avec une architecture aussi événementielle adossé à du Kafka pour toujours pareil avoir du temps Ré le plus possible pour éditorialiser tout ça mettre les extrras de match au bon moment au bon endroit quand il y a un but le découper et pendant le match pouvoir livrer aux autres aussi comme c'est un match en exclusivité typiquement quand il y a un but on va le distribuer à l'équipe on va le distribuer au parisiens à d'autres pendant le match et ça c'est fait par notre plateforme et on a d'un point de vue vidéo plusieurs CDN internet donc on a pour la diffusion vidéo vraiment du CDN interne des CDN tiers comme clot front AWS ou d'autres euh et on est obligé de multiplier ces CDN parce qu' un pic de charge comme on tient sur la finale de la Coupe du Monde typiquement un fournisseur ne peut pas le tenir en France donc on est obligé de multiplier les fournisseurs pour le superb je sais que les chaînes de télé en ont six ou se nous on en a on en a trois ou quatre c'est une pratique un prodet très très grosse je parlis avec un notre expert claud front qui est le le CDN AWS très gros site Web pour des événements sportifs typiquement en broadcast mais aussi de très gros sites de rité l'Amazon par exemple d'utiliser plusieurs CDN pour pas mettre tous ses œufs dans dans dans dans le même panier également c'est quoi l'histoire d'un flux vidéo qui sort de de de la régie et au moment où elle arrive sur sur mon iPad ou sur sur ma télé ça passe par quel système grosso modo he faut pas rentrer dans tous les détails mais j'imagine que vous avez réencoder de la vidéo à la volée pour différents formats des tailles d'écran différents des des B des bandes passantes différentes c'est ça tout à fait ça sort de la ce qu'on appelle le carart régie he on va le RG envoie envoie le la vidéo à la tour de TF1 et à la tour de TF1 donc quelque part il y a des encodeurs live donc là on parle du live qui vont transcoder en temps réel ce qui explique aussi ce petit délai de latence qu'on a sur le streaming en temps réel le flux parce que c'est des images qui sont de très très très haute qualité donc c'est des fichiers sources qui sont très forte qualité et nous on va découper on va découper ce format un format pour les mobiles un autre format pour la télé donc donc du 5 m pour la télé du de la HD pour notre offre HD de la du SD donc la Standard quality pour pour les mobiles et on a h ce qu'on appelle des bitr adaptatifes qui vont s'adapter au au aux différents écrans et donc tout ça ça doit être fait en temps réel c'est c'est des des des encodeurs hardware ou c'est c'est c'est votre cluster cuberntis qui fait ça euh c'est des encodeurs sur du là c'est encodeer hardware parce que le fichier qu'on reçoit est de tellement grosse qualité qu'il faut que ça soit vraiment à la tour TF après on va encoder et on envoie le résultat de l'encodage dans la WS qui après nous assure un peu le le le package et ensuite on va assurer la diffusion de là mais en fait il y a tellement des fichiers sont tellement de haute qualité qu'on peut pas se permettre de d'avoir du du temps de transport entre le moment entre l'encodeur et le fichier source d'accord alors c'est pas la première fois qu'il y a une coupe du monde c'est pas la première fois que que MyTF1 existe non plus euh donc qu'est-ce qui a changé cette année par rapport il y a 4 ans enfin quand je dis cette année 2022 par rapport à à la la précédente et celle d'avant bah au début d'année on a déjà tenu des pics de charges il y a 2 ans finale de Champions leag du PSG ou les discours du président mais là en fait ce qui ce qui a changé c'est on s'est posé la question comment aller au-delà de ce qu'on avait fait euh outre les stacks depuis 3 an qu'on intervieu en temps réel on a est-ce qu'il fallait innover faire des gros changements donc en faisant le risque ass on s'est dit on va pas faire de bing bang on va rien changer de significatif on va pas faire de révolution on va pas mais on va cibler en fait les points à risque et les points d'amélioration et on s'est dit on veut fixer 100 d'utilisateur en 10 minutes et on s'est fixé ça comme objectif accueillir donc ça veut dire quoi ça accueillir ça veut dire les gens arrivent sur la page de login doivent s'authentifier ou réutiler un token qu'ils ont déjà et démarrer un streaming c'est ça et on s'est dit en fonction de l'audience 1 c'est ce qu'on avait fait il y a 4 ans et on s'est dit là on veut les met en tout pendant tout le match et là on s'est dit vu le volume et l'audience qu'on attend on veut avoir en 5 minutes ça et donc ce qui veut dire 5000 requêes secondes d'arrivé de gens au moment du coup de sifflet et aussi au moment des but si jamais il y a des buts ou au moment de la pub donc c'était vraiment l'objectif qu'on s'est donné donc on a fait des hypothèses d'audience euh on a débattu sur certains matchs donc on prend les matchs on a le calendrier des matchs on se dit le France euh le France je sais pas France Angleterre va faire plus d'audience qu'un Azerbaïdjan machin chose j'ai rien contre l'Azerbaïdjan exactement Chili azerbaïjan le match d'ouverture et on va on a classé on a classé le risque par match et on a on s'est ce qu'alé sur le plus gros match qu'on allait faire et après on sait pas si on va en finale parce que tout ça c'est dans incertitude faut gérer l'incertitude si la France avait perdu au 3è match on savait très bien qu'on allait pas avoir le même système en place la même audience que quand la France est est en finale ça veut dire quoi quelqu'un qui arrive en terme de de de système il il y a une authentification il y a des épisc enfin il y a qu quelles sont les les grosses briques les grosses phases d'un nouvel arrivant comment comment ça marche de votre alors il y a donc la Brig de login donc effectivement si c'est une personne qui sit qui vient régulièrement sur My TF1 donc il a déjà son login mais bon il faut qu'il soit reconnu et si j'ai ce qui arrive souvent pour un match de foot et au début compétition c'est les gens qui reviennent que pour les compétitions donc tout pour l'Euro il y a 2 ans euh donc la personne elle revient 2 ans après il faut qu'elle recrée son mot de passe h et donc cette création de mot de passe ensuite on est authentifié donc ça c'est des briques avec un vraiment une reconnaissance par personne et ensuite il a accès à un front web donc de là on lui donne accès est-ce qu'il est utilisateur je dirais premium est-ce qu'il est standard et on lui donne accès à un catalogue et la vue sur les les live et ensuite il clique pour avoir accès au live tout de suite donc le service d'authentification est sollicité le service de catalogue est sollicité tout à fait et on on met du cash justement pour éviter euh pour éviter de de solliciter trop à l'instanté au même moment tout donc il y a vraiment un système de CDN pour nous est capital pour pouvoir absorber cette cette charge et l'authentification et capital parce que au même moment bah on s'utentifie pour regarder et puis le le service qui va donner ou générer le l'URL qu'on va finalement distribuer au device client est également sous sous charge à ce moment-là et puis évidemment la distribution des contenus en HLS sur du live après c'est le transcodage et la diffusion qui vont perdre une fois qu'on est dans le flux vidéo c'est le flux vidéo qui va devenir capital avant cette arrivé au flux c'est l'authentification l'accès au servicees dire j'ai le droit j'ai pas le droit et après c'est le flux vidéo qui prend le pas sur l'importance et ce flux vidéo est à protéger et donc on va essayer de de de distribuer en temps réel le plus possible en absorbant la charge ensuite il faut protéger ce flux faut protéger ce site pour empêcher qu'il y ait des DIN au service et assurer que ça une continuité de service en temps réel parce que ce qui est important c'est de pas déconnecter l'utilisateur pour qu'il puisse garder son flux et son token ouis qu'on ait pas le la petite image de buffering le petit circle le petit rond qui tourne pendant que la vidéo est est frisé donc vous êtes préparé à ça vous avez fait des estimations de de charge 5 millions en en en 5 minutes c'est ça j'ai bien r tout à fait et on et de là-dessus bah on décide le nombre d'instances qu'on va avoir on prépare donc en amont avec les fournisseurs on prépare tout ce qui est compute CPU pod on dimensionne les CDN donc les fournisseurs de CDN en disant bah on va attend ça comme trafic donc ça se prépare 6 mois à l'avance he c'est pas c'est pas des choses qui se font à l'instant T c'est faut que les fournisseurs aient la capacité rseau pour le faire et nous de notre côté bah faut la capacité compute donc on réserve vraiment à l'avance pour se dire ok bah on sait jamais on va aller en finale et on réserve tout le monde au cas où on va aller en finale faire des grosses audiences de carton alors tu fais une transition superbe sur ma question suivante c'est comment on se prépare tu dis 6 mois à l'avance est-ce qu'on peut rentrer un peu dans ce détail de de de de de planification avec qui comment comment vous testez tout ça enfin c'est c'est 6 mois de travail pour ton équipe avant la Coupe du Monde oui c'est on a a vraent deux parties deux parties différentes il la partie applicative et la partie streaming qui est vraiment un peu deux choses donc sur la partie applicative on a on a fait une préprod avec dimensionné de la même manière que la production donc avec des des des gros des gros pods vraiment compute ISO et on a codé des scénarios pour simuler la charge euh utilisateur avec des débits secondes et on a vraiment bombarder la h page et l'authentification en simulant des utentes comment vous faites ça comment on simule 5000 requêes par seconde en ayant un autre cluster énorme de Pod de lambda ou on avait donc notre prod et notre préprod sur AWS puis on est parti de GCP donc de Google Cloud pour aussi euh simuler la charge sur WS pour pas rester dans l'écosystème éit de l'extérieur exactementic externe et pour bombarder depuis GCP et donc on a on a codé des scénarios en se disant je fais ça je clique à tel endroit et on a sur la homepage on a listé les endpoint qui était appelé et on a ces endpoint on a analysé quand on tapait les 12 endpoint qu' on accède au service lesquels étaient chargé lesquels étaient pas chargés et on a vu la charge de PO cubernetes qu'il fallait pour utiliser pour mettre ses bon endp dimensionnés de la bonne manière et la première fois qu'on lance son robot comme ça ça ça donne quoi sur la pré tout il faut au moins 15 jours 3 semaines avant de on fait un scénar euh puis quand on code on a mis bien 15 jours 3 semaines avant d'avoir un scénario nominal et après on fait tourner un endpo après un deuxième endpoint et puis après on on met en place après on a mis en place du cashing memory on a encore réduit du nombre d'appel quand on va tracer le nombre d'appel sur notre service d'authentification externe par exemple et on s'est rendu compte qu'on appelait 10 fois la fonction alors qu'une seule suffisait et donc on a recodé notre appli Android ou notre appli iOS pour appeler moins nos systèmes d'authentification en faisant moins de vérif moins de requêes vers l'extérieur pour réduire réduire ce nombre de requêtes donc c'était plus dearchitecture de performance pendant 2 3 mois pour réduire absolument l'omnorquet pour améliorer les performances à la fois côté applicatif et côté côté authentification ouais donc c'est pas que de l'Infra c'est pas que du scaling d'infra en mettant plus de Pod aussi c'est revoir l'architecture de cette application pour être le plus optimal possible à chaque maillon de la chaîne tout éviter de surcharger les API les nôtres mais aussi celles des fournisseurs donc ça se passe mal la première fois on met en place plein de monitoring évidemment pour collecter des données pour essayer de comprendre et et essayer d'identifier les les bottleeneck ou les les points que vous pouvez modifier et donc de façon itérative vous arrivez après quelques semaines à à à reproduire cette charge et on a fait des nouvelles releases de MyTF1 sur les sur iOS sur Android sur les télés sur web on en a fait plusieurs parce qu'on fonctionne en agile toutes les de TR semaines jusqu'à arriver un mois avant la Coupe du monde à une version qu'on estimait nous suffisante et après on a gelé cette version là pour se dire ok ça c'est la version minimum qu'il nous faut et on va éviter de toucher des choses tout ce qui concerne les AP isotantes pour avoir un minimum de durée avant la Coupe du monde pour être dans une situation assez stable et tester notre trafic le samedi soir le dimanche soir en production donc ça c'est une best practice aussi he c'est de dire une fois qu'on a une version ST on y touche plus pendant un certain temps chez nous on appelle ça des je sais plus des development free quelque chose comme ça il y a ça dans le monde du R je sais il y a des pics de trafic aussi Black Friday à Noël et C et interdiction de déployer des changements sauf s'ils sont critiques pour corriger une erreur évidemment on a passé nous de semaines on n pas passé un mois et demi de compétition parce que j'allais bloquer toute l'usine de développement une mise en prod par contre les deux premières semaines où il y avait beaucoup de match dont les mag Coupe de France on a voulu garder une version à peu près stable en étant pour avoir des certif en fait ça c'est l'avantage de la Coupe du monde après un certain temps dans un compet il y a de TR jours entre les matchs ça vous donne le temps de respirer de faire des ajustements et cetera ça c'est le volet technique mais il y a un gros volet process aussi de préparation euh oui il y a un niveau process donc c'est se préparer à l'avance c'est du d'abord mettre en place un monitoring avec des dashboards se dire parce que qu'and on est pris dans l'événement c'est une vingtaine de personnes mobilisées quand même et donc faut regarder arder vite les choses donc préparer des dashboards à l'avance temps réel avec du dat dooG du grafana travailler avec des éditorialistes aussi donc les les édito de My TF1 ceux qui sont en charge du sport de découper les événements sportifs de faire des commentaires sur les réseaux sociaux parce que faut être paranoïque dans c'est c'est on prépare le pire et le pire c'est un écran noir à 3 millions de personnes et donc comment on réagit s'il se passe ça donc préparer des scénarios ok si on per 10 minutes commencer à en amont préparer des messages sur réseaux sociaux préparer des cas de fure comment on explique donc c'est ça déjà préparé en amont ça veut dire que la la com les messages Twitter sont préédigés si jamais en cas de catastrofhe vous pas réfléchiron est pris dans le flux de la compétition faut et vraiment c'est délè faut les réd au maximum et donc on a pas et on applique juste quelque chose donc vous avez un runbook une proc à suivre à dérouler et on a une warroom donc avec ouverte en permanence entre les tech les itialistes les fournisseurs les fournisseurs de Cloud ou d'autentification à distance ou en physique sur un plateau on essaie d'avoir aussi des gens sur place parce que déjà c'est une bonne ambiance c'est sympa de regarder les matchs ensemble mais surtout il y a une concentration à avoir c'est un grand silence et puis on on regarde les écrans à droite à gauche tu vérifies ça c'est vraent le décollage une fusée en fait faut vraiment comparer ça à ça et donc c'est beaucoup de choses qui se passent à l'oral ou en audio Messenging voilà et aprs a un truc intéressant je t'interr une seconde vous incluez les les fournisseurs dans votre warroom donc vous aviez des représentants de WS de votre solution d'authentification qui tourne sur SAP des autres CDN des CDN des fournisseurs CDN aussi ouais tout à fait parce que en fait c'est des telles capacités des teles volumes et on sait très bien que dans ce cas-là bah c'est pas nous capacité réaction si on doit ouvrir un ticket avec le fournisseur on perd 20 minutes même si sont en urgence après on escalade donc et donc il faut que le fournisseur prépare aussi des équipes technique qui soit à disposition chez nous et donc c'est vraiment c'est vraent on Bou les gens surtout que ça peut être le soir ça peut être le weekend la finale c'était le dimanche après-midi ça se réserve à l'avance c'est pas en journée et donc il y a l'accompagnement notamment AWS le le Premium support qui a été exemplaire avec la présence du technical comp manager des CSM qui vont eux nous aider à piloter la machinerie du fournisseur pour pas que nous on on se perde en fait déjà on a nos on a notre infra on a nos genss à gérer et notre pression donc pour éviter d'aller gérer les organisations de nos fournisseurs donc d'avoir des points de relais de la part du fournisseur pour aller je dirais euh euh chercher les ingénieurs des uns des autres c'est c'est très utile pour nous ça nous fait gagner du temps en fait ouais dans ce cas-là vous avez un accès direct à nos équipes de service si jamais il y a un problème pendant le live c'est pas les équipes France directement qui vont réagir évidemment enfin si bien sûr ils vont être là mais comme relais vers les ingénieurs qui sont à Seattle ou ailleurs pour directement sur les c'est un accès à l'expertise directement en fait euh en fait c'est une question de de timeline c'est s'il y a un incident faut qu'on ragisse tout de suite donc avoir accès àexpert faut réserver à l'avance et les experts étaient en call également de de de de notre côté ou qu'il soit dans le monde pour pouvoir vous vous vous aider à n'importe quelle heure tu as parlé de monitoring et j'imagine vous aviez des grandes télés ou je TF1 vous devez avoir des télés des grandes télés avec des des dashboard de crafana et des tas de métriques comment est-ce que vous savez que vous observez les bonnes métriques c'est une question qu' qu'on pose souvent que que que les clients posent souvent comment est-ce qu'on sait que que qu'on ge la bonnes choses euh pour faire les bons dashboards on a mis je pense un mois et demi 2 mois c'est que justement se bench nous ont aidé à trouver ces tel indicateurs c'est pas le volume temps qui compte parce que le volume global si c'est noyer dans la masseon a 3 millions de requêes 3 million d'utilisateurs en fait c'est bien d'avoir une grande courbe mais c'est rentré dans le détail c'est les taux d'erreur c'est les pages 404 c'est euh filtrer trouvver les bons fit on a mis un mois et demi trou ch les dashboards efficac pas d'alerting mais c'est vraiment c'est le dashboard parce qu'on regardait le dashboard en temps réel euh pour le maximum temps réel bah dashboard sécurité notamment dashboard de CDN qui était pour nous très clair et euh bah à part tester vérifier qu'on voit la bonne chose vérifier un soir un samedi soir qu'and on regarde la bonne chose malheureusement c'est qu'un test and learn le dashboard h h donc 6 mois de préparation technique et process des war home pendant les événements et puis ça y est c'est l'ouverture c'est le jour J et tout le monde commence à se connecter comment ça se passe bah c'est euh grosse fébrilité de la part de tout le monde grosse un peu une attente qu' on prépare ça depuis un an 6 mois des équipes techniques on est un peu un peu de peur un peu de plaisir et c'est un peu l'aboutissement le premier match de l'équipe de France c'était une grosse grosse pression donc dans ce cas-là c'est chacun sur son écran 20 personnes sur un plateau un qui est en charge de regarder le CDN l'autre qui est en charge de des attaques de sécurité un qui est en charge du backend d'autre du front un autre du player avec l'élite tech à chaque fois plus les four de la coordination parce que c'est 20 personnes à coordonn et euh à la mi-temps la pub se passe bien oui euh donc ça veut dire le chi d'affire rentre et puis après à après le match c'est champagne et petit FO voilà décompression et puis on attend et puis on attend le suivant aussi parce que et après bah c'est pas un one shot c'est ça c'est et puis après est-ce que la France est qualifiée en 8e après à enc à on recommence et puis et après sky is the limit c'est que on a fait temps et c'est une petite compétition c'est une adrénaline après qui devient très stimulante c'est c'est que c'est tiens on fera quoi la prochaine fois on a battu une autre recordah prochain record record d'après on a fait 2 Tabit par seconde là on alors justement faisnous rêver c'est quoi les métriques que tu as pu observer au pic le pic je suppose c'était la finale c'était la finale c'était le pic c'est donc en gros c'est 3 millions plus plus de 3 millions de vidéos en tout sur sur un pic donc je disais c'est on a atteint 3 Tbit par seconde donc qui est vraiment la diffusion assez énorme donc 3,6 TER c'est 120 derrière Terra c'est vraiment 120 derrière ça tout tous c dn confondu donc c'est l'ensemble c'est l'ensemble de la charge en fait qui qui est passer sur M TF1 avec au moment des penalties c'était vraiment le le gros le gros du flux à ce momentl ça fait combien de de viewer concurrent concurrent de viewer ça fait donc à l' instant au même moment ça fait 3 milli2 3liion3 waouh waouh et par rapport à vos vos estimations de départ 5000 entrée par seconde c'était c'était aligné vous avez été surpris on on a été un peu un peu surpris par la charge c'était plus que ce qu'on avait imaginé parce que qu'and on avait regardé la demi-finale le quart du finale s dit on fera pas autant mais finalement le la finale à la mi-temps le trafic a baissé on s'est dit bah 2-0 le trafic baissant et puis les but et on voit vraiment au deème but c'est le trafic qui a été multiplié par 3 d'un seul coup et qui est parti en flèche au moment du deuxième but de Mbappé et après qui a continué de monter puis là on attend regarde avec le popcorn et puis ça monte ça monte ça monte et puis ah bah ça monte encore alors on était en confiance parce que une fois que l'authentification est passée que l'appli a été on est plutôt en confiance et puis après on attend on attend jusqu'ù on va aller quoi puis après on est pris par le match aussi parce qu'on est un ambivalent sur AR à séparer la profession du c'est faut être très pro dans ces cas-là et pour le coup tout le monde a été pro que ce soit les fournisseurs les équipes c'est que on peut pas non plus se permettre de de d'être totalement supporter même si on y est il y a un peu des deux quoi et dans vos process vous avez une phase de débrief aussi qu'est-ce qui a bien marché qu'est-ce qui n'a pas marché pour se préparer au pour le match suivant ouais tout à fait on se fait des Rex des retours d'expérience après à chaque fois on se partage les métriques les petits des petits parce queil y a des petits pains que les utilisateurs ne voient pas c'est des choses qui arrivent comme dans toute voilà et qu'on réajuste pour le match d'après tiens tel pod a mis un peu plus de temps à redémarrer tiens on a basculé un peu trop lentement ou voilà des choses que les gens voient pas forcément donc vous faites des ajustements dans l'Infra ça pourrait arriver ou c'est arrivé qu'il y a eu des des ajustements dans les applics clientes aussi un redéploiement iOS ou pas cette fois-ci pas cette fois-ci pas cette fois-ci on a les on n pas eu à changer de version ou à faire de fix applicatif donc agir sur sur sur sur sur l'Infra c'est ça un truc qu'on observe enfit une maîtrique qu'on observe souvent côté AWS aussi on regarde pas la moyenne des latences ou des choses comme ça mais on regarde les percentiles 99 ou 99 et ce pour pouvoir quelle est l'expérience pour un client sur 1000 ou un client sur 100 tout à fait est-ce que vous tes d'obtier des techniques similaires pour aller voir au Edge le delta pour pour les quelqu pour de de clients pour qui ça se passe moins bien c'est ça bah nous après c'est vrai que notre quotidien c'est ça on monitore tout au 90 90 parcentil 95 et 99 en fait parcentille donc ça veut dire qu'on on a la majorité 90 % des gens ça se passe bien et puis c'est pour 5 % ça se passe moins bien ben on va quand même trop bien shooter ces 5 % parce que 5 % de 3 millions ça commence à faire h donc et puis euh mais on le fait vraiment ça pour le coup c'est pas que pour la la Coupe du Monde c'est tout le temps tous les jours c'est que à la fois pour notre player et pour la partie applicative et notre CDN donc on a vraiment la partie streaming qu'on regarde comme ça pour vérifier les rebuffers pour vérifier les les les joint Times ce qu'on appelle le joint time au moment où vous cliquez sur le player c'est combien de temps il vous faut pour voir la vidéo et ça c'est on est au 99 par centil pour vérifier vraiment que chaque utilisateur le maximum de 100 % d'utilisateur est 3 secondes au maximum pour voir une vidéo après avoir cliqué super important comme maîtrique parce que effectivement 3 secondes c'est acceptable mais si pour 10 % des utilisateurs ou même 5 % des utilisateurs il faut 10 ou 15 secondes on perd ces gens-là donc c'est important de de travailler en percenti plutôt qu'en moyenne sur les les les utilisateurs donc on a parlé des choses qui se sont bien passées des choses des surprises des petits ajustements que vous avez dû faire est-ce qu'il y a eu des surprises également pendant pendant la diffusion des des des des différents matchs alors on a une surprise même si on s'y attendait c'est comme les premiers matchs sont passés je dirais relativement sereinement et à partir du quart de finale effectivement on a eu des des attaques de hacker euh qu'on on avait prévu cette éventualité parce que bah c'est un événement à Fort en jeu on est dans une situation aussi internationale tendue donc proactivement depuis plusieurs années entre le terrorisme les guerres en Ukraine les tensions internationales avec la Chine on se protège d'un Point Cyb sécurité monitoring beaucoup mais comme il cétait r passé lors des premiers matchs mais on a vu quelques signaux faibles au moment des quarts de finale au moment que les matchséquipe de France pas des autres matchs quelques attaques et donc des des hackeurs qui avaient réservé des bottes et qui avait essayé de nous attaquer en frontal pour vraiment faire du dinos service du didos sur sur nos infras donc on on les a vu arriver ils ont testé on les a arrêté c'est quelque chose que vous voyez dans dans le monitoring au moment où ça arrive comment vous distinguez le le trafic légitime du trafic non légitime dans ce caslà bah dans la dans la DMZ avec dat dog en temps réel on voit arriver des pics qui sont pas normaux vraiment des des des des spikes sur une URL attaqué avec un pattern en fait c'est les patterns qu'on voit on a des robots qui détectent des patterns et c'est bizarre il y a le même pattern qui revient ou il y a les mêmes IP qui reviennent c'est bizarre et même si c'est pris dans le volume de 3 millions ou de 10 millions millions millions de roquetes là on s'est pris on s'est pris des attaques à plusieurs dizaines de millions de requettes simultané euh qu'on a pu se protéger il s'est rien passé donc ce qui était aussi pour nous un enjeu c'est de rester h malgré les attaques et donc au bout d'un moment les hackeerss bah quand on se protégeait ça a duré 10 minutes et ils ont arrêté ils ont il y a d'autres plateformes de de streaming pendant la coupe du monde elles se sont fait attaquer et elles sont tombées et c'est pendant ce temps-là c'est au milieu du match elles sont tombées dans d'autres pays elles se sont fait attaquer et bah après vous vous perdez vos clients vous perdez le trafic vous perdez la pu vous perdez le chiffre d'affairire et c'est l'événement de l'année ou donc c'est vraiment ça le but c'est de faire tomber c'est service brut force on attaque on met tout un réseau de bot derrière il y a un service AWS qui vous a aidé pour cette étape là aussi je me permets puisqu'on est dans le podcast AWS c'est le le advance shield de de mémoire donc le le service de de protection contre les attaques d'idos ils vont les équipes services ont pu vous aider à analyser à créer les filtres et cetera et à régir de de match en match ou pendant un match ou bah tout à fait avant déjà parce qu'on avait préparé le ce ce shield en fait on l'avait configuré préparé avec eux mis en place et pendant le match on leur envoyait les log et on essaie de trouver le le à la fin du match ben voilà il y a une tentative comme ça on fait d'autres réglages et pour le match d'après donc effectivement bah après c'est l'accompagnement l'accompagnement à WS qui nous a aidé là-dessus oui et c'était vraiment ciblé parce que tu tu disais dans la préparation du podcast ça a commencé en quart de finale avec des des petites a guillemet tentativ mais qui all les crchend sur la demi et sur la finale en changeant des patterns c'est c'est le jeu du chat et de la souris la sécurité donc c'est vraiment ça et il faut jouer alors après je c'est faut être joueur personnellement je le suis un peu et donc on a on a on a joué alors il se trouve que là ça ça c'est bien il y a des gens qui nous aident à bien changer bien se défendre mais effectivement c'est c'est c'est ça faut réagir on sait très bien faut être paranoïque et puis bah faut essayer de trouver des des patterns c'est quelque chose que vous avvez prévu dès les les phases de préparation on a parlé des 6 mois avant donc ça c'était des des scénarios prévus et vous aviez des des patterns de réponse ou des process de réponse à fait c'est la paranoïa dans les médias on est assez on essaie de se préparer à ce genre de chos justement parce que par définition c'est c'est très visible en fait et nous ayant la chaîne LCI aussi donc il a il y a vraiment des choses dont on a l'habitude de gérer parce que c'est un peu notre cœur de métier de donc on essaie de se protéger de de ces attaques là oui ou qui est différent c'est peut-être le volume pendant la la Coupe du monde mais mais ce que tu es en train de me dire si je traduis c'est vous avez ce genre d'attaque à longueur d'année vous avez l'habitude de répondre à ce genre d'attaque peut-être pas avec le même volume pas pas le même volume quand même parce que là c'est ils veulent vraiment c'est juste l'effet visibilité faire tomber un site qui diffuse pendant un match qui c'est vraiment nuir on a parlé du dbrief après les matchs il y a aussi le dbrief final à à la fin de la Coupe du Monde outre le le le le le le plaisir d'avoir vu la la plateforme fonctionner p P pendant l'ensemble des matchs comment s'est passé votre débrief qu'est-ce que vous avez appris qu'est-ce que vous allez mettre en place pour la prochaine fois peut-être d'abord c'est quoi la prochaine fois la prochaine fois prochaine événement cette année court terme c'est le la Coupe du monde de rugby qui a lieu en France et on attend beaucoup de monde parce que c'est en France parce que c'est une équipe de rugby performante l'équipe de France donc qui a des chances d'aller au bout donc on se prépare ensuite nous le le le but du streaming l'objectif c'est quand même de de suppler à la à la télé et au broadcast donc des volumes on va en avoir c'est que la prochaine élection présidentielle dans 5 ans elle soit vue autant sur la TNT que sur le streaming donc c'est viment c'est pas 3 millions qu'on vis c'est que 3 millions soit notre quotidien de personnes sur My TF1 parce que les les les les internautes vont remplacer peu à peu les téléspectateurs donc c'est vraiment un objectif à 5 10 ans de remplacer la télé donc c'est vraiment suppl à l'usage broadcast donc faut se préparer ce qu'on a vécu là normalement faut plus que ça soit un événement faut que ça soit toutes les semaines le pic du samedi soir d'audience que fait TF1 il faut qu'il soit fait de la même manière sur le streaming donc vraiment qu'on qu'on arrive à suppler la télé c'est ça notre objectif en fait et donc un événement comme ça c'est aussi une super bonne un super bon moyen de valider votre architecture vos choix techniques et cetera pour dire voilà on est sur des fondations solides maintenant on peut euh envisager le le futur que tu viens de de décrire tout à fait avec sûrement plus d'automatisation c'est que le choix des typiquement on a dû préparer à l'avance les pods on a fait réserver à nos fournisseurs à l'avance on a préparé les CPU la compute à l'avance les CDN passer d'un CDN à l'autre ça se fait à la main donc ce genre de choses faut voilà on a réussi à à faire quelque chose mais c'était encore assez manuel dans la préparation normalement on devrait pas avoir besoin de le faire de passer d'un CDN à l'autre à la main mais que ça se fasse tout seul avec des détections automatiques des scaling automatiques plus fluide et aussi les bench qu'on a fait on l'a fait une fois enfin on l'a fait plusieurs fois en amont et l'idée c'est de rentrer dans un process régulier de tous les 3 mois de tester notre plateforme en charge en monter en charge à ces volumes là et petit à petit augmenter le curseur pour garantir une volumétrie de manière régulière et pas une fois par an donc passer d'en mode euh je vais être un peu provocateur exprès artisanal en mode industriel même si artisanal c'est peut-être un peu j'appelis sera ha couture peut-être de la haute de couture c'est c'est des ça reste des mains d'or qui qui font les choses à la main et euh un mode plus je dirais c'est ça industriel automatique qui qui va nous aider et remplir notre objectif de de de de capacité de streaming en fait au finalement la warro ne sera plus ne sera plus nécessaire c'est le quotidien et et ça roule et vous pouvez dormir tranquille tout à fait téléphone éteint tout à fait pendant des événements majeurs une discussion passionnante sur la l'architecture informatique c'est nécessaire pour streamer un événement sportif majeur comme la la Coupe du Monde 2022 avec pas mal de détails techniques merci Thierry d'avoir partagé tout ça avec nous euh merci d'avoir écouté ce podcast à WS en français jusqu'au bout abonnez-vous rendez-vous la semaine prochaine pour un prochain épisode et d'ici là quoi que vous codiez codez-le bien [Musique]