2>&1
txt/

"Production" veut dire "bac à sable"

Vous avez pas besoin de ça, pas vrai ?

🚧🏗️🚚HTML WORK AHEAD (i) play pause stop 🚧

""Production" veut dire "bac à sable"" on https://aligot-death.space, available at https://aligot-death.space/txt/production-is-playground-fr


Un jour, on perd la connexion sur nos serveurs en prod : après quelques appels, on se rend compte que l'équipe infra utilisait nos serveurs pour tester des trucs car iels pensaient qu'ils étaient inutilisés. On apprendra plus tard que l'image Red Hat custom n'était pas compatible avec ce matériel, ce qui empêchait les redémarrage (ça faisait sauter les montages NFS et des fichiers de config disparaissaient)

On savait qu'il y avait un problème avec le redémarrage, mais pas le "pourquoi". Iels utilisaient nos serveurs pour débugger ça, parce que le directeur technique avait donné des infos contradictoires à nos deux équipes.

On a donc demandé la restauration de nos fichiers à l'équipe sauvegarde car, bah, on en avaiat besoin. Iels nous ont dit que c'était bon, mais les fichiers n'étaient toujours pas là. Après quelques recherches, iels nous ont expliqué que quand le logiciel de backup leur a proposé d'écraser les dossiers (vides) pour les rétablir, iels ont juste cliqué sur "non" et ont fermé le ticket. Une autre tentative a foiré parce que "le PC qui contrôlait l'opération s'est mis en veille pendant la restauration".

Mais c'est pas tout : on a autorisé l'équipe "OS" à faire des tests sur nos serveurs de test de performance. Aucune nouvelle pendant un moment, et quand on les a contactés iels nous ont répondu qu'iels attendaient qu'on éteigne les machines, sans jamais nous l'avoir demander.

On a donc demandé l'extinction en question à l'équipe infra. Iels nous ont alors demandé la permission de wiper complètement les machines : on leur a demandé d'attendre car entre temps on avait à nouveau besoin de ces machines. La semaine suivante, iels l'ont fait quand même. Donc, on redemande la restauration à l'équipe backup ; iels n'ont pas pu car… Entre temps iels ont changé d'infrastructure, donc les backupss n'étaient plus correctement assignées. Bref, iels ont fini par devoir wiper leurs propres serveurs, et on a perdu nos données.

Quelques mois plus tard, on avait des soucis de connexion sur la production. Il s'est avéré que c'était à cause de l'équipe stockage : iels testaient la nouvelle version de Kerberos sur nos machines, car, bah, "vous êtes les seulxs à avoir cette version de Red Hat.

contact

contact

Support

Ko-fi