Non mais sometimes shit happen. Limite, ça se comprend, ça veut pas dire que c'est normal, qu'il y a pas du boulot pour corriger le tir, que ce soit sur l'aspect purement technique que sur le pilotage des opérations. Ce qui n'est vraiment pas normal, c'est que la même opération ai pu mettre par terre a la fois le réseau de production, et le réseau de maintenance, ce qu'on appelle dans le jargon, le réseau out-of-band, c'est a dire un réseau normalement physiquement séparé du réseau de production et dont la fonction est justement de pouvoir passer des commandes sur les routeurs et autres équipement réseau quand le réseau principal est par terre. Le réseau de secours quoi. En gros c'est ce qui a fait que l'incident au lieu de durer quelque minutes à durer quelque heures, et qui a transformé un "j'ai senti un trouble dans la force" en une première page sur tous les canards de la planète.
ça c'est vraiment pas beau. Et quand je postais plus haut la référence a Geoff Huston qui disait en gros, heureusement qu'il font pas des centrales nucléaires chez Facebook, ben, effectivement, ce genre de pépin, aurait tendance a renforcer son point de vue. Après, on sait pas tout, mais dans l'absolu, c'est sur qu'il y a un gros probléme a ce niveau que soit un truc fondamental (defective by design) ou une évolution technique qui a pu rendu leur réseau OOB vulnérable sans qu'ils s'en aperçoivent.
One of the key questions Facebook hasn’t answered yet is why its backup network, called the out-of-band network, didn’t work on Monday. The network is designed to be isolated from the rest of Facebook, providing engineers with a way to remotely fix the system within minutes if it goes down. Facebook’s Janardhan said in a blog post that the out-of-band network didn’t work yesterday, but didn’t explain why.
Le truc à savoir aussi, c'est que techniquement dans le monde du réseau, Facebook c'est un peu une référence sur le plan technique, autant je ne peux pas les piffer sur le plan éthique et sur leur modèle d'affaire, autant il me semble qu'il sont reconnu pour être des pointures dans le domaine des réseaux et des infrastructure datacenter, du moins, de ce que j'en sais. C'est d'autant plus étonnant, et serait d'autant plus intéressant d'avoir le fin mot de l'histoire, pas simplement sur la root cause de l’événement, mais sur le fait que le réseau OOB était ko aussi.
Faut pas gonfler Gérard Lambert quand il répare sa mobylette.
[^] # Re: encore BGP ?
Posté par Big Pete . En réponse au lien Understanding How Facebook Disappeared from the Internet. Évalué à 5.
Non mais sometimes shit happen. Limite, ça se comprend, ça veut pas dire que c'est normal, qu'il y a pas du boulot pour corriger le tir, que ce soit sur l'aspect purement technique que sur le pilotage des opérations. Ce qui n'est vraiment pas normal, c'est que la même opération ai pu mettre par terre a la fois le réseau de production, et le réseau de maintenance, ce qu'on appelle dans le jargon, le réseau out-of-band, c'est a dire un réseau normalement physiquement séparé du réseau de production et dont la fonction est justement de pouvoir passer des commandes sur les routeurs et autres équipement réseau quand le réseau principal est par terre. Le réseau de secours quoi. En gros c'est ce qui a fait que l'incident au lieu de durer quelque minutes à durer quelque heures, et qui a transformé un "j'ai senti un trouble dans la force" en une première page sur tous les canards de la planète.
ça c'est vraiment pas beau. Et quand je postais plus haut la référence a Geoff Huston qui disait en gros, heureusement qu'il font pas des centrales nucléaires chez Facebook, ben, effectivement, ce genre de pépin, aurait tendance a renforcer son point de vue. Après, on sait pas tout, mais dans l'absolu, c'est sur qu'il y a un gros probléme a ce niveau que soit un truc fondamental (defective by design) ou une évolution technique qui a pu rendu leur réseau OOB vulnérable sans qu'ils s'en aperçoivent.
source : https://texasnewstoday.com/facebook-blames-our-own-creation-engineering-error-for-global-outage/488258/
Le truc à savoir aussi, c'est que techniquement dans le monde du réseau, Facebook c'est un peu une référence sur le plan technique, autant je ne peux pas les piffer sur le plan éthique et sur leur modèle d'affaire, autant il me semble qu'il sont reconnu pour être des pointures dans le domaine des réseaux et des infrastructure datacenter, du moins, de ce que j'en sais. C'est d'autant plus étonnant, et serait d'autant plus intéressant d'avoir le fin mot de l'histoire, pas simplement sur la root cause de l’événement, mais sur le fait que le réseau OOB était ko aussi.
Faut pas gonfler Gérard Lambert quand il répare sa mobylette.