Wow j'ai vraiment galéré à te suivre (ça fait 3 fois que je réécris mon commentaire). Ce qui est incrémental c'est pas véritablement lié au WAL de pg, c'est que les PITR sont construit incrémentalement les uns par rapport aux autres et c'est fait grâce à du CoW sur les pages qui sont donc immuables (à la base je croyais que tu disais que le WAL était immuable). Et ce qui est rapide c'est l'accès à n'importe quel point du temps (pareil je croyais que tu disais que c'était la réplication qui était instantané).
Mais du coup comme je le disais c'est complètement Neon (et peut être d'autres) qui fournissent ce service de branche et pas pg (même si oui ça s'appuie sur pg). Ce n'est pas un mal que ce soit Neon. C'est juste le côté "vous pouvez-faire ça avec PG" qui me semble être plus "vous pouvez faire ça avec Neo ou si vous réécrivez la partie stockage de PG".
Le lien par contre parle de remplacer les sauvegardes par du PITR et je dirais que non. Des sauvegardes doivent être hors ligne. Peut être qu'on peut se contenter de sauvegarder les bucket S3, mais du coup c'est une sauvegarde.
Pour le sujet de docto et d'Aurora, la performance dont ils ont besoin c'est, je pense de pouvoir manipuler beaucoup de données pas tant le temps de réponse par requête (dis autrement ils veulent pouvoir faire 1 millions de requête dans la seconde pas forcément que les requêtes prennent 1μs) et ça me parait cohérent avec ce que je vois (en imaginant que qu'à fait Amazon en comparaison de Neon).
En tout cas merci c'est intéressant de comprendre comment ils font.
[^] # Re: Résumé
Posté par barmic 🦦 . En réponse au lien Postgresql en tant que journal de transactions. Évalué à 2.
Wow j'ai vraiment galéré à te suivre (ça fait 3 fois que je réécris mon commentaire). Ce qui est incrémental c'est pas véritablement lié au WAL de pg, c'est que les PITR sont construit incrémentalement les uns par rapport aux autres et c'est fait grâce à du CoW sur les pages qui sont donc immuables (à la base je croyais que tu disais que le WAL était immuable). Et ce qui est rapide c'est l'accès à n'importe quel point du temps (pareil je croyais que tu disais que c'était la réplication qui était instantané).
Mais du coup comme je le disais c'est complètement Neon (et peut être d'autres) qui fournissent ce service de branche et pas pg (même si oui ça s'appuie sur pg). Ce n'est pas un mal que ce soit Neon. C'est juste le côté "vous pouvez-faire ça avec PG" qui me semble être plus "vous pouvez faire ça avec Neo ou si vous réécrivez la partie stockage de PG".
Le lien par contre parle de remplacer les sauvegardes par du PITR et je dirais que non. Des sauvegardes doivent être hors ligne. Peut être qu'on peut se contenter de sauvegarder les bucket S3, mais du coup c'est une sauvegarde.
Pour le sujet de docto et d'Aurora, la performance dont ils ont besoin c'est, je pense de pouvoir manipuler beaucoup de données pas tant le temps de réponse par requête (dis autrement ils veulent pouvoir faire 1 millions de requête dans la seconde pas forcément que les requêtes prennent 1μs) et ça me parait cohérent avec ce que je vois (en imaginant que qu'à fait Amazon en comparaison de Neon).
En tout cas merci c'est intéressant de comprendre comment ils font.
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll