Pour transformer un gros fichier texte en base de données et ne pas se prendre la tête à faire soit même les optimisations, SQLite peut être une bonne solution.
Tu n'as pas besoin de serveur, tu peux faire tous les essais que tu veux sur ton PC local, et en mono-utilisateur il n'y a rien de plus performant. Ça peut être bien pour faire des essais avant de migrer vers une base en client / serveur.
En tout cas c'est une solution que j'ai utilisé avec bonheur, et tes 63 millions d'enregistrements devraient être gérables sans difficulté.
Juste un rappel : il n'y a pas de INSERT MULTIPLE pour remplir ta table (ça a peut être changé depuis), l'idée est donc d'en faire plein dans un BEGIN / COMMIT, sinon ça va prendre des jours pour remplir ta base puisque à chaque INSERT il va tout transférer sur le disque.
Bref quelque chose comme ça :
BEGIN;
INSERT INTO grossTable ....
INSERT INTO grossTable ....
INSERT INTO grossTable ....
INSERT INTO grossTable ....
...
..
COMMIT;
L'avantage en phase de test est que tout est dans un seul fichier que tu peux facilement tout détruire et recommencer.
# SQLite
Posté par alouali (site web personnel) . En réponse au message mySQL Taille des tables et perf. Évalué à 2.
Tu n'as pas besoin de serveur, tu peux faire tous les essais que tu veux sur ton PC local, et en mono-utilisateur il n'y a rien de plus performant. Ça peut être bien pour faire des essais avant de migrer vers une base en client / serveur.
En tout cas c'est une solution que j'ai utilisé avec bonheur, et tes 63 millions d'enregistrements devraient être gérables sans difficulté.
Juste un rappel : il n'y a pas de INSERT MULTIPLE pour remplir ta table (ça a peut être changé depuis), l'idée est donc d'en faire plein dans un BEGIN / COMMIT, sinon ça va prendre des jours pour remplir ta base puisque à chaque INSERT il va tout transférer sur le disque.
Bref quelque chose comme ça :
BEGIN;
INSERT INTO grossTable ....
INSERT INTO grossTable ....
INSERT INTO grossTable ....
INSERT INTO grossTable ....
...
..
COMMIT;
L'avantage en phase de test est que tout est dans un seul fichier que tu peux facilement tout détruire et recommencer.