SQLite est également la solution que je privilégie!
Il est souvent impossible d'imposer le format en amont mais même si je suis le seul en bout de chaîne à l'utiliser, cela me permet de facilement valider les types de données et le formatage qui ne manque jamais d'être modifié...
Piste: beaucoup de partenaires/entreprises envoient les fichiers par mail (!). Pour respecter le RGPD, vous pouvez leur imposer de proposer une page de téléchargement qui vous permettra alors de faire la validation initiale dès la transmission (schéma SQL, nombre de colonnes, etc...).
En convertissant les données vers une base SQLite, vous pouvez enrichir avec des tables d'exploitation (version ou date/auteur du transfert, etc...). Accessoirement, vous pouvez aussi ajouter des tables statistiques basées sur certains triggers qui facilitent ensuite l'extraction.
Gros avantage aussi lors de simulation à grande échelle ou d'études exploratoires de données. Le chargement étant largement accéléré (le temps du "parsing" est maintenant nul), vos opérations de maintenance, de tests ou de relance seront grandement améliorées!
Il est urgent de reconsidérer SQLite pour ce genre de travaux et abandonner le CSV. Je ne vais pas revenir sur tous les défauts du format et des erreurs potentielles. Selon moi, le problème vient surtout de la génération en tant que tel et non du format. Quand vous arrivez à devoir faire du support sur Excel chez votre client pour configurer la langue et leur expliquer de manière incessante les options d'export, vous vous rendez compte à quel point cette procédure ne sera jamais viable sur le long terme...
[^] # Re: SQLlite
Posté par Vroum . En réponse au journal En finir avec CSV ou Excel pour échanger des données. Évalué à 6.
SQLite est également la solution que je privilégie!
Il est souvent impossible d'imposer le format en amont mais même si je suis le seul en bout de chaîne à l'utiliser, cela me permet de facilement valider les types de données et le formatage qui ne manque jamais d'être modifié...
Piste: beaucoup de partenaires/entreprises envoient les fichiers par mail (!). Pour respecter le RGPD, vous pouvez leur imposer de proposer une page de téléchargement qui vous permettra alors de faire la validation initiale dès la transmission (schéma SQL, nombre de colonnes, etc...).
En convertissant les données vers une base SQLite, vous pouvez enrichir avec des tables d'exploitation (version ou date/auteur du transfert, etc...). Accessoirement, vous pouvez aussi ajouter des tables statistiques basées sur certains triggers qui facilitent ensuite l'extraction.
Gros avantage aussi lors de simulation à grande échelle ou d'études exploratoires de données. Le chargement étant largement accéléré (le temps du "parsing" est maintenant nul), vos opérations de maintenance, de tests ou de relance seront grandement améliorées!
Il est urgent de reconsidérer SQLite pour ce genre de travaux et abandonner le CSV. Je ne vais pas revenir sur tous les défauts du format et des erreurs potentielles. Selon moi, le problème vient surtout de la génération en tant que tel et non du format. Quand vous arrivez à devoir faire du support sur Excel chez votre client pour configurer la langue et leur expliquer de manière incessante les options d'export, vous vous rendez compte à quel point cette procédure ne sera jamais viable sur le long terme...