C'est vrai que cet outil ne garantie pas de gérer les CSV exotiques...
Dans mon cas, j'ai par exemple pas mal de données issues d'OpenData publiques, genre INSEE, diverses institutions publiques nationales ou locales, etc. En générale les données sont proprement formatées, bien maîtrisées comme tu le dis. L'objectif est donc de pouvoir cibler ces données là en pouvant faire un
for i in *.csv ; do autocsv2sql $i | psql ; done Une fois que j'ai tout téléchargé et dézipé.
J'ai effectivement testé des CSV assez sales pour mes tests, et l'outil renvoi une erreur le plus souvent car il ne fonctionne que si le nombre de colonnes spécifié à la 1ière ligne est conforme au nombre de colonne sur toutes les lignes du fichier. En effet, je part du principe que la 1ière ligne est une ligne d'entête de colonne.
Le plus souvent, je jette un œil sur les données avec less, je vérifie à l'oeil nu que les données sont propre et ensuite j'importe. Depuis 2 ans, je fais ça avec le clickodrome de DBeaver qui fait ça automatiquement, mais moins bien, il a en effet tendance à être optimiste sur la taille des varchar.
« Il n’y a pas de choix démocratiques contre les Traités européens » - Jean-Claude Junker
[^] # Re: C’est déjà géré en standard avec les principaux SGBD
Posté par Ontologia (site web personnel) . En réponse au journal autocsv2sql : un utilitaire pour convertir ses CSV sans se poser de question, "écris" en OCaml. Évalué à 2.
C'est vrai que cet outil ne garantie pas de gérer les CSV exotiques...
Dans mon cas, j'ai par exemple pas mal de données issues d'OpenData publiques, genre INSEE, diverses institutions publiques nationales ou locales, etc. En générale les données sont proprement formatées, bien maîtrisées comme tu le dis. L'objectif est donc de pouvoir cibler ces données là en pouvant faire un
for i in *.csv ; do autocsv2sql $i | psql ; done
J'ai effectivement testé des CSV assez sales pour mes tests, et l'outil renvoi une erreur le plus souvent car il ne fonctionne que si le nombre de colonnes spécifié à la 1ière ligne est conforme au nombre de colonne sur toutes les lignes du fichier. En effet, je part du principe que la 1ière ligne est une ligne d'entête de colonne.
Le plus souvent, je jette un œil sur les données avec less, je vérifie à l'oeil nu que les données sont propre et ensuite j'importe. Depuis 2 ans, je fais ça avec le clickodrome de DBeaver qui fait ça automatiquement, mais moins bien, il a en effet tendance à être optimiste sur la taille des varchar.
« Il n’y a pas de choix démocratiques contre les Traités européens » - Jean-Claude Junker