Dans le cadre du travail, on transforme souvent des fichiers Excels venant des clients pour les adapter à nos structures de données. C’est un format assez pratique quand on n’a pas un public d’informaticien, le format de la donnée est stocké dans le fichier (contrairement au CSV), pas de problème d’encodage etc.
Le problème arrive quand les données sont éclatées entre plusieurs fichiers qu’il faut assembler entre eux (à la manière d’une base de données avec plusieurs tables) : dans un fichier nous avons le code ISO du pays et son libellé français, dans un autre nous avons l’adresse avec le libellé français et il faut récupérer le code ISO.
Avec une volumétrie de données très conséquentes, j’en étais arrivé à avoir des formules Excels qui deviennent incompréhensibles, sont sources d’erreur (le client renvoie une mise à jour du fichier avec 1200 lignes, mais les formules ne parcourent que les 1000 premières lignes), et mettent le PC à genou.
Je me suis donc construit une application qui se charge d’appliquer des transformations sur des fichiers CSV ou XLSX, pour produire une sortie en CSV. L’application prend en paramètre un fichier de règle (qui décrit les liaisons entre plusieurs fichiers si nécessaire) :
J’ai longtemps hésité à le publier (je l’ai fait comme un projet perso pour le travail), mais comme c’est également codé en OCaml est assez proche de ton domaine, je me permet de m’incruster :)
# Un autre projet
Posté par chimrod (site web personnel) . En réponse au journal autocsv2sql : un utilitaire pour convertir ses CSV sans se poser de question, "écris" en OCaml. Évalué à 10.
Dans le cadre du travail, on transforme souvent des fichiers Excels venant des clients pour les adapter à nos structures de données. C’est un format assez pratique quand on n’a pas un public d’informaticien, le format de la donnée est stocké dans le fichier (contrairement au CSV), pas de problème d’encodage etc.
Le problème arrive quand les données sont éclatées entre plusieurs fichiers qu’il faut assembler entre eux (à la manière d’une base de données avec plusieurs tables) : dans un fichier nous avons le code ISO du pays et son libellé français, dans un autre nous avons l’adresse avec le libellé français et il faut récupérer le code ISO.
Avec une volumétrie de données très conséquentes, j’en étais arrivé à avoir des formules Excels qui deviennent incompréhensibles, sont sources d’erreur (le client renvoie une mise à jour du fichier avec 1200 lignes, mais les formules ne parcourent que les 1000 premières lignes), et mettent le PC à genou.
Je me suis donc construit une application qui se charge d’appliquer des transformations sur des fichiers CSV ou XLSX, pour produire une sortie en CSV. L’application prend en paramètre un fichier de règle (qui décrit les liaisons entre plusieurs fichiers si nécessaire) :
https://git.chimrod.com/importer.git/about/
J’ai longtemps hésité à le publier (je l’ai fait comme un projet perso pour le travail), mais comme c’est également codé en OCaml est assez proche de ton domaine, je me permet de m’incruster :)