URL: https://linuxfr.org/users/fcartegnie/journaux/le-cauchemard-de-letl Title: Le cauchemard de l'ETL Authors: fcartegnie Date: 2009年10月30日T05:07:00+01:00 Tags: Score: 14 De part mon activité, j'ai à travailler avec des flux de données provenant de sources multiples. Introduction au cauchemard de l'[[Extract_Transform_Load]] avec des données formatées approxi-miteu-sement ! * Des fichiers XML ou les champs sont à 100% en CDATA..... (ils se sont déjà fait chier à faire des balises XML, alors faut pas leur demander de se préoccuper de la conformité de ce qu'elles contiennent! on ne parlera même pas de schema...) * Des mix d'encodage de caractères dans un document XML * Des mix d'encodage de caractères dans des champs CDATA ! (irrécupérable) * Le problème précédent réparé par une suppression simple des caractères non ascii ! * De l'html dans des champs purement texte (ça vous va pas, démerdez vous) * Des clés de données qui ... changent ! Tiens 100% des entrées on changé !? (je vous parle même pas des clés non uniques...) * Des clés étrangères dont la cible... n'existe pas: ces clés étant calculées automatiquement pas rapport à la clé principale ! * des gens qui mettent des valeurs arbitraires pour des valeurs inconnues... (imaginez une quantité à 1.000.000, les dégats un prix à 1.00, des dates "bientot, sous peu" ) * Un génie qui décide que son application source limitera les requêtes à 3/jour en bloquant la réponse pendant 3 minutes et renvoyant un code HTTP 409 (Un au pif dans la RFC, sans se soucier du fait que c'était implicitement une demande de ré-essai ! On l'a tenu 2 mois ce bug avant son retour d'informations !) * des jolis fichiers csv comme on faisait il y a 10ans, le tout produit en HTML. Si, Si, c'est possible: une ligne csv par paragraphe ! * Des génies qui ont tout compris à l'XML: < a> < nomchamp>bidule< /nomchamp> < valeurchamp>valeur< /valeurchamp> < nomchamp>bidule2< /nomchamp> < valeurchamp>valeur2< /valeurchamp> < / a> Et on ne parle que des formats. Je ne vous relate pas les hérésies quand les champs de données doivent avoir une valeur explicite ou un minimum qualitatif. Le plus grave dans tout cela ? Il s'agit principalement d'enseignes bien connues de l'internet ou de leurs intermédaires. "xmllint"... hein ?!? Des dev à mettre dans le même panier que les admins tutos, les web cébo, ... Et vous, le "ça nous semble correct, si ça va pas démerdez vous" c'est aussi au quotidien ?