Journal Pipedream : des workflows, des APIs et de la vitesse

PostĂ© par . Licence CC By‐SA.
-11
10
jan.
2023

Bonjour Nal,

Aujourd'hui, je veux vous faire part d'une de mes découvertes : Pipedream.
En deux mots :

Une plateforme de calcul sans serveur avec plus de 1000 intégrations d'applications open source. Pensez à AWS Lambda + Zapier, spécialement conçu (et gratuit) pour les développeurs.

Avec Pipedream, vous pouvez importer n'importe quel paquet dans une Ă©tape de code Python et crĂ©er des workflows sans serveur - pas besoin de mettre Ă  jour un fichier requirements.txt ou de spĂ©cifier des paquets. C'est un moyen rapide d'exĂ©cuter du code Python dĂ©clenchĂ© par une requĂȘte HTTP, un timer ou un Ă©vĂ©nement provenant d'un service cloud.

Comment je l'ai découvert

De la maniĂšre la plus improbable.
J'avais publié quelques jours plus tÎt mon premier package sur Pypi, quand j'ai reçu un email.
Un mail de Tod Sacerdoti me proposant un compte pro gratuit sur Pipedream (dont il est le fondateur) en qualité de mainteneur de mon package.
Je vérifie qui il est, ce qu'il me propose. Tout semble net.
Je réponds donc en acceptant sa proposition.
Quelques jours plus tard, je reçois une réponse avec un code promo pour 6 mois Pro gratuit.
Je crée un compte, n'active pas tout de suite mon code, mais commence à explorer.

Les APIs

Comme annoncé, un nombre incroyable d'APIs sont disponibles, comme GitHub, Twitter, Discord, Slack, Télégramme, Google, DeepL, Airtable, Zoom, etc.

Ces APIs peuvent servir à différents moments du workflow, et la connexion à un compte est trÚs simple.

Les Workflows

Un workflows "standard" est découpé en trois étapes :
1. Un Ă©lĂ©ment dĂ©clenche l'activation du workflow. Ce peut ĂȘtre un simple Cron, un mail, une requĂȘte HTTP, un message sur Twitter, une pull request sur GitHub, votre streamer prĂ©fĂ©rĂ© qui commence un live sur Twitch, et tant d'autres choses.
1. Traitement des données : vous codez ce que vous voulez, dans le langage de votre choix, en prenant en compte des données de l'évÚnement déclencheur ou pas, en utilisant ou stockant des données dans une base de donnée (fournies avec le compte), en ajoutant des informations à un Google Sheet, etc.
1. La réponse : une éventuelle réponse que retourne le workflow, un code 200, envoyer un mail, ou un message sur Slack, ou autre chose.

Conclusion

Une plate-forme trĂšs puissante, riche en possibilitĂ©s, en dont les limites sont trĂšs, trĂšs difficiles Ă  atteindre, mĂȘme avec un compte gratuit.

Je déplore simplement un léger manque de documentation pour débutant, mais c'est là quelque chose d'aisément contournable, puisqu'on peut copier d'autre workflows, et que le constructeur de workflows nous guide pas à pas avec des exemples et des suggestions.

Sans aucune connaissance particuliùre, j'ai pu mettre en Ɠuvre un petit workflow qui compte le nombre de vues sur ma page de profil GitHub.

Mais les possibilitĂ©s sont potentiellement infinies. Par exemple, publier automatiquement sur votre blog les annonces de release Ă  partir des informations du dĂ©pĂŽt git, ou vous envoyer une notification par mail chaque mois avec les statistiques de votre mĂȘme site, et tant d'autres choses.

Pour plus d'information, visitez leur site ou envoyez un mail à Tod Sacerdoti à tod AT pipedream.com, il lit et répond à tous les mails. Vous pouvez également envoyer vos impressions à feedback AT pipedream.com

  • # C'est pas exactement libre :/

    PostĂ© par (site web personnel) . ÉvaluĂ© Ă  10.

    Mais du coup, c'est un service proprio en SaaS ?

    Ça fait quand mĂȘme un peu pub, ce journal :/

    • [^] # Re: C'est pas exactement libre :/

      PostĂ© par (site web personnel) . ÉvaluĂ© Ă  6.

      C'était sous licence MIT mais ils ont changé pour une licence à eux il y a une semaine : https://pipedream.com/blog/introducing-the-pipedream-source-available-license/

      • [^] # Re: C'est pas exactement libre :/

        PostĂ© par . ÉvaluĂ© Ă  7.

        On dirait un changement demandé par un investisseur : il accepte de mettre des sous à condition de sécuriser son investissement.

      • [^] # Re: C'est pas exactement libre :/

        PostĂ© par . ÉvaluĂ© Ă  4.

        On dirait un changement demandé par un investisseur : il accepte de mettre des sous à condition de sécuriser son investissement.

        • [^] # Re: C'est pas exactement libre :/

          PostĂ© par . ÉvaluĂ© Ă  2. DerniĂšre modification le 19 septembre 2024 Ă  19:39.

          Déjà-vu (NdM: image perdue)

          Edit. J'avais inséré un gif de circonstance mais ça marche pas je sais pas pourquoi.

          • [^] # Re: C'est pas exactement libre :/

            PostĂ© par (site web personnel) . ÉvaluĂ© Ă  10.

            Edit. J'avais inséré un gif de circonstance mais ça marche pas je sais pas pourquoi.

            ça arrive quand il y a des changements dans la matrice. Des fois, on voit des chats en double, et des fois, la mise à jour casse l'upload de gif.

    • [^] # Re: C'est pas exactement libre :/

      PostĂ© par (site web personnel) . ÉvaluĂ© Ă  4.

      De ce que je vois, il n’y pas encore la possibilitĂ© de faire de l’auto-hĂ©bergement (https://github.com/PipedreamHQ/pipedream/issues/954). Je n’ai pas creusĂ© le code disponible, mais je pense que c’est juste le nĂ©cessaire pour construire les flots, pas les exĂ©cuter.

      • [^] # Re: C'est pas exactement libre :/

        PostĂ© par . ÉvaluĂ© Ă  6.

        Pas le temps de creuser, mais je ne comprends pas sous quelle licence le produit est disponible. Sur https://pipedream.com/blog/introducing-the-pipedream-source-available-license/, ils disent

        We remain committed to all components in our integration registry being source-available.
        Under the Pipedream Source Available License, you can access, modify, or redistribute the source code.

        Et dans la réponse à la demande d'autohébergement,

        The pipedream.com hosted service is primarily closed-source at the moment.

        Du coup, il doit y avoir plusieurs licences (?), et "all components in our integration registry" ne couvre pas la partie serveur (?). Ou alors c'est du bullshit et ils font tout ce qu'ils peuvent pour dire que c'est opensource sans que ça soit opensource.

        • [^] # Re: C'est pas exactement libre :/

          PostĂ© par (site web personnel) . ÉvaluĂ© Ă  5.

          Ou plus simplement, les gens pigent pas les licences. Je pense que je vais finir par faire une prĂ©sentation sur le sujet, vu qu'on commence Ă  accumuler quand mĂȘme beaucoup d'exemple rĂ©cent.

          Faut juste que je trouve un titre et que je fasse les slides et que ça tienne 50 minutes.

          • [^] # Re: C'est pas exactement libre :/

            PostĂ© par . ÉvaluĂ© Ă  4.

            Ou plus simplement, les gens pigent pas les licences.

            Bof, lĂ  on ne parle pas de dĂ©tails de comprĂ©hension. Sur la page web de leur projet, ils disent qu'ils sont open source (mĂȘme si pas libres), et ils disent texto qu'on peut reprendre et exĂ©cuter le code. Et sur Github, ils rĂ©pondent qu'on ne peut as s'autohĂ©berger parce que le code n'est pas public. C'est pas un dĂ©bat de juriste sur un paragraphe de la GPL-v3...

            Mais bon, au final, leur licence "open source" n'est pas trÚs claire, parce qu'ils interdisent les serveurs concurrents, et pas seulement les serveurs publics et/ou commerciaux. Il ne me semble pas clair du tout s'il est autorisé de fournir le service en interne dans une entreprise par exemple. Ceci étant dit, c'est bien là la limite de ce genre de clauses, ils n'ont en pratique aucun moyen de savoir ce que tu fais avec leur code, et c'est tant mieux.

            • [^] # Re: C'est pas exactement libre :/

              PostĂ© par (site web personnel) . ÉvaluĂ© Ă  6.

              C'est pas un débat de juriste sur un paragraphe de la GPL-v3...

              Mais justement, c'est que "logiciel libre / open source", ça reprĂ©sente quelque chose de positif, mais les gens ne se posent plus la question de ce que ça reprĂ©sente exactement (alors que bon, historiquement, ça a Ă©tĂ© clairement dĂ©fini, avec des associations spĂ©cifiquement dĂ©diĂ©s Ă  rĂ©gler la question, ce qui est quand mĂȘme bien plus que la majoritĂ© des mouvements politiques ayant le mĂȘme genre de souci).

              J'ai des tas d'exemple ou il y a du code sur github et ou quelqu'un s'est dit "c'est libre" (ou open source, j'utilise les 2 de façon interchangeable pour respecter l'histoire des 2 termes), et en vérité, ça n'est pas le cas.

              Donc soit des gens essayent de mentir Ă  dessein (et il faut se demander "pourquoi"), soit il y a une incomprĂ©hension sur les bases (et mĂȘme question, avec une rĂ©ponse diffĂ©rente).

              Et je pense que c'est plus souvent le second que le premier, vu qu'on estime que le logiciel libre a "gagné" (quoi, je sais pas), et la croissance exponentielle depuis une dizaine d'année fait qu'on n'a pas pu "former" tout le monde sur ça.

              (et les pinaillages "open source vs libre" n'aide pas, mais bon, c'est toujours plus facile et rapide de se battre sur les mots que de faire des trucs plus impactants, c'est pour ça qu'on le fait tout le temps dans certains mouvements militants, ça permet l'inclusion à peu de frais sans faire changer grand chose d'un point de vue matériel)

  • # PĂ©rĂ©nitĂ©

    PostĂ© par . ÉvaluĂ© Ă  10.

    Quelques jours plus tard, je reçois une réponse avec un code promo pour 6 mois Pro gratuit.

    Super. Du coup, si le service s'arrĂȘte (parce que c'est trop cher, parce que la boĂźte coule, parce qu'elle est rachetĂ©e par un Gafam, etc), bah tu perds tout.

    Du code ni portable ni réutilisable, c'est carrément impressionnant. SystÚme à fuir absolument.

    • [^] # Re: PĂ©rĂ©nitĂ©

      PostĂ© par (site web personnel) . ÉvaluĂ© Ă  4. DerniĂšre modification le 10 janvier 2023 Ă  16:57.

      Ah si seulement tous les (futurs) clients de fournisseurs de services, logiciels, formats, etc, privateurs pouvaient raisonner ainsi à l'unisson1... quelle économie incommensurable ce serait pour l'humanité.

      1 ou bien faudrait-il écrire « résonner ainsi à l'unisson » ?

      « IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace

      • [^] # Re: PĂ©rĂ©nitĂ©

        PostĂ© par . ÉvaluĂ© Ă  8.

        Bah j'imagine que la nuance est trop technique pour la plupart des dĂ©cideurs. Personnellement, j'utilise quelques plateformes commerciales sans me poser plus de questions que ça : github, overleaf, etc. Mais je sais que s'ils merdent (et que j'ai fait mes backups Ă  temps, hum hum), je peux rapatrier mes projets et faire plus ou moins ce que je faisais avant sans leurs outils, en moins pratique peut-ĂȘtre.

        Si par contre le fournisseur de service propose ses propres outils, alors les services d'hĂ©bergement sont 100% liĂ©s au produit logiciel, c'est la certitude d'aller vers une situation merdique (la seule incertitude, c'est quand). En faisant ça, tu te mets volontairement dans une situation de dĂ©pendance totale; ils peuvent augmenter leurs tarifs de 300%, t'imposer des conditions insupportables, le coĂ»t de migration est Ă©norme. Pourquoi certains ne comprennent pas ça me dĂ©passe un peu, et la seule explication que je voie c'est qu'ils ne connaissent pas la technologie sous-jacence, et ne savent pas s'ils peuvent faire tourner la mĂȘme en local ou non.

        • [^] # Re: PĂ©rĂ©nitĂ©

          PostĂ© par (site web personnel) . ÉvaluĂ© Ă  3.

          Je suis globalement d’accord, je mettrais juste une petite nuance sur la fin: le coĂ»t de mise en place/gestion des outils Ă©quivalents peu ĂȘtre juste trop par rapport aux besoins, et dans ce cas c'est avec eux (et le risque), ou nada.

          AprĂšs c'est qu'une question de risque: il ne faut pas que l'activitĂ© mĂȘme te soit indispensable, sinon en effet c'est game over Ă  moyen terme. Si c'est qu'une activitĂ© annexe dont tu peux te passer, l'Ă©quation peux ĂȘtre tout de mĂȘme bĂ©nĂ©ficiaire pour le temps que ça dure.

  • # Excuses

    PostĂ© par . ÉvaluĂ© Ă  10.

    Excusez-moi si mon journal fait un peu publicitaire, je n'en avais vraiment pas l'intention.
    Je reconnais que je n'avais pas vérifié la licence, ni si le code était réutilisable. J'aurais dû, mais le mal est fait.

    L'objectif de ce journal Ă©tait vraiment de vous partager cette petite dĂ©couverte, qui peut ĂȘtre utile dans de nombreux cas oĂč on a la flemme de rĂ©inventer la roue. Je n'ai pas Ă©tĂ© payĂ© et ne le serais jamais pour rĂ©diger ce journal, ce n'est pas plus de la publicitĂ© que quand vous recommandez telle distribution Linux Ă  quelqu'un.

    Je suis absolument désolé et contrit, et ferais attention à ne pas répéter ces erreurs.

    L'informatique n'est pas une science exacte, on n'est jamais Ă  l'abri d'un succĂšs

    • [^] # Re: Excuses

      PostĂ© par . ÉvaluĂ© Ă  10.

      Je suis absolument désolé et contrit, et ferais attention à ne pas répéter ces erreurs.

      Ne fait pas de l'auto flagellation pour qui peu. Les réactions peuvent paraßtre froides, mais faut pas se formaliser.

      https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

      • [^] # Re: Excuses

        PostĂ© par (site web personnel) . ÉvaluĂ© Ă  3.

        Non pas d'accord il faut une punition exemplaire

        au choix :
        Je propose que tu te découpes le petit doigt gauche et l'envoie à l'équipe de modération
        ou
        tu te fasse un tatouage du logo windows sur le front
        ou
        que tu apprennes par coeur les conditions d'utilisations de la base de données Oracle

        Sinon l'idĂ©e de produit est bonne, je n'ai pas regardĂ© les tarifs mais cela peut ĂȘtre intĂ©ressant de l'Ă©tudier

        Merci pour la découverte

  • # Également reçu le mail en question

    PostĂ© par . ÉvaluĂ© Ă  9.

    Mon compteur à BS intégré s'est affolé "up to 11" comme on dit.

    Promptement ignoré ce "monsieur" (restons polis) que je trouve sacrement culotté.

    A noter qu'il est dit dans le mail: " I'd love to hear your thoughts and give you a free Pro account with higher limits if interested. If not, I understand and won't email again. [...] p.s. You are not on any list and I won't email you again, but you can still click unsubscribe. "

    Le mail est bel et bien envoyé par un systÚme de mailing list, il y a un lien pour le unsubscribe, mais on est dans aucune liste.

    Quel foutage de gueule...

    • [^] # Re: Également reçu le mail en question

      PostĂ© par . ÉvaluĂ© Ă  3.

      Et il ne donne pas un compte pro gratuit, il le prĂȘte pour 6 mois apparemment..
      marketing, marketing, ..

      « Tant qu'on parle de nous, mĂȘme si c'est en mal, au moins on parle de nous » (un de mes anciens chefs de service trĂšs portĂ© sur le marketing)

  • # alternatives

    PostĂ© par . ÉvaluĂ© Ă  5.

    on trouve des alternatives sur plusieurs sites dédiés à la classification des logiciels, dont les logiciels open-source. J'espÚre que j'ai bien classifié Pipedream sur Openhub.

    https://openhub.net/p/pipedream-workflow

  • # Ça me donne une idĂ©e pour un outil d'admin

    PostĂ© par . ÉvaluĂ© Ă  3.

    Pipedream, ça m'a tout de suite évoqué ce jeu vidéo des années 80 ou l'on devait emmancher des tuyaux de plomberie pour éviter l'inondation. (aussi existant sous le nom Pipemania).

    Et puis j'ai pensé à psdoom.

    L'idée : donner une visu marrante à base de plomberie, à un constructeur de ligne de commande, couplé à pv ?

    Je suis bien incapable de le faire, mais bon, "je pose ça là" ;).

Suivre le flux des commentaires

Note : les commentaires appartiennent Ă  celles et ceux qui les ont postĂ©s. Nous n’en sommes pas responsables.