En amont tu génères les vecteurs sémantiques ("embedding") de tes documents en utilisant un modèle spécialisé pour ça ("embedding model") et tu fous tout ça dans une base de donnée.
Puis au runtime, tu fais une requête en langage naturel qui est elle aussi transformé en vecteur sémantique avec le modèle spécialisé que tu compares aux vecteurs de documents pour voir lesquels sont les plus proches.
En fait je trouve que ça fait beaucoup d'overhead et que ça limite les cas d'utilisation. Notamment, ça me semble plus adaptés à des corpus documentaires qui ne changent pas (parceque sinon, te devrais mettre à jour ta vector database, et je ne crois pas que l'on puisse faire ça par delta).
Tu n'as besoin de mettre à jour que les vecteurs des documents qui ont changés, pas recalculer toute la base de donnée.
[^] # Re: RAG
Posté par jtremesay (site web personnel) . En réponse au journal IA : mon parcours initiatique. Évalué à 4 (+2/-0).
Tout a fait.
(source)
En amont tu génères les vecteurs sémantiques ("embedding") de tes documents en utilisant un modèle spécialisé pour ça ("embedding model") et tu fous tout ça dans une base de donnée.
Puis au runtime, tu fais une requête en langage naturel qui est elle aussi transformé en vecteur sémantique avec le modèle spécialisé que tu compares aux vecteurs de documents pour voir lesquels sont les plus proches.
Tu n'as besoin de mettre à jour que les vecteurs des documents qui ont changés, pas recalculer toute la base de donnée.