LLM et bases de données vectorielles : comment fonctionne la recherche sémantique ?

La capacité d’une application d’intelligence artificielle à produire une réponse correcte ne dépend pas uniquement du grand modèle de langage utilisé. La manière dont le modèle accède aux informations dont il a besoin est également déterminante. Les questions des utilisateurs ne correspondent pas nécessairement mot pour mot aux formulations présentes dans les enregistrements. C’est là que la distinction entre une recherche fondée sur la correspondance des mots et une recherche évaluant la similarité sémantique prend toute son importance. Pour choisir une base de données destinée à une application LLM, la première question n’est donc pas de savoir quel produit est le plus puissant, mais à quelles informations il faut accéder et comment.

Affirmer que les bases de données SQL et NoSQL sont inadaptées à l’intelligence artificielle serait une généralisation inexacte. La limite tient souvent davantage à la méthode de recherche utilisée qu’à la base de données elle-même. Par exemple, un enregistrement dont la description contient voiture de sport rouge ne sera pas trouvé par une requête SQL LIKE recherchant l’expression exacte voiture rapide. La recherche en texte intégral peut améliorer l’accès fondé sur les mots ; toutefois, la seule correspondance lexicale ne suffit pas toujours à repérer des concepts similaires exprimés différemment.

La recherche sémantique repose sur des modèles d’embedding qui convertissent les contenus en vecteurs numériques. À l’aide d’un modèle adapté, les textes sont transformés en coordonnées multidimensionnelles représentant leurs relations sémantiques. La question de l’utilisateur est également vectorisée avec le même modèle ou un modèle compatible. Le vecteur de la requête est ensuite comparé à ceux des enregistrements. Une recherche portant sur voiture rapide peut ainsi faire apparaître un enregistrement décrivant une voiture de sport rouge parmi les résultats pertinents, même s’il ne contient pas les mêmes mots. La réussite dépend de la qualité du modèle et des données.

Lorsque le nombre de vecteurs augmente, comparer chaque requête à tous les enregistrements un par un peut devenir coûteux. La recherche approximative des plus proches voisins, ou ANN, vise à trouver plus efficacement des vecteurs similaires. HNSW est l’une des approches d’indexation utilisées à cette fin. Le terme approximative est important : il s’agit de trouver un équilibre entre la vitesse de recherche, l’utilisation des ressources et la capacité à retrouver des résultats pertinents. La valeur d’un index doit donc être évaluée non seulement selon sa rapidité, mais aussi selon la qualité des résultats requise par l’application.

Cette approche de récupération de l’information joue un rôle important dans les architectures RAG. Le RAG récupère, depuis une source d’information, des contenus pertinents pour la question de l’utilisateur et les fournit au modèle de langage en guise de contexte. La recherche vectorielle est l’une des méthodes possibles pour sélectionner ces contenus ; elle ne correspond pas à l’entraînement du modèle. Si les documents récupérés sont erronés, incomplets ou non pertinents, la qualité de la réponse peut également en pâtir. La conception d’un système RAG doit donc porter non seulement sur le choix du modèle, mais aussi sur la préparation des contenus sources et la pertinence des résultats de recherche.

En pratique, il n’est pas nécessairement indispensable de remplacer la base de données existante. Des extensions offrant une prise en charge des vecteurs, comme pgvector, ainsi que des solutions axées sur les vecteurs, telles que Pinecone, Weaviate ou Milvus, peuvent être envisagées selon les besoins. La décision doit tenir compte à la fois de l’intégration aux systèmes existants, du volume de données, des besoins de filtrage et des conditions d’exploitation. Chez X Mind Solutions, nous abordons cette question comme un travail de conception d’une architecture adaptée aux besoins d’accès à l’information de l’intelligence artificielle, plutôt que comme une exclusion des bases de données traditionnelles.