LLM y bases de datos vectoriales: ¿cómo funciona la búsqueda semántica?

La capacidad de una aplicación de inteligencia artificial para generar respuestas correctas no depende únicamente del gran modelo de lenguaje utilizado. También es determinante cómo accede el modelo a la información que necesita. Las preguntas de los usuarios pueden no coincidir exactamente con las expresiones presentes en los registros. En este punto cobra importancia la diferencia entre la búsqueda basada en la coincidencia de palabras y la que evalúa la similitud semántica. Al valorar qué base de datos utilizar en una aplicación LLM, la pregunta inicial no es qué producto es más potente, sino a qué información se necesita acceder y de qué manera.

Afirmar que las bases de datos SQL y NoSQL son insuficientes para la inteligencia artificial sería una generalización inexacta. A menudo, la limitación radica más en el método de búsqueda que en la propia base de datos. Por ejemplo, una consulta SQL LIKE que busque la expresión exacta coche rápido no encontrará un registro cuya descripción sea coche deportivo rojo. La búsqueda de texto completo puede mejorar la recuperación basada en palabras; sin embargo, la coincidencia léxica por sí sola no siempre basta para identificar conceptos similares expresados de distintas maneras.

La búsqueda semántica se basa en modelos de embeddings que convierten el contenido en vectores numéricos. Mediante un modelo adecuado, los textos se transforman en coordenadas multidimensionales que representan relaciones semánticas. La pregunta del usuario también se vectoriza con el mismo modelo o con uno compatible. A continuación, se compara el vector de la consulta con los vectores de los registros. Así, una búsqueda de coche rápido puede incluir entre los resultados relevantes un registro de coche deportivo rojo, aunque no contenga las mismas palabras. Su eficacia depende de la calidad del modelo y de los datos.

A medida que aumenta el número de vectores, comparar cada consulta con todos los registros uno por uno puede resultar costoso. La búsqueda aproximada de vecinos más cercanos, o ANN, busca encontrar vectores similares de forma más eficiente. HNSW es uno de los enfoques de indexación utilizados para este fin. El término aproximada es importante: se establece un equilibrio entre la velocidad de búsqueda, el uso de recursos y la capacidad de encontrar resultados relevantes. Por tanto, un índice debe evaluarse no solo por su velocidad, sino también por la calidad de los resultados que necesita la aplicación.

Este enfoque de recuperación de información desempeña un papel importante en las arquitecturas RAG. RAG recupera de una fuente de información contenidos relacionados con la pregunta del usuario y los proporciona al modelo de lenguaje como contexto. La búsqueda vectorial es uno de los métodos que pueden emplearse para seleccionar esos contenidos; no equivale a entrenar el modelo. Si los documentos recuperados son incorrectos, incompletos o irrelevantes, la calidad de la respuesta también puede verse afectada. Por ello, el diseño de un sistema RAG debe centrarse no solo en la selección del modelo, sino también en la preparación del contenido de origen y en la pertinencia de los resultados de búsqueda.

En la práctica, no siempre es necesario sustituir la base de datos existente. Se pueden valorar extensiones que ofrecen compatibilidad con vectores, como pgvector, y soluciones orientadas a vectores, como Pinecone, Weaviate o Milvus, según las necesidades. La decisión debe considerar conjuntamente la integración con los sistemas existentes, el volumen de datos, las necesidades de filtrado y las condiciones de operación. En X Mind Solutions abordamos esta cuestión como el diseño de una arquitectura adecuada a las necesidades de acceso a la información de la inteligencia artificial, en lugar de descartar las bases de datos tradicionales.