Bases de datos vectoriales y LLM: búsqueda semántica

Que una aplicación de inteligencia artificial genere respuestas precisas no depende únicamente del modelo de lenguaje utilizado. La forma en que el modelo accede a la información requerida también es determinante. Las preguntas de los usuarios pueden no coincidir de manera exacta con los términos registrados. En este punto, cobra relevancia la diferencia entre la búsqueda basada en coincidencia de palabras clave y aquella que evalúa la similitud semántica. Al momento de evaluar la elección de una base de datos en aplicaciones de LLM, la pregunta inicial no es qué producto es más potente, sino a qué información se necesita acceder y de qué manera.

Declarar insuficientes las bases de datos SQL y NoSQL para la inteligencia artificial no sería una generalización acertada. El límite suele estar en el método de búsqueda empleado más que en la base de datos en sí. Por ejemplo, un registro cuya descripción dice auto deportivo rojo no se va a encontrar con una consulta SQL LIKE que busque textualmente auto veloz. La búsqueda de texto completo puede mejorar el acceso por palabras, pero la simple coincidencia de términos no siempre alcanza para captar conceptos afines expresados de otra manera.

La búsqueda semántica se basa en modelos de embeddings que transforman el contenido en vectores numéricos. A través de un modelo adecuado, los textos se convierten en coordenadas multidimensionales que representan relaciones de significado. La consulta del usuario también se vectoriza con el mismo modelo o con uno compatible. Luego, se compara el vector de la consulta con los vectores de los registros. De este modo, una búsqueda como auto veloz puede incluir entre los resultados relevantes un registro que dice auto deportivo rojo, aunque no contenga las mismas palabras. El éxito de este proceso depende de la calidad del modelo y de los datos.

Cuando la cantidad de vectores aumenta, comparar cada consulta contra todos los registros de forma individual puede resultar muy costoso. La búsqueda de vecinos más cercanos aproximados (ANN) apunta a encontrar vectores similares de forma más eficiente. HNSW es uno de los esquemas de indexación utilizados con este propósito. En este contexto, el término aproximado es clave: se establece un equilibrio entre la velocidad de búsqueda, el consumo de recursos y la precisión para dar con los resultados pertinentes. Por lo tanto, el valor de un índice no debe medirse únicamente por la rapidez, sino junto con la calidad de resultados que la aplicación exige.

Este enfoque de acceso cumple un rol fundamental en la arquitectura RAG. RAG recupera contenidos relevantes para la pregunta del usuario desde una fuente de conocimiento y se los presenta al modelo de lenguaje como contexto. La búsqueda vectorial es uno de los métodos disponibles para seleccionar estos contenidos, pero no equivale a entrenar el modelo. Si los documentos recuperados son erróneos, incompletos o irrelevantes, la calidad de la respuesta se puede ver afectada. Por eso, en el diseño de RAG hay que enfocarse no solo en la elección del modelo, sino también en la preparación del contenido fuente y en la pertinencia de los resultados de búsqueda.

En la práctica, la alternativa no pasa necesariamente por reemplazar la base de datos actual. Se pueden considerar extensiones como pgvector, que brindan soporte vectorial, o soluciones dedicadas a vectores como Pinecone, Weaviate o Milvus según cada necesidad. Al momento de decidir, hay que contemplar en conjunto la integración con los sistemas existentes, el volumen de datos, los requerimientos de filtrado y las condiciones de operación. En X Mind Solutions abordamos este tema no como una exclusión de las bases de datos tradicionales, sino como la construcción de una arquitectura acorde a las necesidades de acceso a la información que demanda la inteligencia artificial.