Un chat con los documentos internos de la empresa parece la aplicación más sencilla de la IA: subes los PDF, preguntas y responde. El problema aparece el primer día que contesta con seguridad algo que no está en ningún documento. Ese fallo tiene causas conocidas y se puede evitar. Te explicamos cómo hacer que un chat con documentos internos no se invente respuestas.
¿Por qué se inventa respuestas?
Un modelo de lenguaje está entrenado para redactar texto plausible, no para decir «no lo sé». Si le haces una pregunta y no le das la información necesaria, intentará responder igualmente con lo que aprendió en su entrenamiento, que no son tus documentos.
Por eso un buen chat con documentos funciona en dos fases: primero busca los fragmentos de tus documentos que responden a la pregunta y después redacta la respuesta solo a partir de ellos. Esa arquitectura se llama RAG (generación aumentada con recuperación). La mayoría de las respuestas inventadas vienen de que la primera fase falla y la segunda no se entera.
Cuatro medidas que lo evitan
1. Citar la fuente de cada respuesta
Cada respuesta debe indicar de qué documento sale, con el apartado o la página. No es un adorno: obliga al sistema a apoyarse en un fragmento concreto y permite a quien pregunta comprobarlo en segundos. Una respuesta sin cita no debería mostrarse.
2. Un umbral de respaldo
Si la búsqueda no encuentra fragmentos suficientemente relacionados con la pregunta, la respuesta correcta es «no he encontrado esto en la documentación», y mejor aún si añade a quién preguntar. Ese umbral se ajusta con preguntas reales: demasiado bajo y se inventa cosas; demasiado alto y no responde a nada.
3. Permisos antes de buscar
Si no todo el mundo puede ver todos los documentos, los permisos tienen que aplicarse al buscar, no al mostrar la respuesta. Lo explicamos en detalle en cómo evitar que un asistente de IA enseñe documentos que no debe.
4. Preguntas de control
Antes de abrirlo al equipo, prepara entre treinta y cincuenta preguntas reales con su respuesta correcta y el documento del que sale. Incluye preguntas trampa, cuya respuesta no está en ningún documento. Pasa la batería cada vez que cambies los documentos, el modelo o la configuración.
| Tipo de pregunta | Respuesta esperada | Qué detecta |
|---|---|---|
| Con respuesta clara en un documento | La respuesta, con su cita | Que la búsqueda funciona |
| Con respuesta repartida en dos documentos | La respuesta completa, con dos citas | Que combina fuentes |
| Sin respuesta en la documentación | «No lo he encontrado» | Que no se inventa nada |
| Sobre un documento restringido, hecha sin permiso | «No lo he encontrado» | Que respeta los permisos |
Lo que también falla: los documentos
Muchas respuestas malas no son culpa del modelo, sino de la documentación: dos versiones de la misma política, un procedimiento caducado que nadie retiró, un PDF escaneado sin texto. El primer trabajo de un proyecto así es inventariar los documentos, marcar su vigencia y retirar los duplicados. Un chat con documentos internos es tan fiable como lo que lee.
¿Cómo saber si funciona en el día a día?
Una vez en marcha, revisa cada semana dos listas que el propio sistema puede generar: las preguntas que no supo responder, que te dicen qué falta en la documentación, y las respuestas que alguien marcó como incorrectas. Con esas dos listas el sistema mejora por la vía buena: completando los documentos, no tocando el modelo.
En resumen
Un chat con documentos internos se inventa respuestas cuando busca mal y nadie lo detecta. Cita obligatoria, umbral de respaldo, permisos al buscar y una batería de preguntas de control lo resuelven. Así está construido nuestro chat con tus documentos; el caso de uso de chatbot sobre tu documentación explica cómo lo ponemos en marcha. Si quieres probarlo con una carpeta tuya, escríbenos.