RAG gobernado para conocimiento enterprise: fuentes, permisos y evals

RAG no es una caja de busqueda con un modelo encima

RAG enterprise se ubica entre conocimiento y accion. Decide que fuentes estan permitidas, como se fragmentan documentos, que usuario puede recuperar que contenido, como las respuestas citan evidencia y como se revisan fallas. Sin gobernanza, RAG se vuelve una forma comoda de mezclar informacion obsoleta, sensible o de baja calidad en respuestas confiadas.

Las preguntas de arquitectura que importan

• Alcance de fuentes: que repositorios, politicas, contratos, procedimientos, tickets o correos entran?
• Modelo de permisos: la recuperacion respeta fronteras de usuario, rol, area, proyecto o clasificacion de datos?
• Frescura: como se manejan actualizaciones, documentos reemplazados y versiones en conflicto?
• Calidad de recuperacion: que documentos deberian aparecer para preguntas conocidas y cuales nunca deberian aparecer?
• Calidad de respuesta: cuando deberia responder, citar, abstenerse o escalar?

La evaluacion tiene dos capas

Evaluacion de recuperacion

Un sistema RAG puede fallar antes de que el modelo escriba una palabra. La recuperacion debe probarse con preguntas conocidas, fuentes esperadas, fuentes prohibidas, trampas de documentos obsoletos, casi duplicados y fronteras de permisos.

Evaluacion de respuesta

La respuesta generada debe probarse por fidelidad a fuentes, completitud, comportamiento de rechazo, alineacion con politica, tono y escalamiento correcto. Una fuente correcta con sintesis incorrecta sigue siendo falla.

Inteligencia documental antes de generacion

Muchas fallas RAG son fallas documentales. OCR deficiente, metadata inconsistente, politicas duplicadas, falta de responsables y versiones conflictivas crean recuperacion debil. Antes de ajustar prompts, los equipos deberian ordenar propiedad documental, metadata, versionado y retencion.

Controles operacionales

• Recuperacion consciente del usuario con checks de acceso antes del ranking.
• Citas con responsable documental, version, fecha y senal de confianza.
• Abstencion cuando la recuperacion es debil o las fuentes se contradicen.
• Colas de revision para respuestas de alto riesgo y patrones repetidos de falla.
• Dashboards de preguntas no resueltas, consultas de baja confianza y vacios documentales.

Un criterio de compra

No compres una implementacion RAG solo por calidad de demo. Pregunta como maneja permisos, documentos obsoletos, fuentes contradictorias, sets de evaluacion y logs. En entornos enterprise, la diferencia entre un RAG util y uno riesgoso suele estar en la gobernanza de recuperacion, no en la interfaz de chat.