El chatbot que salvó vidas en Ruanda y empeoró diagnósticos en Oxford
En febrero de 2026 se publicaron dos estudios sobre IA médica que, a primera vista, parecen contradictorios. El primero, en Nature Health, mostró que modelos como GPT-4o y Gemini-2 superaron a clínicos locales en Ruanda en diagnósticos reales. El segundo, en Nature Medicine, mostró que esos mismos modelos hicieron que pacientes comunes en Reino Unido se desempeñaran peor que si hubieran usado Google. Mismo tipo de herramienta. Resultados opuestos.
¿Cómo es posible? La respuesta no está en la IA. Está en el sistema humano alrededor de la IA. Y esa lección aplica directamente a cualquier empresa en Perú y América Latina que esté evaluando implementar inteligencia artificial en sus operaciones.
En este artículo analizo qué revelan realmente estos dos estudios, por qué la diferencia no es técnica sino organizacional, y cómo ese principio debería guiar cada implementación de IA en un negocio real.
Lo que encontraron los estudios: números que incomodan
El estudio de Ruanda involucró a 101 trabajadoras de salud comunitaria que enviaron 5,609 preguntas clínicas reales a cinco modelos de lenguaje: Gemini-2, GPT-4o, o3-mini, DeepSeek R1 y Meditron-70B. Los modelos fueron evaluados por revisores expertos en once métricas distintas. Gemini-2 y GPT-4o promediaron 4.48 sobre 5. Todos los modelos superaron a los clínicos locales contra quienes fueron comparados.
En paralelo, un ensayo controlado aleatorizado en Pakistán entregó GPT-4o a 58 médicos con 20 horas de entrenamiento en uso crítico del modelo. Los puntajes de razonamiento diagnóstico saltaron de 43% con recursos convencionales a 71% con el chatbot. Una mejora notable, medible, real.
Luego está Oxford. Casi 1,300 usuarios sin entrenamiento especial usaron modelos similares para identificar condiciones médicas y decidir qué hacer. En pruebas de referencia sin humanos, los modelos identificaron condiciones relevantes el 94.9% del tiempo. Cuando los usuarios reales interactuaron con ellos, esa cifra colapsó al 34.5% — por debajo del 47% que logró el grupo de control usando solo búsquedas en internet. El mismo síntoma, el mismo modelo, le dijo a una persona que descansara en un cuarto oscuro y a otra que fuera de emergencia al hospital.
Rebecca Payne, médico clínico de la Universidad de Bangor y líder clínica del estudio de Oxford, describió los resultados con una sola palabra: perturbadores.
El principio que nadie quiere admitir: la IA amplifica al operador
Estos resultados no se contradicen. Se complementan para revelar algo que muchos vendedores de tecnología prefieren no mencionar: el valor de una herramienta de IA depende casi completamente de tres factores.
El primero es la sofisticación de quien la usa. Las trabajadoras de salud en Ruanda tenían entrenamiento formal. Los médicos en Pakistán recibieron 20 horas de práctica específica en cómo usar el modelo de forma crítica, no solo cómo usarlo. Los pacientes en Oxford no tenían ninguna de las dos cosas.
El segundo factor es la calidad de la supervisión alrededor de la herramienta. En los estudios de Ruanda y Pakistán había estructuras de verificación, revisores expertos, protocolos. En Oxford, el usuario estaba solo con el chatbot.
El tercer factor es la alternativa con la que se compara. En Ruanda, la alternativa es a veces ningún médico disponible por horas o días. En Oxford, la alternativa es un sistema de salud con acceso a médicos generales. La IA no compite en igualdad de condiciones en ambos contextos.
El estudio de Oxford identificó además un problema de comunicación bidireccional: los usuarios no sabían qué decirle al modelo, y el modelo no sabía qué preguntar. La IA no falló sola. Falló el sistema completo.
Cómo aplica esto en empresas de Perú y LATAM
Sería fácil leer estos estudios como un problema médico y seguir adelante. Pero el patrón es exactamente el mismo en cualquier implementación de IA empresarial en nuestra región.
Cuando en Consultoría-Ti acompañamos a empresas en la implementación de automatizaciones con IA — ya sea en procesos de ventas, atención al cliente, gestión de inventarios o análisis de datos — lo que determina el resultado no es el modelo elegido. Es si el equipo que lo usa tiene contexto, entrenamiento y un proceso claro de supervisión.
Una empresa que implementa un chatbot de atención al cliente sin entrenar a su equipo en cómo revisar las respuestas, sin definir qué casos escalar a un humano, y sin medir la calidad de las interacciones, no está implementando IA. Está instalando un generador de respuestas confiadas que nadie verifica. El equivalente exacto del paciente en Oxford que recibió consejos opuestos del mismo modelo.
Por otro lado, una empresa que define claramente el alcance del sistema, entrena a su equipo en cómo trabajar con él, y establece puntos de control humanos en las decisiones críticas, puede obtener resultados comparables a los del estudio de Pakistán: mejoras medibles y sostenibles en productividad y calidad.
El problema en muchas PYMES de la región es que la presión por adoptar IA rápido lleva a saltar ese sistema de soporte. Se compra la herramienta, se activa, y se espera que funcione sola. Eso es exactamente lo que los estudios muestran que no funciona.
¿Cómo aplica esto en tu empresa?
Antes de implementar cualquier herramienta de IA en tu organización, hay tres preguntas que deberías poder responder con claridad:
- ¿Tu equipo tiene el entrenamiento suficiente para usar esta herramienta de forma crítica, no solo operativa? Usar un chatbot no es lo mismo que saber cuándo confiar en él y cuándo no.
- ¿Tienes definido qué decisiones NO puede tomar la IA sola? El estudio de Pakistán mostró que los médicos seguían superando al modelo en el 31% de los casos que involucraban señales de alerta contextuales. Ese 31% existe en tu negocio también.
- ¿Tienes un mecanismo para medir si la IA está mejorando o degradando los resultados reales? No los resultados en demo. Los resultados con tus clientes, tus datos, tu contexto.
Si la respuesta a alguna de estas preguntas es no, el problema no es la IA. Es que el sistema alrededor de la IA no está listo. Y construir ese sistema es exactamente donde está el trabajo real de la transformación digital.
Conclusión
Los dos estudios publicados en febrero de 2026 no nos dicen si la IA médica es buena o mala. Nos dicen algo más útil: que la misma herramienta puede ser un aliado diagnóstico poderoso o un generador de desinformación confiada, dependiendo del sistema humano que la rodea. Esa distinción no es técnica. Es organizacional. Y es la distinción que debería guiar cada decisión de implementación de IA en cualquier empresa que quiera resultados reales.
En Consultoría-Ti acompañamos a empresas en Perú y América Latina a implementar IA y automatización con ese enfoque: primero el sistema, luego la herramienta. Si estás evaluando cómo incorporar inteligencia artificial en tus procesos de forma responsable y medible, conversemos.
Fuentes y Referencias
✨ Contenido generado con ContentFlow — Consultoría-Ti