La brecha entre la adopción de la IA y la experiencia necesaria para evaluarla está creciendo más rápido de lo que la mayoría de las organizaciones quiere admitir.
Uno de nuestros desarrolladores junior implementó una corrección el mes pasado que no entendía. Había utilizado IA para diagnosticar el problema y escribir la solución, algo que fomentamos en Phidev. Usar IA no era el problema. Implementar algo que no entiendes sí lo es.
Pude darme cuenta en los primeros cinco segundos, simplemente observando el código, de que no había entendido lo que la IA le había entregado. Era innecesariamente complejo y contemplaba cosas que el sistema no necesitaba. Pero lo más importante que noté no fue la complejidad. Fue que no tenía idea de lo que hacía el código. Lo implementó porque la IA dijo que era la solución y, a simple vista, parecía funcionar. Ese fue todo su proceso de evaluación.
Revertimos el cambio. Nos sentamos juntos. Le mostré una solución más simple, una que realmente entendía. Aprendió algo ese día. Por suerte para todos, lo detectamos a tiempo y sin mayores consecuencias. Es una versión pequeña de un patrón en el que he estado pensando de manera más amplia: cómo la IA reemplaza silenciosamente los momentos que antes construían algo dentro de nosotros.
Lo que hizo no es exclusivo de los desarrolladores junior. Es lo que ocurre en todos los niveles de una organización cuando la presión por adoptar IA avanza más rápido que la experiencia necesaria para evaluarla. La diferencia es que cuando sucede en su nivel, un sistema falla. Cuando sucede en la alta dirección o a nivel de políticas corporativas, el error ya fue enviado a trescientas personas.
Aquí es donde el ciclo del error se vuelve importante. Y también por qué es diferente a cualquier cosa con la que hayamos lidiado antes.
La experiencia se construye, en gran medida, a través del error. Intentas algo, falla, entiendes por qué, lo intentas de nuevo. La IA colapsa ese ciclo. Se salta la parte donde algo se rompe. Y cuando te saltas la parte donde algo se rompe, también te saltas la parte donde entiendes por qué. El ciclo no se preocupa por tu nivel de experiencia, tu presupuesto o tu cronograma de adopción.
Sullivan & Cromwell, uno de los despachos jurídicos más prestigiosos del mundo, tuvo que disculparse recientemente ante un juez federal por alucinaciones generadas por IA incluidas en un documento judicial. Estatutos citados incorrectamente. Casos que no existían. La firma cobra 3,000 dólares por hora. Su política declarada es “no confíes en nada y verifica todo”. La política falló porque una política es tan buena como la experiencia que existe detrás de ella. Si no sabes cómo luce una respuesta correcta, “verifica todo” es solo una frase.
La mayoría de las organizaciones que están impulsando iniciativas de IA en este momento no lo hacen por descuido. La presión por adoptarla simplemente está avanzando más rápido que la infraestructura necesaria para evaluarla. La adopción se convierte en el objetivo en lugar de los resultados. Y cuando la adopción es el objetivo, la pregunta que nadie formula en voz alta es si la experiencia necesaria para detectar errores ya existe en todos los niveles de la organización o si existen procesos para compensar esa brecha.
La mayoría de las organizaciones no tiene ninguna de las dos cosas. Y nadie quiere decirlo porque parece que estás en contra del progreso o porque expone tus propias limitaciones como líder.
Phidev no es la excepción. La historia del desarrollador es prueba de ello. Pero reflexionar sobre situaciones como esta es precisamente cómo mejoramos, y tuvimos la suerte de detectarlo antes de que tuviera un costo real.
La pregunta más importante antes de implementar cualquier resultado generado por IA no es: “¿La IA dice que esto es correcto?”. Es: “¿Sabemos lo suficiente para detectarlo cuando está equivocado?”. La mayoría de las organizaciones no puede responder honestamente que sí.
Ese es el nuevo ciclo del error. Impulsas una iniciativa, cometes un error, absorbes el golpe reputacional o financiero y corriges la iniciativa. El ciclo tradicional del error al menos ocurría a nivel individual, donde el costo de romper algo estaba contenido. Esta versión ocurre a escala, en público, y la factura crece en proporción.
Y el mandato ya fue enviado.
