Si no sabes cómo se rompe, no sabes cómo funciona: Sobreviviendo a la IA

La mayoría de las cosas importantes las aprendí desarmando. Rompiendo sistemas, viendo qué había adentro, modificando piezas para entender por qué algo funcionaba… o por qué explotaba.

Aprendí muchísimo más peleándome con tornillos, errores y mecanismos reales que escuchando gente repetir terminología elegante sin entender demasiado la causalidad detrás de lo que describían.

Siempre tuve un problema con el conocimiento ornamental. Con esa costumbre de usar palabras complejas para simular profundidad, mientras las preguntas importantes quedan sin responder.

Muchas veces pregunté:

“Sí... pero ¿por qué funciona así?”

Y terminé recibiendo la misma idea reciclada, explicada con distinta jerga.

Por eso siempre confié más en la irreverencia y la curiosidad que en la obediencia intelectual.

Salvando años luz de distancia, mi forma de pensar tenia conexión con la de Richard Feynman.

En 1986, durante la investigación del trágico accidente del transbordador espacial Challenger, William Rogers (el político que presidía la comisión) se cansó y soltó una queja en un receso:

"Feynman is becoming a real pain in the ass".

¿Por qué molestaba tanto? Porque mientras los burócratas y directivos usaban jerga vacía y reportes infinitos para evadir culpas, Feynman fue directo al mecanismo. En plena audiencia televisada, agarró un anillo de goma de la nave, lo metió en un vaso con agua helada y demostró físicamente por qué había fallado. Fin del misterio.

Feynman desconfiaba profundamente de cualquier sistema donde el lenguaje empezara a importar más que el mecanismo.

Esa obsesión por ir a la raíz explica la frase que encontraron escrita en su pizarrón el día de su muerte, en 1988:

"Lo que no puedo crear, no lo entiendo".

Claro, no hablaba de arte. Hablaba de que si decís entender algo, tenés que poder fabricarlo o reconstruirlo mentalmente desde sus cimientos.

Hoy, esta idea está chocando de frente contra un tren a 300 km/h llamado Inteligencia Artificial. Y nos afecta a todos los que creamos cosas, seamos técnicos o no.

Estamos entrando en una era fascinante, pero engañosa. La IA amplifica brutalmente nuestra capacidad de construir cosas que no comprendemos.

Durante décadas, crear tecnología fue una disciplina de construcción. Hoy, se está convirtiendo rápidamente en una disciplina de ensamblaje. La gente simplemente le habla a una IA, le tira unas ideas al aire y, por arte de magia, saca productos geniales, aplicaciones funcionales o automatizaciones complejas en un par de días.

Es increíble y los resultados son reales. Pero hay una trampa terrible!.

Estamos creando una generación capaz de operar sistemas hipercomplejos sin entender la lógica, los límites, ni las reglas que hay por debajo.

Durante décadas, la complejidad técnica funcionó como filtro natural.

No podías construir demasiado sin desarrollar cierto entendimiento interno del sistema. El propio proceso de creación te obligaba a formar modelos mentales:

• causalidad
• límites
• dependencias
• estados
• puntos de falla

La IA empieza a romper esa relación histórica.

Ahora es posible producir sistemas útiles sin desarrollar internamente gran parte de la comprensión necesaria para construirlos desde cero.

Eso cambia algo mucho más profundo que la productividad. Empieza a alterar la relación histórica entre crear algo y comprenderlo.

Entramos en una era donde parte del razonamiento empieza a externalizarse hacia sistemas estadísticos (la IA).

Y eso genera una situación extraña. Personas capaces de construir cosas impresionantes sin haber desarrollado modelos profundos sobre lo que están construyendo.

Ahora, eso no significa que sean inútiles ni que el resultado no tenga valor... Pero el conocimiento empieza a desplazarse desde la mente del creador hacia herramientas externas, apareciendo una pregunta incómoda:

¿qué pasa cuando la capacidad de producir supera ampliamente la capacidad de comprender?

Producir sin comprender escala muy bien...hasta que algo se rompe.

Ahora el ecosistema de redes e IA habla de orquestadores de magia estadística. Mi traducción: “nadie sabe exactamente por qué esto sigue funcionando” (y digo nadie incluyéndome).

Pero acá viene lo peligroso: antes, la ignorancia era visible. Si no sabías cómo hacer algo, el sistema no arrancaba, la pantalla quedaba en negro, el proyecto no nacía. Hoy, la ignorancia puede producir demos impresionantes.

Seamos honestos: yo también uso IA todos los días. También me apoyo en capas de abstracción gigantescas que no comprendo completamente. Nadie hoy entiende completamente todas las capas del sistema. Eso no es nuevo, ya murió hace años.

El problema real no es usar IA para ir más rápido. Abstraer la complejidad es la base de la civilización. El verdadero problema es cuando dejamos de saber que estamos usando cajas negras y empezamos a confundir "obtener un resultado útil" con "entender cómo funciona".

Ahí es donde el simple ensamblador se choca contra la pared. Cuando la IA inventa datos de la nada, cuando el sistema entra en un bucle infinito o cuando un pequeño cambio derrumba toda la estructura... nadie sabe cómo arreglarlo. Por ejemplo: prompts que funcionan “hasta que dejan de funcionar”.

No hace mucho, un vendor me presentó una demo impecable de IA. Todos quedaron impresionados. Hice una pregunta sobre un caso borde, no para sabotear, sino por curiosidad genuina. No solo se cayó la demo: no supieron explicar qué había pasado ni cómo funcionaba lo que acababan de mostrar. Habían construido algo que producía resultados correctos sin entender por qué ni como. Exactamente el problema del que hablo. El que solo ensambla, depende ciegamente de su herramienta.

Feynman probablemente diría que estamos construyendo un mundo de conocimiento superficial.

No es nostalgia boomer decir que esto importa. El cambio es real y resistirse sería un error estratégico. Pero tenemos que entender las nuevas reglas del juego:

Producir el resultado va a dejar de ser el cuello de botella. El nuevo cuello de botella será entender el sistema con la suficiente profundidad como para saber cuándo te está mintiendo.

La comprensión profunda ya no sirve para ser el primero en sacar una idea rápida. La comprensión profunda hoy sirve para la supervivencia, para la capacidad de reparación y para no ser engañado.

En un mundo donde cualquiera puede armar un producto pidiéndoselo a un chat, el valor diferencial no estará en quién escribe más rápido. Estará en el que siga teniendo la irreverencia de meter las manos en el motor, desarmar la caja negra y entender por qué funciona. Ese será el que sepa qué hacer cuando las cosas salgan mal.

Y como demostró Feynman con un vaso de agua helada, a veces solo hace falta entender lo básico para desarmar las mentiras más complejas.