No entendiste el modelo. Lo completaste.
En una reunión de dos horas para modelar el módulo de cobranzas, el jefe de contabilidad y el de crédito dijeron “saldo” catorce veces sin advertir que no hablaban de lo mismo. Para contabilidad, el saldo de un cliente es la suma algebraica de los movimientos registrados en su cuenta hasta la fecha de corte. Para crédito, el saldo es lo que el cliente todavía debe, y eso deja fuera los pagos en tránsito y suma los consumos autorizados que todavía no se facturaron. Los dos números difieren en varios miles. Los dos son correctos. Ninguno de los dos usó mal la palabra.
En la conversación nadie tropieza, porque la palabra admite las dos lecturas y las dos personas siguen adelante convencidas de que se entendieron. El tropiezo llega después, cuando alguien tiene que escribir Balance y decidir qué devuelve. Ahí la palabra deja de alcanzar. Elijas la lectura que elijas, la mitad del equipo va a leer el modelo al revés durante los próximos tres años.
En el ensayo anterior sostuve que la complejidad se decide antes del código, en el modelo, y que el código apenas hereda un corte que ya existía. Queda pendiente la pregunta que sigue. Quién traza ese corte, y con qué.
La IA también propone el modelo
La respuesta inmediata hoy sería que ya no lo traza nadie. Pegas la transcripción de esa reunión en una herramienta, pides un modelo de dominio, y en veinte segundos tienes agregados con nombres razonables, invariantes declaradas, una separación limpia entre lo contable y lo crediticio, y hasta una nota advirtiendo que el término “saldo” aparece usado en dos sentidos incompatibles. Es un buen resultado. Mejor, a menudo, que el de un equipo con prisa.
Miremos entonces qué produjo ese resultado. Murray Shanahan, en «Talking About Large Language Models», insiste en devolver la pregunta a su forma mínima. Lo que el sistema responde no es qué es verdad sobre el dominio, sino cómo podría continuar un fragmento de texto según la estadística del lenguaje humano. Y advierte contra el vocabulario intencional con que lo describimos. De un sistema de preguntas y respuestas montado sobre un modelo de lenguaje escribe que “In no meaningful sense, even under the licence of the intentional stance, does it know that the questions it is asked come from a person, or that a person is on the receiving end of its answers”.
Emily Bender y Alexander Koller lo convirtieron en tesis en «Climbing towards NLU». Sostienen que “a system trained only on form has a priori no way to learn meaning”, y lo argumentan con una fábula más convincente que el enunciado. Dos náufragos, A y B, quedan en islas distintas y se comunican por un cable submarino. Un pulpo hiperinteligente intercepta el cable. No sabe inglés, pero detecta patrones estadísticos con enorme habilidad, hasta que un día responde él, haciéndose pasar por B. A recibe respuestas plausibles y las da por buenas. La frase con la que los autores cierran el experimento es la que importa para todo lo que sigue. “A does all the work in attributing meaning to O’s response.”
Eso describe con precisión lo que ocurre cuando lees el modelo que te devolvió la herramienta y asientes. El significado de Balance no venía en la respuesta. Lo pusiste tú al leerla. Lo completaste.
Esa es una posición en una discusión abierta, no un hecho establecido. El contraargumento tiene fuente primaria. Kenneth Li y sus coautores, en «Emergent World Representations», entrenaron un modelo tipo GPT únicamente para predecir jugadas legales de Othello y examinaron qué había adentro. Reportan haber encontrado “evidence of an emergent nonlinear internal representation of the board state”. Un tablero, emergido de la pura predicción de la próxima jugada. Quien afirme que un sistema entrenado solo en la forma jamás construye nada parecido a un modelo del mundo tiene que responder por ese resultado.
No pretendo resolver esa discusión, y lo que viene no depende de resolverla. Concedamos lo máximo que el contraargumento pide. Supongamos que hay representación interna, que hay algo que merece llamarse comprensión. El problema que me interesa aparece igual, y aparece antes, del lado humano.
Gavagai
Lo interesante no es que la IA no acceda al significado. Es que el significado tampoco está fijado para nosotros.
W. V. O. Quine lo demostró en Word and Object, en 1960, con un experimento mental que la filosofía sigue discutiendo. Un lingüista de campo intenta traducir una lengua sin traductor ni diccionario. Pasa un conejo, el nativo dice “gavagai”, el lingüista anota conejo. Y ahí Quine desarma la anotación. “For, consider ‘gavagai’. Who knows but what the objects to which this term applies are not rabbits after all, but mere stages, or brief temporal segments, of rabbits?” Puede referir al conejo, a una etapa temporal del conejo, a las partes no separadas del conejo. Ninguna observación de la conducta lingüística distingue esas opciones, y ninguna cantidad de conejos que pasen va a distinguirlas. Quine generaliza el resultado sin concesiones. Los manuales de traducción, escribe, pueden construirse de maneras divergentes, “all compatible with the totality of speech dispositions, yet incompatible with one another”.
Cambia el conejo por la reunión de cobranzas y tienes tu trabajo. Cuando el jefe de crédito dice “saldo” y señala una pantalla, estás frente a un gavagai. El término puede referir al estado de la cuenta en un instante, a la deuda exigible hoy, a la exposición total comprometida con ese cliente, a cualquiera de esas cosas con o sin las operaciones en tránsito. Preguntar ayuda, pero no cierra la lista, porque cada respuesta se da con más palabras que arrastran el mismo problema. Cuando escribí que el lenguaje ubicuo no es un glosario estaba diciendo una versión suave de esto. Esta es la versión dura. No hay glosario posible porque no hay un significado esperando ser transcrito. Hay un conjunto de usos compatibles entre sí, y alguien tiene que quedarse con uno.
El jefe de crédito podría contestar que para eso están las reglas de negocio, escritas, aprobadas, firmadas. Wittgenstein dedicó el parágrafo 201 de las Investigaciones filosóficas a mostrar por qué eso no alcanza. Una regla no determina por sí sola su aplicación, porque cualquier curso de acción puede hacerse concordar con ella bajo alguna interpretación. Lo que estabiliza la aplicación correcta no es el enunciado sino la práctica, el uso público de una comunidad que se corrige a sí misma. La regla “el saldo excluye los pagos en tránsito” no te dice qué cuenta como pago en tránsito. Eso lo dice el equipo, caso por caso, durante meses.
Con qué recorta el que recorta
Si el modelador tiene que elegir, la pregunta es con qué elige. George Lakoff y Mark Johnson abrieron Metaphors We Live By en 1980 con una afirmación que entonces sonaba excesiva y hoy lleva cuatro décadas de trabajo empírico detrás. “Our ordinary conceptual system, in terms of which we both think and act, is fundamentally metaphorical in nature.” La metáfora no es un adorno del poeta. Es el mecanismo con que pensamos lo abstracto, y lo definen en una línea. “The essence of metaphor is understanding and experiencing one kind of thing in terms of another.” Discutir se piensa como pelear, y por eso se atacan posiciones y se defienden afirmaciones sin que nadie sienta que está hablando en figuras. El tiempo se piensa como dinero, y por eso se gasta.
Mira ahora el vocabulario de cualquier dominio financiero. Flujo. Cartera. Cuenta. Exposición. Ninguna es una etiqueta neutral. Cada una arrastra implicaciones antes de que nadie escriba una línea, sobre qué operaciones admite el objeto y sobre qué preguntas tienen sentido hacerle. “Cuenta” viene de contar y de rendir cuentas, e instala un registro histórico que se acumula y del que se responde. “Exposición” instala una fotografía de riesgo en un instante, sin historia. Modelar la deuda de un cliente con una o con otra produce operaciones distintas y bugs distintos. Elegir la metáfora es el primer acto de modelado y ya está hecho antes de que empiece el diseño.
El segundo mecanismo va más al fondo, porque abstraer es olvidar. Rodrigo Quian Quiroga y sus coautores publicaron en Nature, en 2005, el hallazgo de las llamadas concept cells, neuronas del lóbulo temporal medial que responden a una misma persona a través de fotos distintas, dibujos e incluso su nombre escrito. Lo que describen es “an invariant, sparse and explicit code, which might be important in the transformation of complex visual percepts into long-term and more abstract memories”. Una codificación invariante y escasa. La neurona se queda con el concepto y descarta todo lo demás. En una entrevista, el propio Quian Quiroga dijo que para pensar tenemos que olvidar, “which is counterintuitive, as forgetting involves abstractions”.
Él mismo señala de dónde le vino la intuición. Borges había dramatizado el caso límite en 1942. Ireneo Funes, después de una caída de caballo, recuerda absolutamente todo, cada hoja de cada árbol y cada forma de cada nube, y precisamente por eso no puede pensar. Le molesta que el perro de las tres y catorce, visto de perfil, lleve el mismo nombre que el perro de las tres y cuarto visto de frente. Sin olvido no hay concepto de perro. Hay una lista. Un modelo de dominio es esa neurona de concepto del negocio, una abstracción invariante que borra todo lo que el modelador decidió que no importaba. Y esa decisión, la de qué se olvida, es lo único que el modelo no puede mostrar, porque el modelo es lo que quedó.
Quién comprende
Quine demuestra la indeterminación del significado, Lakoff y Johnson describen la estructura metafórica del pensamiento, Quian Quiroga muestra el olvido como condición de la abstracción, Bender y Koller señalan quién hace el trabajo de atribuir significado. Ninguno escribe la conclusión que viene ahora. La pongo yo.
El humano es la anomalía del sistema. Es el único nodo que comprende, y comprender consiste en fijar arbitrariamente un significado que nunca estuvo fijo, con una mente que piensa por metáforas y recuerda olvidando. Toda la complejidad del modelo es la sombra de esa fijación. Cuando alguien decide que Balance excluye los pagos en tránsito, esa decisión no estaba en el dominio esperando que la descubrieran. La trajo quien la tomó, junto con su metáfora y todo lo que eligió no mirar.
En el ensayo anterior llamé anomalía a la IA, en el sentido de Kuhn, porque automatizar la escritura del código debería haber reducido la dificultad y en cambio la empujó hacia arriba. La anomalía de fondo, la que ninguna herramienta va a absorber, estuvo siempre del otro lado del teclado.
Complejidad sin autor
Un modelo de lenguaje está entrenado sobre texto humano. Hereda nuestras metáforas y nuestra ambigüedad, y las propaga a una escala que ningún equipo alcanzaba. Por qué sería el humano la anomalía, y no las dos cosas a la vez.
La respuesta corta es que heredar no es originar. Pero la respuesta corta no alcanza, porque una vez que la ambigüedad está en circulación importa poco quién la introdujo primero.
La IA generativa simula el resultado de haber comprendido sin el acto de comprender. Devuelve la forma de una decisión sin que nadie haya decidido. Cuando entrega un modelo de dominio, los cortes están ahí, limpios, con nombres que suenan pensados, y parecen elegidos. No los eligió nadie. Caen donde caen porque así se corta, estadísticamente, en el texto del que el sistema aprendió. Eso no es menos complejidad. Es complejidad sin autor.
Y esa es la peor versión del problema. Peter Naur, en «Programming as Theory Building», sostenía que un programa muere cuando se disuelve el equipo que poseía su teoría. El texto sigue ejecutándose y produciendo resultados útiles, y aun así está muerto, porque ya nadie puede responder de forma inteligente a una demanda de modificación. Un modelo generado por una herramienta nace exactamente en ese estado. No hay equipo que se haya dispersado, porque nunca hubo teoría que perder. Preguntas por qué el corte cae ahí y no hay a quién preguntarle. Es el programa muerto de Naur, muerto desde el nacimiento.
Que la IA propague ambigüedad, y con mejor caligrafía, deja intacto el punto. La diferencia está en quién puede responder por ella. A ti se te puede preguntar por qué el saldo excluye los pagos en tránsito, y contestas con una razón discutible, revisable, atribuible a alguien que estuvo en la reunión.
Saca ese nodo del sistema y la complejidad no desaparece. Desaparece el responsable.