Las correlaciones espurias y el extraño caso del vínculo entre la inflación en la Argentina y las duchas heladas
De publicarse el Día de los Inocentes, esta nota diría que un paper de la Universidad de Hudson acaba de dar con el Santo Grial de la inflación argentina: un algoritmo de IA reporta una elevadísima correlación entre la inflación mensual en los últimos 20 años y la intensidad de búsqueda de la frase “baño de hielo” en Google. Y, como es habitual en esa fecha, luego de un tiempo prudencial la chanza se develaría. Obviamente no existe tal paper (o más o menos), ni la Universidad de Hudson. Sorprendentemente, lo que sí existe es la altísima correlación entre la cifra que desvela a los argentinos y el ice bath, práctica que, según dicen, induce a un estado propicio para la creatividad y la imaginación.
Por “correlación” se entiende a una estadística que mide el grado de asociación entre dos variables, y que va de cero cuando no hay relación, a uno cuando la relación es perfecta y positiva. Aburrido mientras preparaba sus exámenes finales en Harvard, el joven abogado Tyler Vigen creó un algoritmo para resolver el siguiente problema: en una base de datos de 26.379 variables (de cualquier índole, deportiva, social, cultural, económica) computar todas las correlaciones posibles y aislar aquellas que son muy altas.
Los resultados son desopilantes: el algoritmo encuentra, entre otras perlas, una fortísima relación entre la cantidad de muertes a causa de ahogarse en una piscina y la cantidad de películas en las que aparece Nicholas Cage, o entre la aparición de Ovnis en México y la cantidad de patentes otorgadas en Estados Unidos. En el caso de la Argentina y la inflación, recordando que cero es ninguna relación y uno que una serie predice perfectamente la otra, la correlación entre inflación y ice bath da un (perdón...) escalofriante 0,98.
Las redes sociales se hicieron una panzada con estas correlaciones ridículas. Vigen escribió un desopilante libro (Correlaciones Espurias) y mantiene un interesante sitio web con sus “hallazgos”. Más aún, el algoritmo de Vigen, llamado data dredging, permite que cualquiera suba una serie y el sitio le devuelve aquella con mayor correlación con la ingresada. Y así es que fue irresistible alimentarlo con “la” serie que desvela al presidente Javier Milei y que inicia esta nota. El “servicio” (completamente gratuito) de Vigen incluye un mecanismo de IA que escribe un (pseudo) paper científico sobre cualquier disparate que uno encuentre.
¿Por qué ocurren estas correlaciones espurias? Comencemos aclarando que Vigen es el primero en señalar la naturaleza chacotona de su proyecto, diseñado con el único propósito de resaltar los peligros de andar hurgando irresponsablemente en los datos.
La noción de correlación espuria parece estar vinculada con dos conceptos. Por un lado, refiere a asociaciones numéricas que no se condicen con las relaciones causales. Por ejemplo, los que hacemos dieta tenemos un peso mayor que los que no, porque, justamente, a los que estamos excedidos de peso nos mandaron a suprimir los postres, y no porque hacer dieta engorde. En este caso, la correlación es espuria porque contradice la intuición de que hacer dieta debería adelgazar. Entonces, esta fuente de correlación sin sentido causal tiene que ver con un mal uso de los datos: de haber querido indagar en los efectos de hacer dieta, habría que haber hecho un experimento, de modo que no se mezclen las razones por las que la gente hace dieta, con sus efectos.
En igual línea, el hecho de que quienes están hospitalizados tengan peor salud que el resto no refrenda que los hospitales tengan un efecto negativo. Y que los que hablan inglés sean exitosos no dice demasiado de las ventajas de aprender la lengua de Shakespeare. Esta fuente de correlaciones espurias es lo que está detrás del mantra “correlación no implica causalidad”, que todos repiten y, por lo que se ve en la práctica, pocos entienden.
La segunda fuente de correlaciones sin sentido son las casualidades. Es decir, los huecos de la estadística por los que se cuelan resultados espurios, como consecuencia de los márgenes de error de una disciplina que no los puede evitar. No por inoperante, sino porque, bajo incertidumbre, es imposible eliminarlos y no queda otra que negociarlos. Un algoritmo que dice que toda película es pésima elimina un error (nadie se clava con un bodrio), pero garantiza el otro: quien no ve ninguna película se pierde todas las buenas. Y exactamente lo contrario ocurre con un sistema de recomendaciones que dice que toda película es excelente. En la práctica, los algoritmos negocian estos errores para que el sistema funcione, porque, en caso de no hacerlo, alegóricamente la única forma de evitar accidentes aéreos es suprimiendo la aviación. Ese es el margen de error inevitable de la estadística, de los sistemas de recomendaciones, de la aviación, de los remedios, de la justicia. El trabajo de la ciencia, la tecnología y la estadística no es eliminar errores, sino minimizarlos.
Con 26.379 variables se pueden computar casi 320 millones de correlaciones, en donde es casi seguro que aparecerán estas “correlaciones por casualidad”. Y esto es exactamente lo que aprovechó Vigen: de esta monstruosidad de correlaciones, en un su sitio muestra solo las 10.974 que resultaron significativas. Esto se parece a la vieja chanza de cómo convertirse en as de los mercados: envíe 1000 cartas diciendo en la mitad que el dólar sube y en la otra mitad, que baja. A la semana siguiente, a los que recibieron la carta que acertó la realidad, mándeles nuevamente cartas, bajo la misma consigna. Al mes, habrá 30 personas que dicen “hay un tipo que hace un mes le viene pegando al dólar”. En esta chanza, por cada persona que opina que usted es un genio, hay 33 que saben que es un farsante. En el sitio de Vigen, por cada correlación sorprendente hay casi 30 millones que no dan nada. Este es el abecé de los esquemas piramidales: habla solo el que gana.
Hasta ahora, estas son las dos fuentes de correlaciones espurias habitualmente citadas, al punto tal que la gente habla de “casualidad vs. causalidad” para referir a esta cuestión. Pero hay una tercera, que la economía esconde en su manga y que explica por qué en economía es peligrosamente fácil toparse con estos espejismos del análisis de datos.
En 1974, Clive Granger y Paul Newbold documentaron un fenómeno que se venía “oliendo” desde hace más de un siglo: cuando las series estadísticas tienen “demasiada memoria”, la herramienta clásica para computar correlaciones (la “correlación de Pearson”, como la que usa Vigen y casi todo el mundo), no funciona. Es decir, tiende a encontrar relaciones entre series aun cuando no las haya, muy por arriba del margen de error tolerable. Entonces, si la base de Vigen contiene muchas series de este tipo, las chances de encontrar correlaciones sin sentido aumentan considerablemente. Aquí no es ni casualidad versus causalidad, sino que la herramienta no anda. El diseño de los métodos apropiados para relacionar series en este contexto fue lo que le valió el Nobel a Granger en 2003.
El problema con la IA y big data es que, a la larga, el que busca, encuentra. Es la inteligencia natural la que distingue entre patrones relevantes y casualidades, porque sabe que una cosa es que un hombre esté embarazado y otra es que un algoritmo diga que lo está. La historia revelará si el frío polar de hace algunos días tuvo algún efecto sobre la inflación, porque si bien a las nubes no les preocupa lo que dicen los meteorólogos, los mercados son susceptibles a lo que hacen y opinan los analistas.