La señal y el ruidoNate Silver

Síntesis y comentarios

Juan Carlos Siria

http://es.linkedin.com/in/juancarlossiria/

A más información más problemas: Impacto de la imprentaLa revolución en la tecnología de la información llega con la aparición de la imprenta por Gutenberg en 1440. La información se puso a disposición de las masas y esto desencadeno una explosión de ideas de consecuencias involuntarias y efectos impredecibles.

En un primer instante hubo otra consecuencia: 100 años de guerra santa. El ser humano se creyó con la posibilidad de predecir su suerte y de elegir su destino.

Antes de la imprenta, los libros eran escasos y objetos de lujo para el uso exclusivo de la nobleza. Además evitar que el conocimiento acumulado se redujera, exigía un esfuerzo para luchar contra el deterioro de los libros. Es por ello que durante el paso de los siglos, se perdió un gran de conocimiento existente.

La búsqueda del conocimiento se consideraba una tarea inherentemente fútil, cuando no inútil. No existía nada nuevo bajo el sol, no tanto porque se hubiese descubierto todo, sino más bien porque todo se acabaría olvidando.

Es por ello que la imprenta cambia todo esto de forma radical y definitiva. La producción de libros creció de forma exponencial y el conocimiento empezó acumularse a gran velocidad.

Sin embargo, la calidad de la información no era uniforme. La cantidad de información crecía más deprisa que la capacidad humana de decidir que hacer con ella, o de discernir la información útil de las medias verdades. Paradójicamente, el aumento del conocimiento compartido se tradujo en un aislamiento de las diversas realidades nacionales y religiosas.

Cuando existe un exceso de información, reaccionamos abordándola de forma selectiva, creando aliados con los que comparten las mismas elecciones que nosotros y enemigos a los demás.

Vinieron años de guerras de religión, tras la contrarreforma protestante de M. Lutero y otra serie de guerras que hicieron del S.XVII un siglo de lo más sangrientos de la historia.

Progreso científico y literarioLa imprenta pronto impulsó también el progreso científico y literario.

L as obras de Shakespeare giran muchas sobre la idea del destino. La tragedia hay que buscarla en la distancia que separa lo que los personajes quieren lograr y lo que les depara el destino.

Parece ser que la idea de “controlar” el propio destino pasó a formar parte de la consciencia humana en esa época, si bien no pasó lo mismo con las competencias para lograr dicho objetivo.

En la época de Shakespeare estaba muy en boga dicha idea, usando dos palabras con significados diferentes:

predicción: las palabras de un adivino.

previsión: idea de Casio en la obra La tragedia de Julio César, en la que se podían interpretar las señales de las profecías (que se asocian al fatalismo, la adivinación y la superstición) para sacar provecho de ellas.

“Forecast” en inglés, tiene raíces germánicas y está más próximo al término previsión, mientras que “Predict” deriva del latín. O sea que la idea de previsión respondía al punto de vista terrenal del nuevo protestantismo, por oposición al punto de vista esotérico del Sacro Imperio Romano.

De esta forma “prever” algo implica planificar algo en condiciones de incertidumbre y apela a la prudencia, la sabiduría y la diligencia (cualidades de la ética del trabajo protestante que según Max Weber facilitó el advenimiento del capitalismo y la revolución industrial).

La idea de “prever” las cosas estaba vinculada a la idea de “progreso”. O sea que toda la información contenida en aquellos libros (que gracias a la imprenta pudieron crecer en número y extensión) debía ayudar a planificar mejor nuestras vidas y predecir el curso del mundo en nuestro propio beneficio.

Los protestantes, que habían desatado varios siglos de guerra (S. XVI/XVII), estaban aprendiendo a utilizar el conocimiento acumulado para cambiar la sociedad. Y es en los países protestantes donde fundamentalmente se inicia la revolución industrial, donde existía libertad de prensa y las ideas religiosas y científicas podían circular sin miedo a la censura.

Y es en EEUU, que nace en los albores de la Revolución Industrial, donde se desarrollan virtudes como el ingenio, capacidad de trabajo y flaquezas como la arrogancia y la impaciencia, que nacen de la convicción de que podemos elegir nuestro destino.

Fallo en las predicciones. El futuro nos sorprendeExisten fallos generalizados en las predicciones (ataque 11 de Septiembre, previsión de terremotos, predicciones de estudios médicos, etc.).

Los seres humanos tenemos un cerebro rápido y estamos diseñados para diseñar patrones y responder a las oportunidades y las amenazas casi sin dudarlo. Reconocer objetos en situaciones difíciles, implica generalizar (un recién nacido es capaz de reconocer los rasgos generales de una cara). Y lo hemos aprendido de forma evolutiva y no individual.

El problema es que los instintos evolutivos nos llevan a ver patrones donde no los hay, y es solo un ruido aleatorio.

El cerebro humano es capaz de almacenar hasta 3 terabytes de información, o sea una ínfima parte de la información que se produce diariamente. Por eso debemos ser muy selectivos con la información que decidimos recordar.

Nuestros instintos biológicos no están siempre adaptados a la información del mundo moderno. Solo con una toma de consciencia de los prejuicios que introducimos en nuestros juicios, podemos obtener información adicional, si no es así se minimiza la información obtenida. El paralelismo con el impacto de la imprenta es evidente, tras su aparición el aumento del sectarismo aumentó.

En la actualidad también estamos asistiendo al mismo fenómeno. Por ejemplo el bipartidismo político y su incapacidad de ponerse de acuerdo con respecto por ejemplo a las causas, efectos y soluciones para el cambio climático.

En estos momentos se generan diaramente 2,5 trillones de bytes de información. El ruido crece más rápidamente que la señal. Hay una cantidad creciente de hipótesis que analizar e información que desmenuzar, pero la cantidad de verdad objetiva se mantiene prácticamente constante.

Nos gusta predecir las cosas, pero no se nos da demasiado bien.

Solución en la predicciónNunca podemos realizar predicciones totalmente objetivas. Llevarán el sesgo de nuestro punto de vista subjetivo.

Frente al punto de vista nihilista que se opone a que existan verdades objetivas, nuestro punto sostiene que la creencia en la existencia de una verdad objetiva (y la determinación de encontrarla) es el requisitio indispensable para realizar mejores predicciones.

Tras el compromiso inicial de buscar esa verdad objetiva, es asimismo necesario que el pronosticador reconozca que su percepción es imperfecta.

Karlo Popper, decía que una hipótesis no era científica, a menos que fuera verificable, o sea que se pudiera poner a prueba –confirmarla- en el mundo real mediante una predicción.

Y esto no ocurre frecuentemente ni en ciencias políticas, ni en ciencias económicas, ni en otras ciencias…, con resultados predictivos más bien escasos. Pero sin llegar a decir como Popper que dichas teorías son por ello acientíficas o que carecen de valor, lo que nos dice es que muchas ideas que no hemos comprobado deben de estar también equivocadas. Es indudable pues, que vivimos equivocados en muchos sentidos y que ni somos conscientes de ello.

O sea que la solución va asociada a un cambio de actitud respecto a la forma de pensar respecto a nuestras ideas y de la forma de ponerlas a prueba. Es algo en que la formulación del teorema de Bayes nos ayuda.

Hay que ser capaz de moverse con mayor comodidad entre las probabilidades y las incertidumbres. Y considerar más a fondo los prejuicios y convicciones con los que abordamos los problemas.

Errores en las prediccionesExiste el peligro de los desconocidos desconocidos, o sea los riesgos de los que ni siquiera somos consciente.

Una amenaza peor es por ello creer que tenemos controlados los riesgos de los que ni siquiera somos conscientes. En estos casos nos engañamos a nosotros mismos, y nuestra confianza injustificada puede resultar contagiosa (por ejemplo el caso de las agencias de calificación en la crisis financiera).

La importancia de comprender la diferencia entre riesgo e incertidumbre.

Riesgo es algo calculable, con una evaluación de las probabilidades entre los eventos posibles.

Incertidumbre es un riesgo difícil de calcular. Siendo difícil saber cuantos elementos y cuando van a actuar en una situación dada.

Cuando se juega con la incertidumbre, como si fuese un riesgo, aparece una alta probabilidad de un desastre en la predicción (como hicieron las agencias de calificación en tomar unos títulos novísimos con alto nivel de incertidumbre sistémica, cuantificando el riesgo –y en muchas ocasiones asegurando que no existía).

O sea que cuando tenemos modelos predictivo, que son simplificaciones del mundo real, no es aconsejable creernos que si cometemos un error, será marginal. Y en los sistemas complejos los errores no se miden en grados sino en magnitudes.

Y cuando las predicciones apuestan por una alta precisión, (pero sin relación alguna con la realidad o sea inexactas) corremos el peligro de relajarnos y confiar en la “falsa exactitud”, con el consecuente impacto inesperado.

Actitud correcta para realizar buenas predicciones: Pensar con astucia de zorroTetlock clasificó a los expertos en predicciones, estudiando la forma de pensar que tienen acerca del mundo. Vio que los expertos que más salen entrevistados en los medios son los que peor resultados obtenían en sus prediciones.

Las 2 categorías:

Erizos: personas que creen en las grandes ideas, en principios generales sobre el mundo, que funcionan como si fuesen leyes de la física y que constituyen la base de prácticamente todas las interacciones sociales (Marx, Freud…)

Zorros: creen en múltiples pequeñas ideas y abordan los problemas desde perspectivas distintas. Muestran más tolerancia ante los matices, incertidumbre, complejidad y opiniones discrepantes.

Los erizos son cazadores al acecho de la gran presa, los zorros recolectores.

Y a los zorros se les dan mejor las predicciones, sin embargo los erizos son mejores tertulianos en los medios de comunicación.

Como piensan los zorros Como piensan los erizosMultidisciplinarios Especializados en pocos temas

Adaptables, con una búsqueda de nuevos enfoques

Incondicionales, fieles a sus enfoques. Tienen más problemas a la hora de diferenciar entre sus intereses y sus análisis. Crean historias de buenos y malos, perdedores y ganadores, historias más bonitas y pulcras que el mundo real

Autocríticos Tercos, achacan los errores a la mala fortuna o a que los buenos modelos pueden tener un mal día, y a medida que tienen más experiencia peor son sus predicciones

Tolerantes a la complejidad, aceptando incluso que muchos problemas son irresolubles o impredecibles

Fanáticos del orden, esperan que una vez aislado el ruido, el mundo se rija según unos principios rectores simples

Cautos, sus predicciones las expresan en términos probabilísticos y matizan sus opiniones

Confiados, rara vez justifican sus predicciones y son reacios a cambiarlas

Empíricos, confían más en la observación que en la teoría. La experiencia les permite mejorar los pronósticos

Ideológicos, las soluciones a muchos problemas cotidianos son manifestaciones de una teoría o principio superior

Dificultad de ser objetivosSer objetivo: capaz de dejar a un lado los sesgos y los prejuicios propios para comprender mejor la verdadera naturaleza de un problema.

La mejor manera de acercarnos más a la objetividad, es reconociendo la influencia que nuestros supuestos tienen en nuestras predicciones y cuestionarlos.

Teorema de BayesTrata sobre la probabilidad condicional, o sea que indica que probabilidades existen de que una teoría o una hipótesis sea cierta si se produce un acontecimiento determinado.

El teorema de Bayes se ocupa de la incertidumbre epistemiológica, o sea de los límites del conocimiento.

El proceso es el siguiente

1. Se le asigna una probabilidad a la aparición de un acontecimiento relacionado con la hipótesis (sin saber realmente la relación directa con la hipótesis).

Por ejemplo (comentario personal):

Si una persona nunca llega tarde a las citas, la hipótesis de que “ha ocurrido algún suceso realmente importante que le ha impedido llegar a la hora y avisar”.

A llegar tarde, se le asignaría una probabilidad alta (digamos 95%) de que sea porque “ha ocurrido algo excepcional que le ha impedido llegar y avisar”.

2. Se calcula la probabilidad que hay en que el acontecimiento ocurrido sea una condición de que la hipótesis sea falsa.

(Comentario personal) Si no ha sido un suceso realmente importante, y es por otras razones como por ejemplo que se olvidó por primera vez de anotarla en la agenda, se tomó unas pastillas para el dolor de muelas o las pilas del reloj se gastaron... La probabilidad de que pasen estas explicaciones es baja-media (pongamos 40%).

3. La probabilidad previa. Es la probabilidad de que pase la hipótesis sin haberse dado el acontecimiento.

(Comentario personal) O sea qué probabilidad existe que “ocurra un suceso realmente importante….”. En este caso, podríamos decir que los sucesos importantes podrían ser enfermedad grave, accidente, caída del sistema telefónico, extravío del móvil, etc. -> o sea que es algo bastante poco probable, pero posible, o sea que le damos 5%.

La probabilidad de que la hipótesis sea cierta cuando ocurra el acontecimiento será:

X = Probabilidad previa 3

Y = Probabilidad 1

Z = Probabilidad 2

X*Y / (X*Y+Z(1-X))

(Comentario personal) En el ejemplo seria 5%x95% / (5%x95%+40%(1-95%)) = 95%. O sea que la probabilidad que pase algo serio porque llegue tarde es realmente alta.

Ejemplo Ataque Terrorista 11S Previa: probabilidad de que unos terroristas estrellaran sus aviones contra las torres

gemelas

0,005%

X: probabilidad que se estrelle un avión si los terroristas atacan los rascacielos de NY

100%

Z: probabilidad de que se estrelle un avión si los terroristas no atacan los rascacielos, por ejemplo por accidente

0,008%

Probabilidad corregida: que sea un ataque terrorista si un avión se estrella en un rascacielos por primera vez

38%

Y este 38% se convierte ante el segundo ataque en el valor Previo, para el cálculo de la probabilidad que sea un ataque terrorista si un segundo avión se estrella en otro rascacielos -> 99,99%

El método bayesiano para reducir erroresDesde el punto de vista empírico, todos actuamos según nuestras creencias y sesgos, forjados a partir de una combinación de experiencias, valores y conocimientos, y también de nuestros objetivos o deseos.

Lo positivo del enfoque bayesiano, es que por el hecho de admitir explícitamente que existen tales sesgos, o creencias previas en la forma de interpretar los nuevos datos, ofrece una descripción muy buena de nuestra forma de reaccionar ante cambios que se producen en nuestro entorno.

El teorema de Bayes no impide tener convicciones que consideremos absolutamente ciertas. Si creemos profundamente que hay 100% o un 0% en una hipótesis, nada cambiará por el uso del teorema nuestra creencia.

En situaciones donde no tenemos esa convicción profunda, podemos entonces admitir que nuestras creencias no son absolutamente objetivas, racionales o precisas, y podemos aspirar que sean menos subjetivas, irracionales y erróneas. Realizar predicciones a partir de nuestras creencias es la mejor forma de ponernos a prueba. Si la objetividad persigue una verdad superior

que se encuentre más allá de nuestras circunstancias personales y la predicción es la mejor forma de comprobar hasta que punto nuestras percepciones personales se aproximan a esa verdad superior, los más objetivos serán los que realicen las predicciones más precisas. En este sentido, el método estadístico de Fisher, que considera que la objetividad se circunscribe a los límites de un experimento de laboratorio, es menos apropiado para esta tarea que el razonamiento bayesiano.

Una de las máximas del teorema bayesiano es que nuestras creencias tenderán a converger entre si, a medida que vayamos disponiendo de más datos. Teóricamente la ciencia debería funcionar de esta manera. La idea es que las opiniones científicas irán convergiendo hacia la verdad a medida que se debaten ideas y se obtienen nuevos datos.

Ahora bien el camino no es siempre rectilíneo y uniforme, y a menudo la comunidad científica es demasiado conservadora cuando se trata de adaptar sus paradigmas a nuevos datos, aunque también hay casos que se han subido al carro de forma precipitada.

En la actualidad estamos pues, ante un cambio de paradigma en los métodos estadísticos utilizados por los científicos. Las críticas a los defectos del enfoque estadístico de Fisher son conocidas y numerosas en campos como psicología clínica, ciencias políticas o la ecología.

Ajedrez, predicción y heurísticaEl ajedrez es un juego determinista, o sea no tiene nada que ver con la suerte. En el caso de las predicciones atmosféricas en teoría podríamos decir lo mismo. Nuestro conocimiento de ambos casos está sujeto a imperfecciones considerables.

En el tiempo atmosférico, disponemos de un conocimiento incompleto de las condiciones iniciales, o sea que por muy bien que conozcamos las reglas que rigen el sistema meteorológico (nota personal: son modelos aproximativos y no teorías que describan con precisión el movimiento de un sistema de partículas –problema de los 3 cuerpos-), siempre nos faltará información de la posición de todas las moléculas que conforman nubes, tormentas y huracanes. Por ese motivo lo máximo que podemos realizar son pronósticos probabilistas.

En el ajedrez es distinto. Conocemos las reglas del juego y una información perfecta, pero aun así se nos plantea un juego muy difícil. Como humanos no somos capaces de procesar toda la información existente en el juego, por lo que no lo entendemos en la totalidad al superar nuestra capacidad y sin embargo tomamos decisiones/diseñamos estrategias en una situación que no es incierta.

En el ajedrez se realizan simplificaciones para predecir el resultado de la partida. A veces se les llama a estas simplificaciones “modelos”, pero el término preferido tanto por los programadores de software como los seres humanos en el estudio de la toma de decisiones es “heurística”.

El enfoque heurístico de un problema, consiste en utilizar reglas generales cuando la solución determinista se escapa a nuestras capacidades prácticas. La heurística resulta muy útil pero es invetable que contenga sesgos y puntos débiles.