[Charles F. Manski hoy deleitó a una pequeña audiencia en NYU con una charla sobre «Análisis de políticas con certezas no creíbles». La audiencia básicamente era de economistas, aunque con algún cientista político en el auditorio. Tom Sargent estuvo presente, con alguna intervención («por favor defina ‘credibilidad’ «). En una ocasión, y puede verse en el texto, Manski citó a Wikipedia sin roche alguno (de hecho señaló que la definición de «sabiduría convencional» de Wikipedia es mejor que la de John K. Galbraith).]
Chuck Manski viene trabajando en «Análisis de políticas con certezas no creíbles». La preocupación es que en el debate de políticas públicas se suele hacer pronósticos, y todo tipo de enunciados en general, con demasiada certeza, cuando lo que se puede anticipar es en realidad muy incierto. Lo que esto significa es que esos pronósticos son simplemente no creíbles. Es más, en su trabajo, preliminar aún, nos ofrece una taxonomía de prácticas no creíbles, que abundan en los debates de política.
El problema aquí no es la coherencia lógica de un análisis, es decir, que haya errores deductivos, inferencias incorrectas y todo tipo de «nosesigues» o non sequiturs. La no credibilidad no viene de la deducción, sino de los supuestos insostenibles adoptados en un análisis. Si la inferencia uno la ve como una relación del siguiente tipo
supuestos+ datos => conclusiones,
pues para lograr conclusiones fuertes, simplemente se adoptan supuestos fuertes también. Finalmente el debate sobre el análisis de políticas es el debate sobre qué supuestos adoptar.
Al respecto, Manski propone una «ley», la ley de la credibilidad decreciente:
La credibilidad de la inferencia decrece con la fuerza de los supuestos adoptados.
Cuanto más precisa es la proyección, tanto menos creíble ésta resulta.
Desde luego que la credibilidad es subjetiva, y se pueden mantener discrepancias que incluso duren mucho, en particular, si los supuestos son no refutables, es decir, si muchos supuestos contradictorios resultan compatibles con la evidencia disponible. Así, un investigador se puede aferrar a supuestos no refutables sólo diciendo
«adopto este supuesto hasta que alguien me pruebe que es incorrecto».
Ocurre mucho. Con eso simplemente el investigador ya no se encarga de justificar sus supuestos, sino que desplaza del todo la carga de la prueba a quienes puedan discrepar de sus supuestos.
Que prevalezca la certeza tiene también sus razones, hay incentivos dados por la comunidad científica. Se necesitan nuevas y claras soluciones. Se pide recomendaciones simples y precisas. Presidentes, autoridades, cualquiera que tenga una responsabilidad política quiere las cosas lo más claro posible. Se aceptan muy poco los rangos de números; se prefiere un resultado puntual. Esto viene de hace tiempo atrás, remontándose a las reflexiones de Milton Friedman sobre el método en la ciencia y aún más atrás, hasta la navaja de Okham. Entre dos explicaciones, se prefiere la explicación más simple. Pero, ¿es esta la mejor explicación para llevar a cabo un buen diseño de política?
Manski nos ofrece una taxonomía y varios de ejemplos en que esto no es así.
1. Certeza convencional. Una organización gubernamental produce un pronóstico. No dice cómo lo hizo, sólo da un número. Y punto, ese es el número. La organización goza de mucha reputación y los partidos (esto es en los EEUU) demócrata y republicano pueden discrepar en todo menos en su aceptación del número producido por esta agencia. Los medios toman este pronóstico como dado y es lo que está en la cabeza de todos. El ejemplo aquí es la CBO, la Oficina Congresal del Presupuesto, cuyo pronóstico va a misa. El problema es que si el su pronóstico falla, la credibilidad se puede perder del todo.
2. Certezas en duelo. Lo mismo que lo anterior, sólo que con un retador. Un investigador o agencia tiene su numerito y cree en él y otro investigador o agencia tiene el suyo. Cada uno creyendo firmemente en su verdad. Aquí el ejemplo es muy interesante para el Perú, pues tiene que ver con la política antinarcótica. La RAND prefiere las políticas de tratamiento y el IDA (Institute for Defense Analyses) prefiere las políticas de defensa. Cada uno hace su estudio con supuestos favorables a su causa, siendo el tema subyacente la disputa por los fondos federales de parte de diversas agencias gubernamentales. Eso sí, cada uno de los estudios era internamente coherente. (También ofrece un ejemplo sobre un debate sobre reincidencia delincuencial).
3. Combinación de ciencia e intereses (Conflating science and advocacy). Y la cosa puede ser más clara aún si se invierte la ecuación: supuestos+ datos => conclusiones predeterminando las conclusiones y, dados los datos disponibles, eligiendo sólo aquellos supuestos que lleven a esa conclusión. Aquí el ejemplo que da Manski es el de cómo Milton Friedman simplemente desmerece los supuestos en los que no cree con el argumento «no han sido probados», «no es de ninguna manera claro que son válidos», poniendo la carga de la prueba en quienes sostienen esos argumentos y sin probar o hacer claros sus propios supuestos. En concreto, Friedman se oponía del todo una educación pública gratuita, sustentada económicamente en externalidades locacionales, que según él no habian sido demostradas, pero que tampoco él demostró que no eran importantes, no siendo el asunto hasta ahora dirimido en términos cuantitativos.
4. Extrapolación voluntarista (wishful extrapolation). Se hace un análisis de validez restringida y ya se lo quiere aplicar a toda una entidad mucho mayor. Si bien en el enlace Manski aporta diversos ejemplos, pondré yo como ejemplo el pensar que se pueden extrapolar las conclusiones de un pequeño programa piloto a todo un país. Un nosesigue.
En la charla Manski aportó un par más de ejemplos, como lo que llamó heretability. Si resulta que los factores innatos hereditarios tienen más influencia que los factores ambientales en la desigualdad económica, se concluye que ya no hay nada que hacer para reducir la desigualdad, porque esta es hereditaria; olvidémonos de las políticas de reducción de la desigualdad. Otro nosesigue. Goldberger respondería a esta conclusión equivocada ironizando que entonces si se comprueba que la miopía es hereditaria, no hay nada que hacer para reducirla; olvídémonos de la corrección de la vista mediante anteojos; y como la lluvia tiene causas naturales, entonces olvidémonos de usar paraguas.
En la charla como en el trabajo escrito Manski finalizó con más preguntas que soluciones, como puede apreciarse en el enlace que invito a leer al lector interesado, aunque sentando criterios constructivos para hacer ciencia correctamente.
En el contexto peruano, y en general latinoamericano, abundan los ejemplos para toda esta taxonomía (incompleta aún, pues el autor todavía está trabajando en el asunto), con mucho menos sutilezas que las que se aprecia en los ejemplos de Manski. Consultorías, investigaciones, estudios («técnicos» (y sólo «técnicos», supuestamente impolutos de política)), evaluaciones (de impacto (ambiental)), recomendaciones de política, decretos, con las conclusiones y los beneficiarios preestablecidos abundan entre nosotros y han sustentado diversas políticas que se han adoptado, sin mucha reflexión y con el agravante de haberse aprovechado de la gran desigualdad educativa en el país (ver cómo Yanacocha trató/a a los ciudadanos choropampinos, aquí, ver cómo las petroleras tratan a los nativos con consultas y justificaciones truchas o cuando, finalmente, los contaminan). Cuanto menor sea el capital humano del país y mayor la desigualdad, menor será la sutileza que los grupos de poder necesiten para justificar las acciones que hagan a costa del resto de la ciudadanía.
Enlaces a este artículo
19-09-2010 - 10:27
Comentarios a este artículo
15-09-2010 18:47
Silvio:
sumamente interesante el tema que tocas. voy a leer el trabajo de Manski y luego lo comento. Yo también estoy trabajando un paper con un tema similar, pero para identificar cuál es la estructura de razonamiento que se sigue para probar si un determinado hecho ocurrió o no.
La estructura que he identificado es la siguiente:
MP — Hecho —- Proposiciones inferenciales (o marco teórico) —- Hipótesis.
MP (es el medio probatorio).
Lo primero que hay que determinar es qué hipótesis se quiere probar o no. Luego hay que ver cuáles son los hechos que permiten inferir que la hipótesis ocurrió o no. Una vez que tengo identificado los hechos, hay que acreditarlos o probarlos. Para ello, hay que analizar cada uno de los atributos de los medios probatorios. Así, por ejemplo, en el caso de informes de expertos, testimonios, o evidencia física, etc.
Una vez que ya se han acreditado los hechos, se hace lo sigueinte:
(i) cómo los hechos probados permiten inferir la hipótesis objeto de verificación.
(ii)con qué grado de probabilidad o certidumbre puedo verificar mi hipótesis.
En ambos casos, la teoría será sumamente importante para explicar los hechos y con qué grado de probabilidad se puede explicar tal o cuales fenómenos. En otras palabras, si ocurren tales hechos, entonces ocurrirá tal evento.
Ahora bien, como puedes ver, los defectos del análisis de una hipótesis pueden encontrarse en la probanza de los hechos o en la solidez del marco teórico y el nivel de probabilidad con el que pueda explicar tal o cual suceso.
Hasta donde conozco, las personas que se dedican a Evidence, informal logic, theory of argumentation y artificial intelligence se están dedicando a analizar todo el proceso de razonamiento necesario para probar una hipótesis y con qué grado de certezas.
si tienes más información sobre esta materia, no sé si me podrías enviar,
e igual yo te podría enviar la información sobre esta materia.
muchas gracias,
César
15-09-2010 20:21
GCC: Certezas no creíbles http://grancomboclub.com/2010/09/certezas-no-creibles.html
15-09-2010 20:21
GCC: Certezas no creíbles http://grancomboclub.com/2010/09/certezas-no-creibles.html
15-09-2010 20:24
RT: @rensilvio: GCC: Certezas no creíbles http://grancomboclub.com/2010/09/certezas-no-creibles.html
15-09-2010 20:24
RT: @rensilvio: GCC: Certezas no creíbles http://grancomboclub.com/2010/09/certezas-no-creibles.html
15-09-2010 21:28
RT: @Cyberjuan RT: @rensilvio: GCC: Certezas no creíbles http://grancomboclub.com/2010/09/certezas-no-creibles.html
15-09-2010 21:28
RT: @Cyberjuan RT: @rensilvio: GCC: Certezas no creíbles http://grancomboclub.com/2010/09/certezas-no-creibles.html
15-09-2010 22:58
RT @Cyberjuan: RT: @rensilvio: GCC: Certezas no creíbles http://grancomboclub.com/2010/09/certezas-no-creibles.html
15-09-2010 22:58
RT @Cyberjuan: RT: @rensilvio: GCC: Certezas no creíbles http://grancomboclub.com/2010/09/certezas-no-creibles.html
16-09-2010 1:48
Conclusiones supuestamente sólidas, aun cuando sus supuestos eran falsos (interesante) (Vía @rensilvio): http://bit.ly/aLqB9E