miércoles, 24 de junio de 2009

Adivina quién viene a aleatorizar esta noche

El otro día Luis empezaba con una pregunta, así que hoy me toca a mí. ¿Quién sabe qué es el Spanish Impact Evaluation Fund? No, no es un fondo para estudiar como los españoles afectamos al mundo. Es un fondo de 10.4 millones de Euros dotado por España para la evaluación de proyectos del Banco Mundial que ayude a determinar “qué funciona y qué no funciona en desarrollo” (el enlace esta aquí). Dado que España es un país de renta alta con vínculos históricos con muchos países en desarrollo, no me parece particularmente mal que gastemos algo de dinero es estos temas.
Me sorprende más que uno de los criterios de asignación de recursos sea (copio de la página en inglés)

1. Prospective and rigorous, preferably randomized, identification strategies (to ensure that program impact is measured vis-à-vis a valid control group).

Ciertamente la aleatorización como estrategia de identificación en evaluación de tratamientos ha ganado muchos adeptos en los últimos años en tanto (Esther Dufflo y Abhijit Banerjee han sido, quizás, sus más destacados difusores y entre nuestros compatriotas, el trabajo de Alberto Abadie, en Harvard, es magnífico). La razón es que, bajo ciertas condiciones, los ensayos aleatorizados permiten la estimación de objetos de interés como el efecto media del tratamiento con unas hipótesis econométricas mínimas. Sin embargo, esta robustez tiene un coste (en econometría, como en todo en la vida, no hay almuerzos gratuitos): la limitación en lo que podemos aprender del experimento. Por ejemplo, los ensayos aleatorizados son informativos acerca de la media del efecto del tratamiento pero no acerca de su distribución, la cual puede ser mucho más relevante para análisis de bienestar. De igual manera, los ensayos aleatorizados solo nos suministran distribuciones marginales y no conjuntas, que son las que necesitamos para correr contrafactuales.
Si notáis un tono crítico en mis palabras no andáis descaminados: mi visión del tema está fuertemente influida por dos miembros de mi departamento, Ken Wolpin (al que me imagino que todos conoceréis) y por un assistant profesor que tenemos bien prometedor, Flavio Cunha, que me transmite lo que aprendió de Heckman (que fue su director de tesis en Chicago). Tanto Ken como Flavio tienen muchas dudas acerca de todo el proyecto investigador de los ensayos aleatorizados (y son bastante abiertos al respecto) y prefieren enfoques mucho más estructurales (una puntualización más técnica: también se pueden emplear datos de ensayos para estimación estructural, simplemente es poco común y no parece ser el caso en la lista de proyectos financiados por el Banco Mundial).
Yo soy un poco más moderado que Ken o Flavio y como buen Bayesiano, pienso que, desde el punto de vista del planificador social, es probable que lo óptimo sea dejar que distintos enfoques compitan entre si y no poner todos los huevos en la misma cesta.
Este es el motivo por el que creo que, si España decide renovar el fondo, la preferencia a favor de los ensayos aleatorizados debería ser removida. Parece innecesario que un estado soberano tome una posición sobre una discusión metodológica que, independientemente de lo que penséis sobre ella, aún no está cerrada.
Por cierto ¿sabe alguien de dónde salió la idea del fondo y de su estructura?

2 comentarios:

  1. Seria muy util saber si la defensa explicita de los ensayos aleatorizados es fruto del Banco Mundial o tenemos un joven entusiasta en algunos de los recovecos de la administración. A ver si encontramos la respuesta y nos divertimos un ratito. Como dijo Michele, si no nos gusta algo, decimos quien es. Eso de se dice el pecado pero no el pecador no es lo que cambia las políticas.

    ResponderEliminar
  2. Totalmente de acuerdo. Mi prior es que un funcionario de la AGE fue a hacer un master en EE.UU. (por ejemplo la AGE tiene un acuerdo con la Kennedy para esto) y aqui se enamoro tanto de los ensayos aleatorizados que al volver convencio a quien fuera de dotar el proyecto. Pero la verdad es que no tengo ni idea de como surgio el tema.

    ResponderEliminar