Análisis de las Estimaciones de las Casas Encuestadoras en la Elección Presidencial de 2012 (Parte 7)

Macario Hernández Garza
6 de Diciembre del 2013

Me desviaré un poco de la línea que he venido siguiendo en esta serie de escritos. Creo que este desvío vale la pena. Se podrá ver que la actuación de las casas encuestadoras en las elecciones a gobernador en 2010 y 2011, fue una calca de lo que sería su actuación en la elección presidencial de 2012: el sesgo abrumador favorable a los candidatos del PRI o sus alianzas. Así que, de alguna forma, estas elecciones estatales fueron un laboratorio para las elecciones presidenciales de 2012.

Leo Zuckermann (LZ) escribió el artículo ¿Quién es quién en las encuestas?, el cual apareció en la revista Nexos de marzo de 2012. En este artículo LZ hace un análisis del desempeño de las casas encuestadoras, en 17 elecciones de gobernador, llevadas a cabo en México, en los años 2010 y 2011 (el artículo se puede consultar en: http://www.nexos.com.mx/?P=leerarticulo&Article=2102593). LZ hace un orden jerárquico de las casas encuestadoras, según la efectividad de éstas, atendiendo a tres criterios que luego comentaré.

Resultados oficiales de las elecciones a gobernador, según Leo Zuckermann

En la Tabla 1 aparecen los resultados oficiales, según LZ. Lo primero que se aprecia en esta tabla es que todos los valores son números enteros, lo cual es imposible de que ocurra, ya que estos valores son el resultado de un cociente donde el numerador y el denominador son del orden de cientos de miles o millones de votos.

Otra situación irregular es que, en 9 de las 17 las elecciones, el resultado para Otros Candidatos es cero. Esto no es posible de que ocurra, ya que Otros Candidatos es la suma de Votos Nulos y los correspondientes a Candidatos No Registrados, y a veces se le agrega la votación de algún partido pequeño, o algún partido grande en una elección donde tuvo una pobre votación. Lo anterior no es irrelevante puesto que casi la mitad de los puntos que le escamotea Zuckermann a Otros Candidatos, van a parar a los candidatos del PRI, y la otra mitad a los candidatos restantes, como se podrá ver en la siguiente sección y la Tabla 2. Esta conducta de LZ también la utilizan, por lo general, las casas encuestadoras: trasvasar puntos de Otros Candidatos, principalmente, a los candidatos del PRI, lo que se puede apreciar en artículos anteriores y más adelante en este artículo. A fin de cuentas ¿quién va a defender los votos de los candidatos no registrados y los votos nulos?

Resultados oficiales de las elecciones a gobernador

Así las cosas, me di a la tarea de buscar los resultados oficiales en los sitios de internet de los institutos electorales estatales.

Los resultados, ahora si oficiales, se muestran en la Tabla 2. Se observa que, como la lógica indica, no hay un solo resultado electoral cuyo valor sea entero. También se tiene que, como se suponía, todos los resultados para Otros Candidatos son diferentes de cero, contrario a los resultados de LZ en la Tabla 1, para 9 de 17 elecciones.

En la parte inferior de ambas tablas se tiene la suma de los resultados de las 17 elecciones estatales, para cada partido y cada alianza. En el caso de la Tabla 2 se presentan además el renglón Diferencia entre la Suma de resultados (según LZ) en la Tabla 1 menos la Suma de Resultados oficiales de la Tabla 2, así como el promedio de esas diferencias respecto al número de elecciones incluidas en el estudio (17). Lo que ahí se muestra es que todos los partidos y alianzas recibieron puntos de más (esto se puede verificar comparando los valores correspondientes en ambas tablas), a los únicos que se les quitaron puntos fue a Otros Candidatos. Al partido o alianza que más puntos le corresponden con los resultados “oficiales” de LZ es el PRI con 24.80 puntos, lo cual representa en promedio 1.46 puntos por cada elección estatal ¿les dice esto algo? Mientras a Otros Candidatos se le eliminaron 52.06 puntos porcentuales, el 51% de la votación total de Otros Candidatos en las 17 elecciones estatales. La pregunta es: ¿de dónde sacó LZ los resultados “oficiales” de la Tabla 1?

Leo Zuckermann cita en su artículo las dificultades que tuvo para recabar la información de las estimaciones de las casas encuestadoras. Y, en efecto, es difícil conseguir los reportes históricos de las encuestas electorales, sobre todo las estatales. Creo que la razón es que las casas encuestadoras tienen mucho que esconder, de otra forma, tendrían los reportes históricos de sus encuestas electorales disponibles en sus sitios de internet al alcance de cualquier ciudadano.

Debería existir una ley que obligara a los encuestadores a entregar sus reportes a los institutos electorales estatales, y que éstos los subieran a sus sitios de internet para quienes desearan consultarlos.

Propuestas de Leo Zuckermann para evaluar a las casas encuestadoras

Transcribo las propuestas de Leo Zuckermann para evaluar a las casas encuestadoras, de su artículo aparecido en Nexos:

  1. En primerísimo lugar si aciertan al ganador. Ésta debe ser la variable central. Los electores queremos ver encuestas para tener esa información. Luego entonces, en la calificación que propongo habría que darle el peso mayor. En el ejercicio que presenta la tabla 10 le he dado un peso de 65% a esta variable.
     
  2. La segunda variable es cuántas últimas encuestas publicó el encuestador. Creo que hay que premiar a los que más publican por el riesgo que toman. De las 44 encuestas que analicé, 13 fueron de GCE (30%). A esta empresa, por tanto, le di la calificación mayor en esta variable que, en el ejercicio de la tabla 10, le asigné un 19% para el cálculo de la calificación final. GCE, luego entonces, recibió 1.9 para su calificación final. Las firmas que sólo publicaron una recibieron 0.146 puntos.
     
  3. La tercera variable tiene que ver con los errores en la diferencia entre el primero y el segundo lugares. Aquí le asigné un peso de 16% para la calificación final y, en aras de simplificar el cálculo, la encuestadora que tuvo el menor error (Síntesis) obtuvo la calificación mayor, es decir, 1.6 puntos para su calificación final, y así en orden descendente hasta llegar a la que presentó el mayor error (Indicadores) que se quedó con un cero.

Principios básicos que satisfacen las estimaciones de preferencia electoral

En un anterior artículo (se puede consultar aquí), se establecía que las estimaciones de preferencia electoral en una encuesta tienen una distribución normal, por lo cual deben de satisfacer dos principios básicos:

  1. Los sesgos o desviaciones de las estimaciones tienen la misma probabilidad de ser positivos o negativos (propiedad de simetría)
     
  2. Es más probable observar sesgos pequeños que grandes.

Es decir, las desviaciones o sesgos de las estimaciones en relación a la preferencia electoral, tienen la misma probabilidad de ser positivas o negativas. Si se me permite la metáfora, podríamos decir que la distribución normal es democrática, no tiene preferencia por los sesgos positivos ni los negativos. La probabilidad de que se presenten es la misma. Y por otra parte, es más probable observar sesgos pequeños que sesgos grandes.

Postulado 1: Si se observa que los sesgos positivos tienen preferencia por un partido en particular, debemos estar ante la presunción de la manipulación de las estimaciones por parte de los encuestadores. Y más, si esta preferencia es sistemática, es decir, se repite con frecuencia la preferencia de los sesgos positivos hacia un partido en particular.

Validez de las estimaciones de las preferencias electorales

Antes de tratar de evaluar el desempeño de las casas encuestadoras, y que sean merecedoras de una calificación, se tendría que averiguar si los datos son auténticos, es decir, si la variabilidad de las estimaciones o de los sesgos es producto del carácter aleatorio de los mismos (satisfacen los principios básicos I y II), o hay un componente importante que se puede explicar por la intervención humana para servir algún interés político.

Si los sesgos calculados de las estimaciones de las casas encuestadoras no satisfacen los dos principios antes comentados, estaríamos ante la sospecha, incluso certeza, dependiendo de la contundencia de las evidencias (probabilidad muy pequeña de que algún escenario se presente), de que los resultados son espurios (otra vez esa palabra) y, por tanto, se puede concluir que el sistema de medición de los encuestadores es incapaz e incluso, corrupto. Si este fuera el caso, no tendría sentido otorgarles una calificación.

Propuesta alternativa de evaluación de las encuestadoras

Leo Zuckermann no toma en consideración la naturaleza estadística de los datos y el hecho de que las estimaciones de preferencia electoral tienen una distribución normal. Tampoco toma en cuenta la precisión con la cual dicen trabajar las casas encuestadoras, lo cual es fundamental para hacer una evaluación de su desempeño. Al parecer, en el punto (1), Zuckermann considera que un encuestador acierta al ganador, si su estimación para el candidato ganador es mayor que la del candidato que queda en segundo lugar, sin importar las magnitudes de las estimaciones y si están o no dentro de precisión.

Daré un ejemplo. En la elección a la gubernatura del estado de Hidalgo el resultado oficial para el candidato de la alianza PRI-PVE-PANAL fue de 50.29 puntos porcentuales, la estimación de GCE para esta alianza fue 63; por lo tanto, GCE tuvo un sesgo favorable a esta alianza de 12.71 puntos porcentuales. El resultado oficial para el candidato del PAN-PRD-CONV fue de 45.23, la estimación de GCE para esta alianza fue de 37 puntos porcentuales; por lo tanto, GCE tuvo un sesgo desfavorable a esta alianza de -8.23. Entonces, las dos estimaciones están fuera de precisión, y aun así Zuckermann le da un peso de 65% a GCE, porque, según él, acertó al ganador. En este caso, la diferencia oficial entre el primero y el segundo lugar es de 5.06, mientras que según GCE, esta diferencia sería de 26 puntos porcentuales. Evidentemente, este punto (1) de Zuckermann premia a la mayor parte –o a todos– los encuestadores de este grupo que beneficiaron sistemáticamente al PRI.

Desde mi punto de vista, si se trata de evaluar el desempeño de un grupo de encuestadores, el punto (2) que propone Zuckermann se puede sustituir por el siguiente:

  1. Que las casas encuestadoras entreguen su reporte de la encuesta al instituto electoral estatal o al IFE, según la elección sea estatal o federal. Que el correspondiente instituto electoral lo suba a su sitio de internet, con la mayor celeridad posible, para que se pueda consultar por cualquier ciudadano o investigador.
    Los puntos (1) y (3) de Zuckermann, se pueden sustituir por el siguiente punto que propongo.
     
  2. Que se vayan acumulando, elección tras elección, el número de estimaciones de las casas encuestadoras con sus correspondientes precisiones para que, de esta manera, se calcule el porcentaje histórico de las estimaciones para los diferentes candidatos las cuales se encuentran dentro de precisión (este sería el porcentaje de candidatos a los cuales han acertado su resultado). A medida que transcurran las elecciones, si los encuestadores son honestos y profesionales, este porcentaje debe oscilar alrededor del 95%, que es el nivel de confianza [1] con el cual trabajan los encuestadores usualmente.
     
  3. Que se acumulen, elección tras elección, el porcentaje de sesgos positivos de un encuestador para un partido o alianza en particular. Al ir aumentando el número de elecciones el porcentaje de sesgos positivos de un encuestador por un partido en particular, debe acercarse a el 50 por ciento (en virtud de que la probabilidad de observarse un sesgo positivo o negativo es la misma, es decir, 0.5, en virtud de que las estimaciones de preferencia electoral tienen una distribución normal).

Algunos gráficos para analizar la validez y confiabilidad de las estimaciones de las casas encuestadoras

Me di a la tarea de recabar la información de los resultados oficiales de las 17 elecciones estatales en sus respectivos institutos electorales, los cuales se muestran en la Tabla 2. Las estimaciones de las casas encuestadoras las tomé de las recopiladas por Zuckermann en su artículo, y aunque éste las presenta a todas como cifras enteras, creo que buscar las cifras precisas sería bastante tardado y, finalmente, no cambiarían en forma importante los escenarios que se presentan a continuación.

Con base a los resultados oficiales que se presentan en la Tabla 2, y las estimaciones de las casas encuestadoras que presenta en su artículo Leo Zuckermann, realicé una serie de gráficos para analizar el desempeño de las casas encuestadoras en las 17 elecciones estatales mencionadas.

Figura 1

En la Figura 1, se tienen los sesgos de las casas encuestadoras para los diferentes partidos y alianzas en 17 elecciones a gobernador, realizadas en los años de 2010 y 2011. Se tienen 44 sesgos, producto de 44 estimaciones. Solamente la Alianza PRI y Otros Candidatos tienen las 44 mediciones de sesgo. El PAN, por ejemplo, aparece en alianza, en unas ocasiones con el PANAL, en otras con el PRD y otros partidos de izquierda, y en otras elecciones aparece solo, por eso los 44 sesgos aparecen distribuidos en las diferentes alianzas y en las que actuó solo. Lo mismo ocurre con los otros partidos.

Los sesgos son significativamente desfavorables hacia Otros Candidatos y la alianza PAN-PRD. Resulta que, de 44 sesgos, 32 son positivos y, por tanto, favorables al PRI (72.7% de sesgos positivos). En tanto que de 16 sesgos, solamente 3 son positivos para la alianza PAN-PRD (18.7% de sesgos positivos). Para Otros Candidatos, de 44 sesgos, sólo 4 son positivos (9.09% de sesgos positivos). Lo que se observa es que los encuestadores beneficiaron a la alianza del PRI en detrimento de Otros Candidatos, en primer lugar, y de la alianza PAN-PRD, en segundo lugar. En cada estimación de las casas encuestadoras, en las 17 elecciones estatales, el PRI recibió un sesgo favorable promedio de 3.36. En tanto que Otros Candidatos en cada estimación recibieron en promedio un sesgo desfavorable de -2.84 puntos porcentuales. La alianza PAN-PRD tuvo un sesgo promedio desfavorable de -3.98.

Figura 2

Aunque desconozco la precisión con la que trabajaron las casas encuestadoras en sus encuestas en las 17 elecciones, hice un ejercicio suponiendo que todos trabajaron con una precisión de 2.5 por ciento, la cual es una precisión muy cercana a la precisión con la cual trabajan los encuestadores, que es generalmente entre 2 y 3 por ciento. El resultado de esta simulación se muestra en la Figura 2.

En la Figura 1 se puede observar que, en esas 17 elecciones, los sesgos son favorables a la alianza del PRI en forma significativa. No solamente en el número de sesgos favorables, sino en la magnitud de éstos. Una comparación visual de las Figuras 1 y 2, nos da una idea del nivel de manipulación a las que sometieron las casas encuestadoras a sus estimaciones.

En la Tabla 3 se tiene un resumen numérico donde se calcula la probabilidad de cada escenario observado para las diferentes alianzas y partidos. Se puede observar como el escenario donde resultan muy perjudicados Otros Candidatos, es prácticamente imposible de ocurrir en un sistema de medición honesto. Mientras que los escenarios donde sale beneficiada la Alianza del PRI y perjudicada la alianza PAN-PRD, son muy poco probables de ocurrir.

En la Tabla 4 se muestra el resumen del número de sesgos positivos obtenidos mediante simulación, los cuales se exhiben gráficamente en la Figura 2. Se puede apreciar como los diferentes escenarios tienen una probabilidad razonable de ocurrir. También se tiene que el sesgo promedio por alianza o partido tiene una variabilidad menor que las obtenidas por las casas encuestadoras mostradas en la Tabla 3. Los sesgos promedio están contenidos en el intervalo que va de -0.5 a 0.5. No se observa una intencionalidad de beneficiar a algún candidato en particular, como se observa en los sesgos reales obtenidas por las casas encuestadoras y mostrados en la Figura 1 y la Tabla 3. El único escenario con poca probabilidad de ocurrir en la Tabla 4, es el de la Alianza PRI, que es 1 posibilidad en 153, sin embargo, el sesgo promedio es de sólo -0.2583; a diferencia de los sesgos obtenidos por las casas encuestadoras, los cuales se muestran en la Figura 1 y la Tabla 3 (El escenario mostrado en la Figura 2 y resumido en la Tabla 4, fue producto de una simulación. Si se realizara otra simulación los resultados serían diferentes, pero en general, se repetirían los principios (I) y (II) enunciados anteriormente).

Situación similar en la intencionalidad de los sesgos en las 17 elecciones a la gubernatura en 2010-2011 y las elecciones presidenciales de 2012

En las siguientes tres figuras se puede apreciar un comportamiento muy similar de los sesgos de las diferentes alianzas y partidos, en las 17 elecciones a la gubernatura, en los años de 2010-2011, y en la elección a la presidencia de la república en el año de 2012. Esto hace pensar en una acción concertada de las casas encuestadoras y sus patrocinadores, para beneficiar a los candidatos del PRI, solos o en alianza, y perjudicar, principalmente, y de manera sistemática, a Otros Candidatos. En la elección presidencial de 2012 también se benefició sistemáticamente a Gabriel Quadri y se perjudicó de la misma manera a Josefina Vázquez Mota. He mostrado en artículos anteriores que, a través de la campaña electoral presidencial de 2012, las estimaciones de la mayor parte de los encuestadores estuvieron beneficiando exageradamente a Enrique Peña Nieto y perjudicando también en el mismo grado a López Obrador.

Figura 3

Figura 4

Figura 5

Desconozco las precisiones con las que trabajaron o dijeron trabajar las casas encuestadoras en las 17 elecciones a gobernador en los años 2010 y 2011. Pero haciendo un ejercicio elemental, se tiene que, el 61.36% de las estimaciones que se tomaron en las 17 elecciones a la gubernatura para la alianza PRI, tienen un sesgo favorable a esa alianza mayor o igual al 2.5% y, puesto que los encuestadores trabajan típicamente con una precisión de entre 2% y 3%) podemos asumir que, aproximadamente el 61.36% de las estimaciones estuvieron fuera de precisión para la Alianza PRI en las elecciones a gobernador antes citadas. Hipotéticamente, el 61.36% de las estimaciones de preferencia electoral estuvieron fuera de precisión para los candidatos de la Alianza PRI, el cual no solamente es un escenario prácticamente imposible de ocurrir de manera honesta, sino que además estuvieron fuera de precisión favoreciendo a la Alianza PRI. Se esperaría que sólo el 2.5% de los sesgos estuviera fuera de precisión beneficiando a un candidato dado, cuando se trabaja a un nivel del 95% de confianza. La probabilidad de que se presente este escenario para los candidatos de la Alianza del PRI es: 2.47746X10^32, algo prácticamente imposible de ocurrir.

En el caso de la última encuesta de la elección presidencial, cuyos sesgos se muestran en la Figura 4, se tiene que el 72.72% (8 de 11) de las estimaciones para Peña Nieto estuvieron fuera de precisión y favoreciéndolo. Mientras que en las encuestas de salida y conteos rápidos (Figura 5) el 87.5% (7 de 8) de las estimaciones para Peña Nieto también estuvieron fuera de precisión y favoreciéndolo. Cuando digo que una estimación está fuera de precisión y favoreciendo a un candidato, significa que la estimación es mayor al resultado oficial del candidato y la diferencia entre la estimación y el resultado oficial es mayor que la precisión con la cual el encuestador dijo trabajar.

Figura 6

Figura 7

En la Figura 6 se muestran los sesgos totales obtenidos por las casas encuestadoras para las diferentes alianzas y partidos, en las 17 elecciones a gobernador en los años 2010 y 2011. Se puede observar que el principal beneficiado, y con mucho, fue la Alianza PRI. Los principales afectados: Otros Candidatos y Alianza PAN-PRD.

En la Figura 7 se muestran los sesgos totales obtenidos mediante simulación por las casas encuestadoras. Si comparamos las Figura 6 y 7, podemos dilucidar fácilmente cual es el escenario manipulado.

Los sesgos favorables a la Alianza PRI fueron significativamente mayores cuando contendió contra la alianza PAN-PRD

Figura 8

Otro elemento importante a considerar es que el sesgo promedio de la alianza del PRI fue 7.18 en las elecciones donde contendió contra la alianza del PAN-PRD, mientras que el promedio de la alianza del PRI en las elecciones restantes fue de 1.175. Y el promedio del sesgo global de la alianza del PRI fue de 3.36. Es decir, el sesgo promedio, favorable al PRI, fue 6.11 veces más grande cuando contendió contra la alianza PAN-PRD que en las elecciones restantes a la gubernatura. Lo que indica que en las elecciones donde la alianza del PRI contendió contra una alianza fuerte, los encuestadores le dieron sesgos favorables significativamente mayores a la alianza PRI. Esto confirma que la magnitud y el signo de los sesgos producidos por las casas encuestadoras obedece a una intencionalidad (típico de un sistema de encuestadores amafiado), y no a la aleatoriedad y a la distribución normal de los mismos, como debería de ser en un sistema honesto de medición.

El caso extremo es la elección de Puebla a la gubernatura, donde 3 de 4 estimaciones tuvieron un sesgo favorable al PRI mayor de 10 puntos porcentuales, como se puede ver en la Figura 8.

Figura 9

A manera de conclusión

En su artículo publicado en Nexos, Leo Zuckermann afirma: “En México tenemos una industria de las encuestas de clase mundial. Lo que nos falta es la evaluación de los distintos encuestadores por parte de la sociedad”. Si entendemos a una empresa de clase mundial como una empresa que puede competir en eficiencia y calidad con cualquiera otra en el mundo, estoy en desacuerdo con la aseveración de Zuckermann. En éste y en anteriores artículos se ha mostrado la falta de aleatoriedad de las estimaciones de las casas encuestadoras, y la intencionalidad en las estimaciones para beneficiar en forma abrumadora al PRI o a las alianzas en que ha participado.

Con lo que hemos visto hasta aquí, no hay necesidad de calificar las estimaciones de las casas encuestadoras: las estimaciones de éstas se descalifican a sí mismas y a los encuestadores que las producen. A mi parecer las estimaciones de las casas encuestadoras no son auténticos, por la improbabilidad de los escenarios producidos por sus sesgos, así como por la intencionalidad que en ellos se percibe. El conjunto de casas encuestadoras, es un sistema de medición el cual, globalmente, estuvo confabulado para beneficiar a los candidatos del PRI, solos o en sus alianzas, por lo menos en las elecciones estatales de 2010 y 2011, y en la elección presidencial de 2012.

No es que la mayoría de los políticos sean extremadamente incompetentes, es que gobiernan para beneficiar a los banqueros y las grandes empresas, que al final, forman parte del gobierno o de un metagobierno, o como está de moda decir, de los poderes fácticos, porque, finalmente, son los que mandan. De la misma forma ocurre con las casas encuestadoras, no es que sean incompetentes, estas hacen su “trabajo” para beneficiar a los candidatos de ese metagobierno.

Ahora bien, si Leo Zuckermann entiende a “una industria de las encuestas de clase mundial” como aquella que es capaz de publicar resultados que obedezcan a los deseos de sus clientes, pues no me queda más remedio que darle la razón. Los perritos dan obedientemente la patita ante la orden de su amo.

De nuevo, un especial agradecimiento a Daniel González Sepúlveda, por la revisión y corrección de este escrito, así como por sus aportaciones al mismo.

[1] Nivel de Confianza: Si un encuestador está trabajando con un nivel de confianza del 95% y una precisión del 2%. Esto significa que, si se repitiera el muestreo un número grande de veces, se espera que, aproximadamente, en un 95% de ocasiones, la preferencia electoral estimada estuviera a una distancia de 2 puntos porcentuales o menos de la preferencia electoral real. Es decir, en un 95% de las ocasiones, sus estimaciones estarían dentro de precisión.