Año 2025, año de elecciones, y probablemente con mayor frecuencia estaremos recibiendo resultados provenientes de nuevas encuestas de opinión pública. De allí entonces, el sentido del título de esta nota.
Desde hace bastante tiempo que las encuestas de opinión en Chile irrumpen con titulares rimbombantes que generan gran interés para la ciudadanía o parte específica de ella. Los resultados de estas encuestas se utilizan para discutir temas de interés nacional, e incluso -lo más preocupante aún- se toman decisiones con resultados técnicamente cuestionables. Es importante destacar que una buena discusión sobre un tema particular de interés general -sobre todo en aquellos en los cuales se deben tomar decisiones– debe estar basada, si o si, en datos de calidad, que deben ser recolectados con principios estadísticos sólidos.
¿Cumplen las encuestas de opinión realizadas en Chile con esta última condición? Veamos algunos ejemplos provenientes de las mismas empresas que realizan las encuestas, que regularmente son difundidos por la prensa. Hace algún tiempo, la prensa tituló “70% de los chilenos dicen preferir tener seguridad por sobre libertad…”, sin embargo, más adelante, dice que “el 70% de los encuestados…”. Otras encuestas recientes concluyen que “el 40,1% de la población...” o “53% piensa que…”, o que el “Al 42% de los chilenos les gustaría tener un presidente…”. Y, más recientemente, otra encuesta nos informa que “el 36,2% de la ciudadanía está de acuerdo con la Reforma Previsional”, además que, “un 37,9% de la población considera que la Reforma será positiva para el país”.
Como vemos, las cifras a veces indistintamente se asocian a los chilenos, o a la población, o la ciudadanía, o a los encuestados o simplemente es un número abstracto sin ninguna referencia a una población claramente definida. Esto genera confusión o engaño y en ocasiones pasa a ser un problema no menor. Se supone que a través de una encuesta por muestreo se desea conocer alguna característica, opinión, conducta o preferencia de una población específica y predeterminada, y frente a la imposibilidad de investigar a toda la población, se obtienen datos de un subconjunto de ella. Pero para que los resultados obtenidos de ese subconjunto puedan ser generalizables a la población de origen, deben ocurrir ciertas cosas; lo principal, es que ese subconjunto sea seleccionado sobre la base de la teoría de muestreo probabilístico, incluyendo la determinación del tamaño de la muestra. ¿Ocurre eso en las encuestas de opinión pública que se realizan periódicamente en Chile fuera del contexto académico?
Muchas de estas encuestas, como por ejemplo, “Pulso Ciudadano”, “IPSOS”, “Criteria”, “Tú Influyes”, “La Cosa Nostra (LCN)” o “Black and White”, están aplicadas a un panel específico, los cuales, en general, se definen como 蜜豆视频es constituidas por personas voluntarias predispuestas a participar en estudios de mercado, y de este panel se selecciona una muestra.
Por otra parte, la mayoría de ellas definen una población objetivo, la que en general corresponde a los chilenos de 18 años y más de las 16 regiones del país. ¿Qué tiene que ver el panel con la población objetivo?… poco o nada. El problema que genera esto tiene que ver con la validez externa de los resultados (es decir, a qué población extrapolamos los resultados). Pero aún hay más: en efecto, dentro del panel, y para lograr un predeterminado número de encuestados, se requiere contactar a un número mucho mayor de personas. En efecto, cuando se reporta la tasa de respuesta (o de rechazo a participar), se menciona que menos de un 10% de las personas contactados respondieron la encuesta; lo mismo ocurre con las encuestas telefónicas, como “CADEM”, que refiere a este porcentaje como tasa de éxito (por lo tanto, podemos deducir que existiría una tasa de fracaso de 90%). Otra situación destacable es la de “Studio Público”, que realiza sus encuestas sobre una base de datos de correos electrónico, y para obtener algo más de 1.000 resultados necesita hacer 60.000 envíos. Todo lo anterior genera un gran sesgo debido a que no se analiza la comparabilidad de características relevantes entre el grupo de respondientes con el de no respondientes.
Como si lo anterior no fuera suficiente, las encuestas ponderan los resultados por ciertas características demográficas nacionales para lograr una “muestra de representación nacional para el universo en estudio”. La ponderación no logra compensar los sesgos y temas de validación antes mencionados. Es como hacer un estudio en una sola comuna y ponderar por datos nacionales: no los convierte en información a nivel global. Por otra parte, hay empresas encuestadoras que han cometido o cometen graves errores al describir su metodología; así por ejemplo, Tu Influyes menciona que “El margen de error, también denominado metodológicamente como intervalo de confianza…”. Metodológicamente hablando, en un proceso probabilístico, el intervalo de confianza se construye sobre la base del margen de error, pero no son la misma cosa. O Criteria, que menciona que se realiza un “Muestreo aleatorio dentro del panel y estratificado por cuotas. El muestreo es una aproximación al método probabilístico…”. No es posible dejar pasar la afirmación de que “El muestreo es una aproximación al método probabilístico”, simplemente no se entiende. Por otra parte, hasta hace algunos años, en un mismo estudio, CADEM mezclaba resultados de encuestas telefónicas a nivel de todas las regiones del país (aproximadamente 500 casos), con resultados de entrevistas cara a cara en puntos de afluencia en solo algunas regiones (unos 200 casos), y a partir de ese “mix” se pretendía “hacer extrapolaciones a nivel nacional sin inconvenientes”.
En la actualidad se realizan solo entrevistas telefónicas, y por lo tanto surge la pregunta: ¿por qué cambiar de metodología si la versión anterior tenía la cualidad de permitir “hacer extrapolaciones a nivel nacional sin inconvenientes”?. Adicionalmente, en la metodología CADEM afirma que “La muestra total semanal de 700 casos tiene un margen de error de ±3,7 puntos, bajo un muestreo de tipo probabilístico (estratificado por región y selección aleatoria del individuo) y asumiendo varianza máxima”; el problema es que ese margen de error está asociado a un muestreo aleatorio simple, pero sin embargo se nos comunica que es un muestreo estratificado y con selección de un individuo (lo que es curioso si el muestreo es de teléfonos celulares), por lo que el error de muestreo debe ser determinado considerando dichas condiciones muestrales.
Estos son errores conceptuales inaceptables que ponen en duda la prolijidad de los procesos y por lo tanto la validez de sus resultados.
La problemática descrita no es nueva. Se ha discutido antes, e incluso hemos presenciado debates entre las mismas empresas encuestadoras sobre estos temas. Que se hagan las encuestas, en sí mismo, no es un problema; el verdadero problema está cuando los resultados son usados como certezas en los procesos de discusión de temas de interés público y particularmente en la toma de decisiones. Con resultados poco (o nada) confiables, se hace difícil conocer la opinión de la población sobre ciertos temas relevantes y sobre los cuales la política debe tomar acciones. De allí que hacemos un llamado urgente a nuestros representantes políticos en el Gobierno, en el Congreso o en los mismos partidos políticos, como también a los medios de comunicación, a tomar conciencia de esta grave situación y por lo mismo a abstenerse de argumentar y usar los resultados de estas encuestas. Probablemente equivoquemos el camino. Es importante recordar que las políticas públicas son decisiones que impactan en las personas (mucho más allá de quienes las toman), y de allí que el uso de la evidencia científica es una obligación ética insoslayable (como menciona Domingo Comas en su libro sobre Investigación Científica). No basta con el discurso generalizado de que debemos hacer políticas públicas basadas en evidencia, es necesario y urgente construir un puente entre la ciencia y la política para que aquello sea una realidad. Para ello, lo primero es generar información válida y confiable.
Chile tiene una larga tradición en Estadística. Hace más de medio siglo que se imparten carreras de pregrado en Estadística en muchas universidades del país, como también se dictan programas de Magister y Doctorado en esta área, lo que ha permitido conformar una importante 蜜豆视频 especialista en estos temas, y por lo tanto resulta curioso (por decirlo de alguna forma) que esta experiencia no se vea reflejada en los procesos metodológicos de la mayoría (no todas, por cierto) de las encuestas.
Definitivamente existe un problema y éste está en EL MÉTODO.
Francisco Cumsille G, Dr. P.H. Estadístico, Prof. Escuela de Salud Pública, 蜜豆视频.
Sergio Muñoz N, Ph.D. Estadístico, Prof. Departamento de Salud Pública, Universidad de la Frontera.
Carlos F. Henríquez R, Ph. D. Estadístico, Prof. Instituto de Estadística, Universidad de Valparaíso.