thumb|upright=1.3|Un ejemplo de mal uso de las estadísticas. La gráfica roja parece variar en consonancia con la negra, pero el número de letras de la palabra ganadora en una competición de deletreo no tiene nada que ver con el número de personas muertas por mordeduras de arañas venenosas.
Cuando se utilizan las estadísticas de forma intencionadamente engañosa o descuidadamente incorrecta, pueden llevar a que una persona normal se forme una opinión diferente a la que resultaría de una utilización correcta. Es decir, se produce un mal uso de las estadísticas cuando un argumento estadístico afirma o da a entender algo que es falso.
En algunos casos, el mal uso puede ser accidental; en otros, es intencionado y con afán de provecho.
Cuando el razonamiento estadístico es falso o se aplica incorrectamente, esto constituye una falacia estadística.
Las consecuencias del mal uso de las estadísticas pueden ser muy graves. Por ejemplo, en Medicina, corregir una falsedad puede llevar décadas y costar vidas; asimismo, en las sociedades democráticas, el uso indebido de las estadísticas puede distorsionar la comprensión pública, afianzar la desinformación y permitir que los gobiernos implementen políticas perjudiciales sin rendir cuentas.
Es fácil utilizar mal las estadísticas. Científicos, matemáticos e incluso estadísticos profesionales pueden ser engañados incluso por métodos sencillos, aunque se esfuercen por verificarlo todo. Algunos científicos hasta se han engañado a sí mismos con las estadísticas debido a la falta de conocimiento de la teoría de la probabilidad y a la falta de normalización de sus contrastes de hipótesis.
Definición, limitaciones y contexto Una definición útil es: «mal uso de las estadísticas: utilizar números de tal manera que, ya sea intencionadamente, por ignorancia o por descuido, las conclusiones sean injustificadas o incorrectas». La palabra "números" incluye en este caso a los gráficos engañosos. La expresión "mal uso de las estadísticas" no se encuentra habitualmente en los textos de estadística, y no existe una definición única. Se trata de una generalización del concepto de mentir con estadísticas, que fue ampliamente utilizado a partir de 1954.
La definición se enfrenta a algunos problemas, algunos de los cuales son abordados por la fuente:
La estadística suele producir probabilidades, por lo que las conclusiones son provisionales: pueden variar si se procesan más datos. Las conclusiones provisionales tienen errores y tasas de error. Comúnmente, el 5% de las conclusiones provisionales de las pruebas de significación estadística son erróneas. Los estadísticos no están completamente de acuerdo sobre los métodos ideales. Los métodos estadísticos se basan en supuestos que rara vez se cumplen por completo. La recopilación de datos suele estar limitada por restricciones éticas, prácticas y financieras.
El libro Cómo mentir con estadísticas reconoce que las estadísticas pueden adoptar legítimamente muchas formas. Que las estadísticas demuestren que un producto es "ligero y económico" (adjetivos positivos) o "endeble y barato" (adjetivos negativos, que pueden referirse a exactamente el mismo producto) es un tema que puede debatirse independientemente de las cifras. Algunos se oponen al objetivo de sustituir la corrección estadística por el liderazgo moral. Atribuir la responsabilidad de los malos usos suele ser difícil, porque los científicos, encuestadores, estadísticos y periodistas a menudo son empleados o consultores.
El mal uso intencionado de las estadísticas se consuma al llegar al receptor, en el que inducen conclusiones injustificadas o incorrectas. El escaso nivel de alfabetización estadística y la naturaleza no estadística de la intuición humana hacen posible engañar sin comunicar explícitamente una conclusión errónea. La definición es débil en cuanto a la responsabilidad del receptor de estadísticas.
Un historiador enumeró más de 100 falacias en una docena de categorías, incluyendo las de generalización y las de causalidad. Algunas de estas falacias son explícita o potencialmente estadísticas, como el muestreo, el sinsentido estadístico, la probabilidad estadística, la extrapolación falsa, la interpolación falsa y la generalización insidiosa. Todos los problemas técnicos/matemáticos de la probabilidad aplicada se englobarían en la única falacia de probabilidad estadística. Muchas de estas falacias podrían vincularse al análisis estadístico, lo que permitiría llegar a una conclusión falsa a partir de un análisis estadísticamente sólido.
Un ejemplo de uso de la estadística se encuentra en el análisis de la investigación médica. El proceso incluye In this article anything less than the best statistical practice is equated to the potential misuse of statistics. In a few pages 47 potential statistical errors are discussed; errors in study design, data analysis, documentation, presentation and interpretation. "[S]tatisticians should be involved early in study design, as mistakes at this point can have major repercussions, negatively affecting all subsequent stages of medical research." Contains a rich list of medical misuses of statistics of all types. la planificación del experimento, su realización, el análisis de los datos conseguidos, la extracción de conclusiones y su presentación, normalmente en un artículo científico revisado por pares. Si trata de un tema de interés general, los medios de comunicación pueden difundir un resumen. Si la investigación es sobre salud, algunos anunciantes pueden tomar algo que se diga en ella para promocionar su producto.
El mal uso de la estadística puede acarrear problemas en cualquier etapa del proceso. Los estándares estadísticos que idealmente se imponen al artículo científico son muy diferentes de los que se imponen a la prensa popular y a los anunciantes; sin embargo, existen casos de publicidad disfrazada de ciencia, como el Australasian Journal of Bone & Joint Medicine.
Causas sencillas del mal uso Muchos usos inadecuados de las estadísticas ocurren porque:
La fuente es un experto en la materia, no un experto en estadística. La fuente puede utilizar incorrectamente un método o interpretar mal un resultado. La fuente es un estadístico, no un experto en la materia. Un experto sabe cuándo las cifras que se comparan describen cosas diferentes, pero un estadístico puede no saberlo. El tema de estudio no está bien definido, o algunos de sus aspectos son fáciles de cuantificar mientras que otros son difíciles de cuantificar o no existe un método de cuantificación conocido (véase la falacia de McNamara). Por ejemplo: Aunque existen test de inteligencia numéricos, es difícil definir qué miden, ya que la inteligencia es un concepto esquivo. Publicar el "impacto" tiene el mismo problema. Los artículos científicos y las revistas académicas a menudo se clasifican por "impacto", cuantificado como el número de citas de publicaciones posteriores. Los matemáticos y estadísticos concluyen que el impacto (si bien es relativamente objetivo) no es una medida muy significativa. «La dependencia exclusiva de los datos de citas proporciona, en el mejor de los casos, una comprensión incompleta y a menudo superficial de la investigación. La legitimidad solo es válida cuando está reforzada por otros juicios. Los números no son inherentemente superiores a los juicios sensatos» Una pregunta aparentemente simple (¿cuántas palabras tiene tal idioma?) puede toparse inmediatamente con cuestiones complejas sobre formas arcaicas, contabilización de prefijos y sufijos, múltiples acepciones de una misma palabra, etc. La calidad de los datos es deficiente. La ropa sirve de ejemplo. Las personas tienen una amplia gama de tallas y formas corporales. Es obvio que el tallaje de la ropa debería ser multidimensional (es decir, la talla de un pantalón debería constar al menos de 2 números, uno para el perímetro de la cintura y otro para la longitud de la pierna). En cambio, es complejo de maneras inesperadas. Sin embargo, algunas prendas se venden solo por una letra (S, M, L, XL...) que indica su talla, sin tener en cuenta la forma del cuerpo). Además las tallas varían según el país y el fabricante, y algunas son deliberadamente engañosas. La prensa popular tiene conocimientos limitados y motivos diversos. This Australian report on crime statistics provides numerous examples of interpreting and misinterpreting the data. "The increase in media access to information about crime has not been matched by an increase in the quality of media reporting on crime. The misuse of crime statistics by the media has impeded rational debate about law and order." Among the alleged media abuses: selective use of data, selective reporting of facts, misleading commentary, misrepresentation of facts and misleading headlines. Police and politicians also abused the statistics. Si los hechos no son "noticiables", es posible que no se publiquen. Los motivos de los anunciantes son aún más diversos. «Los políticos usan las estadísticas del mismo modo que un borracho usa las farolas: para apoyarse, no para iluminarse» – Andrew Lang (WikiQuote). «¿Qué aprendemos de estas dos maneras de ver las mismas cifras? Aprendemos que un propagandista astuto, de derecha o de izquierda, casi siempre puede encontrar la manera de presentar los datos sobre crecimiento económico de forma que parezcan respaldar su postura. Y, por lo tanto, también aprendemos a tomar con mucha cautela cualquier análisis estadístico procedente de una fuente fuertemente política». El término «estadística» se origina a partir de los números generados y utilizados por el Estado. Un buen gobierno puede requerir cifras precisas, pero un gobierno popular puede requerir cifras que lo respalden (no necesariamente las mismas). «El uso y el mal uso de las estadísticas por parte de los gobiernos es un arte ancestral».
Tipos de mal uso
Descartar observaciones desfavorables Para promocionar un producto que no tiene efectos reales, por ejemplo una crema para la piel, el fabricante debe encontrar o realizar 40 estudios con un nivel de confianza del 95%. Por razones estadísticas en uno de los estudios saldrá que el producto es beneficioso, en otro que es perjudicial, y en los 38 restantes, que no se pueden sacar conclusiones. El fabricante utilizará entonces para su promoción el estudio en el que sale que el producto es beneficioso y ocultará los resultados de los otros 39.
Esta táctica se vuelve más eficaz cuanto mayor sea el número de estudios disponibles. Es probable que organizaciones que no publican todos los estudios que realizan, como las compañías tabacaleras que niegan la relación entre fumar y el cáncer, los grupos de defensa antitabaco y los medios de comunicación que intentan demostrar una relación entre fumar y diversas dolencias, o los vendedores de píldoras milagrosas, empleen el método descrito.
Ronald Fisher abordó este tema en su famoso experimento de la catadora de té (de su libro de 1935, El diseño de experimentos). Respecto a los experimentos repetidos, afirmó: «Sería ilegítimo y desvirtuaría la base de nuestros cálculos si no se tuvieran en cuenta todos los resultados fallidos».
Otro término relacionado con este concepto es la selección de cerezas (cherry picking:de un conjunto de resultados de un experimento se toman solo aquellos que refuerzan la hipótesis que se pretende demostrar).
No tener en cuenta características importantes Los conjuntos de datos multivariables tienen 2 o más dimensiones. Si se seleccionan muy pocas de estas dimensiones para el análisis (por ejemplo, si se elige solo una y se realiza una regresión lineal simple en lugar de múltiple), los resultados pueden ser engañosos. Esto deja al analista vulnerable a diversas paradojas estadísticas o, en algunos casos, a una causalidad falsa, como se describe a continuación.
Preguntas capciosas