Хибне використання статистики відбувається, коли статистичний аргумент стверджує неправду. Статистика, якщо її використовувати в хибний спосіб, може змусити випадкового спостерігача повірити в щось інше, ніж те, що показують дані. У деяких випадках неправильне використання може бути випадковим. В інших — це цілеспрямовано та з метою наживи зловмисника. Якщо залучене статистичне судження хибне або неправильно застосоване, це є статистичною помилкою.
Використати статистику помилково дуже легко. Професійних вчених, навіть математиків і професійних статистиків, можна обдурити навіть якимись простими методами, навіть якщо вони ретельно все перевіряють. Відомо, що вчені обманюють себе статистикою через брак знань теорії ймовірностей і брак стандартизації своїх тестів.
Визначення, обмеження та контекст Одне з визначень, яке можна використовувати, таке: «Зловживання статистичними даними: використання чисел таким чином, що або навмисно, або через незнання чи необережність, висновки є невиправданими або неправильними». «Цифри» містять оманливу графіку, про яку йдеться в інших місцях. Цей термін рідко зустрічається в статистичних текстах, і невідомо жодного авторитетного визначення. Це узагальнення брехні за допомогою статистики, яка була багато описана на прикладах статистиків 60 років тому.
Визначення стикається з деякими проблемами (деякі вирішуються в джерелі):
Статистика зазвичай виробляє ймовірності; висновки тимчасові Попередні висновки містять похибки та рівень похибок. Зазвичай 5 % попередніх висновків перевірки значущості є помилковими Статистики не зовсім згодні щодо ідеальних методів Статистичні методи базуються на припущеннях, які рідко повністю виконуються Збір даних зазвичай обмежується етичними, практичними та фінансовими обмеженнями.
Як брехати за допомогою статистики визнає, що статистика може мати різні форми. Про те, чи показує статистика, що продукт «легкий і економічний» чи «неміцний і дешевий», можна говорити незалежно від цифр. Дехто заперечує проти заміни статистичною коректністю морального лідерства (наприклад) як цілі. Покласти провину за зловживання часто важко, оскільки вчені, соціологи, статистики та репортери часто є найманими працівниками або консультантами.
Підступне зловживання статистикою завершується слухачем/спостерігачем/аудиторією/присяжним. Постачальник надає «статистику» у вигляді чисел або графіки (або фотографій до/після), що дозволяє споживачеві зробити (можливо, невиправдані чи неправильні) висновки. Поганий стан та нестатистична природа людської інтуїції дозволяють вводити в оману без явного отримання помилкових висновків.
Історик перерахував понад 100 помилок у дюжині категорій, включаючи помилки узагальнення та помилки причинно-наслідкових зв'язків. Деякі з помилок є явно або потенційно статистичними, включаючи помилки вибірки, статистичну нісенітницю, статистичну ймовірність, хибну екстраполяцію, хибну інтерполяцію та підступне узагальнення. Усі технічні/математичні проблеми застосування ймовірності вписуються в єдину зазначену помилку статистичної ймовірності. Багато помилок можуть бути пов'язані зі статистичним аналізом, допускаючи можливість помилкового висновку, що випливає з бездоганного статистичного аналізу.
Прикладом використання статистики є аналіз медичних досліджень. Процес включає In this article anything less than the best statistical practice is equated to the potential misuse of statistics. In a few pages 47 potential statistical errors are discussed; errors in study design, data analysis, documentation, presentation and interpretation. «[S]tatisticians should be involved early in study design, as mistakes at this point can have major repercussions, negatively affecting all subsequent stages of medical research.» Contains a rich list of medical misuses of statistics of all types. планування експерименту, проведення експерименту, аналіз даних, складання логічних висновків і презентацію/звітування. Звіт підсумовано популярною пресою та рекламодавцями. Хибне використання статистики може бути результатом проблем на будь-якому етапі процесу. Статистичні стандарти, які ідеально застосовуються до наукового звіту, значно відрізняються від стандартів, які застосовуються до популярної преси та рекламодавців; однак існують випадки, коли .
Прості причини Багато хибних використань статистики відбувається тому, що
Джерело є фахівцем у певній галузі, а не експертом зі статистики. Джерело може неправильно використовувати метод або неправильно інтерпретувати результат. Джерело є статистиком, а не фахівцем. Експерт повинен знати, коли порівнювані числа описують різні речі. Цифри змінюються, як не змінюється реальність, коли змінюються юридичні визначення чи політичні кордони. Предмет, який вивчається, не є чітко визначеним , або деякі його аспекти легко визначити кількісно, тоді як інші важко визначити, або не існує відомого методу кількісного визначення (див. помилку Макнамари). Наприклад: Незважаючи на те, що тести на IQ є чисельними, важко визначити, що вони вимірюють, оскільки інтелект — це невловиме поняття. «Впливовість» видання має ту саму проблему. Наукові статті та наукові журнали часто оцінюють за «впливовістю», яку кількісно визначається як кількість цитувань у пізніших публікацій. Математики та статистики дійшли висновку, що показник впливовості (хоч і відносно об'єктивний) не є дуже значущим показником. «Єдина опора на дані цитування забезпечують в кращому випадку неповне і часто поверхове розуміння дослідження. Цифри за своєю суттю не є вищими за розумні судження». Здавалося б, просте питання про кількість слів в англійській мові відразу натикається на питання про архаїчні форми, облік префіксів і суфіксів, багатозначність слова, варіанти написання, діалекти, вигадливі твори (як ектопластика з ектоплазми і статистика) , технічну лексику тощо. Якість даних низька. Прикладом є розміри одягу. Люди мають широкий діапазон розмірів і форм тіла. Очевидно, що розміри одягу повинні бути багатовимірними. Натомість вони складні несподіваним чином. Деякий одяг продається лише за розміром (без прямого врахування форми тіла), розміри залежать від країни та виробника, а деякі розміри навмисно вводять в оману. Хоча розміри є числовими, за умови обережного використання числових значень розмірів, можливий лише найгрубіший статистичний аналіз. Популярна преса має обмежений досвід і змішані мотиви. This Australian report on crime statistics provides numerous examples of interpreting and misinterpreting the data. «The increase in media access to information about crime has not been matched by an increase in the quality of media reporting on crime. The misuse of crime statistics by the media has impeded rational debate about law and order.» Among the alleged media abuses: selective use of data, selective reporting of facts, misleading commentary, misrepresentation of facts and misleading headlines. Police and politicians also abused the statistics. Якщо факти «не заслуговують на висвітлення у новинах» (що може вимагати перебільшення), вони можуть бути не опубліковані. Мотиви рекламістів ще більш неоднозначні. «Політики використовують статистику так само, як п'яниця використовує ліхтарні стовпи — для підтримки, а не для освітлення» — Ендрю Ленг (WikiQuote) «Чого ми дізнаємося з цих двох способів розгляду тих самих цифр? Ми дізнаємося, що розумний пропагандист, праворуч чи ліворуч, майже завжди може знайти спосіб представити дані про економічне зростання, які, здається, підтверджують її аргументи. Тому ми також навчимося сприймати будь-який статистичний аналіз із сильно політичного джерела жменями солі». Термін «статистика» походить від чисел, які генеруються та використовуються державою. Хороший уряд може потребувати точних цифр, але популістичний уряд може потребувати підтримуючих цифр (не обов'язково однакових). «Використання та зловживання статистичними даними урядами є давнім мистецтвом». Види неправильного використання
Відкидання несприятливих спостережень Все, що компанія повинна зробити для просування нейтрального (некорисного) продукту, це знайти або провести, наприклад, 40 досліджень з рівнем довіри 95 %. Якщо продукт справді марний, це в середньому призведе до одного дослідження, яке показує, що продукт був корисним, одного дослідження, яке показує, що він шкідливий, і тридцяти восьми безрезультатних досліджень (38 — це 95 % із 40). Ця тактика стає ефективнішою, чим більше доступних досліджень. Організації, які не публікують кожне дослідження, яке вони проводять, наприклад тютюнові компанії, які заперечують зв'язок між курінням і раком, групи захисту інтересів проти куріння та засоби масової інформації, які намагаються довести зв'язок між курінням і різними захворюваннями, або продавці чудодійних таблеток, ймовірно, використовувати цю тактику.
Рональд Фішер розглянув це питання у своєму прикладі експерименту знаменитої жінки, яка куштує чай (з його книги 1935 року ). Стосовно повторних експериментів він сказав: «Це було б явно незаконним і позбавило б наші розрахунки основи, якби всі невдалі результати не були враховані».
Інший термін, пов'язаний з цим поняттям, — вибіркові докази.
Ігнорування важливих ознак Багатоваріантні набори даних мають дві або більше ознак/вимірів. Якщо для аналізу вибрано занадто мало з цих ознак (наприклад, якщо вибрано лише одну ознаку та виконується проста лінійна регресія замість множинної лінійної регресії), результати можуть ввести в оману. Це робить аналітика вразливим до будь-якого з різноманітних статистичних парадоксів або в деяких (не у всіх) випадках хибної причинності, як показано нижче.
Навантажені питання Відповідями на опитування часто можна маніпулювати, формулюючи питання таким чином, щоб спровокувати перевагу певної відповіді респондента. Наприклад, під час опитування на підтримку війни запитання:
Чи підтримуєте ви спробу США принести свободу та демократію в інші місця світу? Чи підтримуєте ви неспровоковані військові дії США?
ймовірно, дані будуть спотворені в різні боки, хоча вони обидва опитують щодо підтримки війни. Краще сформулювати запитання так: «Чи підтримуєте ви поточні військові дії США за кордоном?» Ще більш нейтральний спосіб поставити це питання: «Яка ваша думка щодо поточних військових дій США за кордоном?» Справа в тому, що особа, яку запитують, не може здогадатися з формулювання, що запитувач може хотіти почути.
Інший спосіб зробити це — передати до запитання інформацію, яка підтверджує «бажану» відповідь. Наприклад, більше людей, ймовірно, відповість «так» на запитання «Враховуючи зростаючий тягар податків для сімей середнього класу, чи підтримуєте ви зниження податку на прибуток?» ніж на запитання «Враховуючи зростаючий дефіцит федерального бюджету та відчайдушну потребу в додаткових надходженнях, чи підтримуєте ви скорочення прибуткового податку?»
Правильна постановка питань може бути дуже тонкою. Відповіді на два запитання можуть сильно відрізнятися залежно від порядку їх постановки. «Опитування, яке запитувало про „володіння акціями“, показало, що більшість власників ранчо Техасу володіли акціями, хоча, ймовірно, не такими, якими торгують на Нью-Йоркській фондовій біржі».
Надмірне узагальнення Надмірне узагальнення — це помилка, яка виникає, коли стверджується, що статистичні дані щодо певної сукупності відповідають членам групи, для якої вихідна сукупність не є репрезентативною вибіркою.
Наприклад, припустимо, що влітку 100 % яблук червоні. Твердження «Усі яблука червоні» було б прикладом надмірного узагальнення, оскільки початкова статистика була вірною лише для певної підмножини яблук (тих, що були влітку), які, як очікується, не будуть репрезентативними для сукупності яблук загалом.