Хибно позитивні та хибно негативні

Хибнопозити́вна по́милка (англ. false positive error), або хи́бно позити́вне (англ. false positive) — це результат, який вказує на наявність заданого стану, тоді як його немає. Наприклад, тест на вагітність, який вказує, що жінка є вагітною, тоді як вона такою не є, або засудження невинної особи.

Хибнопозитивна помилка є помилкою першого роду, в якій тест перевіряє єдину умову, й неправильно видає ствердне (позитивне) рішення. Проте важливо відрізняти рівень помилок першого роду (англ. type 1 error rate), та ймовірність хибності позитивного результату. Остання є відомою як хибнопозитивний ризик (англ. false positive risk, див. неоднозначність у визначенні хибнопозитивного рівня нижче).^[2]

Хибнонегати́вна по́милка (англ. false negative error), або хи́бно негати́вне (англ. false negative) — це результат тесту, який неправильно вказує, що умова не виконується. Наприклад, коли тест на вагітність вказує, що жінка не є вагітною, але вона є, або коли особу, винну в злочині, виправдано, то ці результати є хибно негативними. Умови «жінка є вагітною» та «особа є винною» виконуються, але тестові (тестові на вагітність, або судовому розглядові) не вдається усвідомити цю умову, й вони помилково вирішують, що особа є не вагітною, або не винною.

Хибнонегативна помилка є помилкою другого роду, яка трапляється в тесті, в якому перевіряють наявність єдиної умови, й результат тесту є помилковим, що ця умова відсутня.^[3]

Хибнопозитивний рівень (англ. false positive rate) — це частка з усіх негативних, які все ж видають позитивні результати тесту, тобто, умовна ймовірність позитивного результату тесту за умови відсутності події.

Хибнопозитивний рівень дорівнює рівневі значущості. Специфічність тесту дорівнює 1 мінус хибнопозитивний рівень.

У перевірці статистичних гіпотез цю частку позначують грецькою літерою α, а 1 − α визначають як специфічність тесту. Збільшення специфічності тесту знижує ймовірність помилок першого роду, але може підвищити ймовірність помилок другого роду (хибно негативних, які відхиляють альтернативну гіпотезу, коли вона є істинною).^[a]

Відповідно, хибнонегати́вний рі́вень (англ. false negative rate) — це частка із позитивних, які дають негативний результат за цього тесту, тобто, умовна ймовірність негативного результату тесту за умови наявності шуканої умови.

У перевірці статистичних гіпотез цю частку позначують грецькою літерою β. «Потужність» (англ. «power», або «чутливість», англ. «sensitivity») тесту дорівнює 1 − β.

Термін «рівень хибного виявляння» (РХВ, англ. false discovery rate, FDR) використовував Колкагун (2014)^[4] для позначення ймовірності того, що «значущий» результат був хибно позитивним. Пізніше Колкагун (2017)^[2] використовував для тієї ж величини термін «хибнопозитивний ризик» (англ. false positive risk, FPR), щоби запобігти плутанині з терміном РХВ, що використовують люди, які працюють із множинними порівняннями. Коригування для множинних порівнянь мають на меті коригування лише рівня помилок першого роду, тож результат є (скоригованим) p-значенням. Таким чином, вони є вразливими для такого ж неправильного тлумачення, як і будь-яке інше p-значення. Хибнопозитивний ризик є завжди вищим, часто набагато вищим за p-значення.^[4][2]

Переплутування цих двох ідей, помилка транспонованого обумовлення, наробила багато лиха.^[5] Через неоднозначність позначень у цій галузі важливо дивитися на визначення в кожній праці. Небезпеки покладання на p-значення підкреслив Колкагун (2017),^[2] вказавши, що навіть спостереження p = 0,001 не обов'язково було сильним свідченням проти нульової гіпотези. Незважаючи на те, що відношення правдоподібностей на користь альтернативної гіпотези над нульовою є близьким до 100, якщо ця гіпотеза була неправдоподібною, з апріорною ймовірністю реального ефекту 0,1, то навіть спостереження p = 0,001 матиме хибнопозитивний рівень 8 відсотків. Він не досягне навіть 5-відсоткового рівня. Як наслідок, було рекомендовано^[2][6] супроводжувати кожне p-значення апріорною ймовірністю існування реального ефекту, яку необхідно було би прийняти для досягнення хибнопозитивного ризику 5 %. Наприклад, якщо ми спостерігаємо p = 0,05 в єдиному експерименті, то щоби досягти хибнопозитивного ризику 5 %, до здійснення цього експерименту ми повинні бути впевненими в існуванні реального ефекту на 87 %.

Стаття «Робоча характеристика приймача» розглядає параметри в статистичній обробці сигналів, що ґрунтуються на співвідношеннях похибок різних типів.

• Хлопчик, який кричав «вовк»

• Daily chart — Unlikely results — Why most published scientific research is probably false — ілюстрація хибно позитивних та хибно негативних у журналі «Економіст» зі статті Problems with scientific research How science goes wrong Scientific research has changed the world. Now it needs to change itself (19 жовтня 2013) (англ.)