Есть ложь большая ложь статистика. Ложь, наглая ложь и… статистика

Каков процент подтасовки статистических данных в научных работах по психологии, какие ошибки выявила программа проверки и чем она похожа на Т9, выяснил сайт.

Программы могут не только постмодернистские тексты песен, путь в Лондонском метро, моделировать процессы и в банке, но и искать ошибки в работах нечестных или невнимательных психологов. сайт рассказывает, как компьютер выявляет неточности в научных работах и к чему это может привести.

Блеск и нищета современной психологии

Балансируя между «житейскими мудростями» и философско-метафизическими категориями на тоненькой ниточке непротиворечивых данных, «наука о душе» постоянно подвергается опасности перегибов. Копаться во внутреннем мире людей (если не рассматривать анатомическую сторону вопроса) никогда не было просто, поэтому исследования психологов с трудом поддаются верификации. Имея очень субъективный предмет изучения, психология некоторыми своими отраслями и разделами пересекается с медициной и нейробиологией, а другими выходит за грань научного: даже доктор психологических наук и заместитель директора Института психологии РАН Андрей Юревич определил место психологии между наукой и паранаукой. Даже примененные по всем правилам научной методологии, подходы психологии порой не дают удовлетворительных результатов. Если в более тщательной и долгой работе с одним человеком можно предположить уникальность случая и заявить, что экстраполировать выводы на всех людей нельзя, то в большой группе трудно понять, какое в действительности значение имеют для каждого участника исследования унифицированные вопросы и ответы. К тому же, у испытуемых всегда могут быть внутренние причины скрывать какую-либо информацию и отвечать на вопросы не до конца честно. Поэтому рефлексию (обращение внимания человека внутрь себя) нельзя считать инструментом, позволяющим добыть абсолютно достоверную информацию. о компьютерном алгоритме, который выявил потенциальные ошибки в почти восьми тысячах психологических статей (и это только в период с 1985 по 2013 год и только в восьми научных психологических журналах) сработала как палка, разворошившая осиное гнездо, и без того неспокойное из-за постоянных споров. Под руководством Мишель Нюйтен было проанализировано 30 717 статей, из них 16 695 использовали статистические данные. В половине из этих работ была как минимум одна предполагаемая статистическая ошибка, на которую указала программа.

Когда исследование проводится на большой группе испытуемых, для обработки используются статистические методы. Популярное высказывание «существует три вида лжи: ложь, наглая ложь и статистика», авторство которого так туманно, что более ста лет назад Марк Твен приписал его Бенджамину Дизраэли (но уже не был уверен, откуда оно на самом деле пошло), не так уж далеко от истины. В области человеческого знания, где так сложно создавать теории, обладающие достоверной предсказательной силой (вспомните того же Зигмунда Фрейда или Альфреда Адлера), риск случайной ошибки и соблазн сознательной «подгонки» действительного результата под желаемый довольно высок.

Как компьютер «поймал с поличным» нечестных психологов

Программа, которая подтвердила справедливость этого ироничного наблюдения, называется Statcheck. Она анализирует P-значение (p-value) - величину, которую ученые используют для проверки статистических гипотез. Эта цифра показывает, насколько вероятен полученный результат, если нулевая гипотеза, лежащая в основе исследования, верна. В статье, которая была опубликована в журнале Behavior Research Methods, показано, что программа оценила достоверность более чем 258 000 p-значений (примерно 11 на каждую научную работу) за два часа, обнаружив, что 13% работ содержат ошибку, которая «переворачивает» полученные данные. В результате, например, P < 0,05 превращается в P = 0,05, или некоторые знаки после запятой просто отбрасываются, а не влияют на следующий знак по правилам округления чисел. Казалось бы, такое маленькое различие не должно серьезно влиять на результат, однако чаще всего P = 0,05 принимается как пограничное значение между статистически достоверным и недостоверным результатом. В итоге малейшее отклонение в одну или в другую сторону делает вывод в статье ложноположительным или ложноотрицательным.

Первоначально программа работала с литературой в целом, но один из соавторов исследования, Крис Хартгеринк, специалист по научной методологии из Тильбургского университета (Нидерланды), предложил сконцентрировать внимание на более специфических текстах - научных статьях. Он же позднее, в августе этого года, загрузил на проверку 50 000 статей и выложил результаты в Pub Peer (форум ученых, где они часто обсуждают вышедшие научные статьи), вызвав огромный резонанс в профессиональном сообществе. По мнению Хатгеринка, такие посты будут информировать авторов о возможных ошибках и «принесут науке гораздо больше пользы, чем просто свалка данных». С ним, как сообщает дискуссионная статья Монии Бейкер в Nature, согласны не все. Часть ученых, в том числе представители Немецкой психологической ассоциации, предупреждает, что ложноотрицательные результаты (здесь подразумевается исправление компьютером правильных данных на неправильные) могут скорее навредить репутации ученых, чем помочь развитию психологии как науки. Исполнительный директор Ассоциации психологических наук в Вашингтоне в ответ на публикацию заявил, что осуждает «повальное очернение» психологов в блогах и социальных медиа, явственно дав понять, что публикации результатов компьютерного анализа с указанием на возможные ошибки должны расцениваться как оскорбление.

Statcheck и P-value: кого в топку, кого в топ?

С другой стороны, подобные посты продвигают концепцию открытой науки (кстати, и Нюйтен, и Хартгеринк имеют награды от организаций, поощряющих развитие этого направления), которая позволит быстрее находить и корректировать статистические неточности. По мнению Ника Брауна, ученого-психолога из Университета Гронингема в Нидерландах, такие алгоритмы помогут только в том случае, если исследователи начнут читать их и оценивать с точки зрения специалистов, а не просто проникаться недоверием к журналу, опубликовавшему сомнительные статьи с ошибками.

На данный момент уже несколько тысяч человек, воодушевленных этой возможностью, бесплатно скачали эту программу, написанную на языке программирования R.

Однако Statcheck и сам может делать ошибки, как заявляет Томас Шмидт, критикуя программу . Например, она не всегда учитывает необходимые статистические погрешности и порой не может понять, что неверно в статье: P-значение или относительный параметр. Просканировав две статьи с большим количеством статистических данных, он обнаружил, что программа не смогла оценить 43 параметра, проверила 137 и определила 35 как «потенциально некорректные». Два из них оказались ошибками, не влияющими на результат, три были ошибками в других параметрах, не касающихся P-value, а остальные 30 оказались результатом «ложной тревоги».

Некоторые психологические журналы и вовсе начинают отказываться от p-value для проверки достоверности гипотез, считая этот параметр недостаточно надежным.

Сами создатели не отрицают, что их программа «никогда не будет столь же точна, как проверка вручную», но подчеркивают быстроту ее работы: если на проверку достоверности значения P-value одной средней психологической статьи уходит около десяти минут, то программа может справится с десятками тысяч в считанные часы, что незаменимо для проведения мета-анализа или первичной проверки присылаемых редакторам научных журналов статей. В этом качестве ее уже с июля этого года используют редакторы журнала Psychological Science. Они сравнивают эту программу с корректорами Word или T9, над нелепостью которых все смеются, но отказаться от них согласились бы немногие. Как и эти автокорректоры, Statcheck, по их мнению, можно считать «удобным инструментом, который иногда говорит глупости».

Есть весьма «бородатая» призказка. Наверняка вы ее слышали. Итак…

Существует три вида лжи:

1. Гнусная ложь
2. Статистика

Обычно в этом месте произносят слово «лопата» и все смеются. Но давайте рассмотрим факты, которые сейчас мелькают в свежих новостях.

Факт №1

«Левада-Центр» провел соцопрос (опрашивались россияне всех возрастов), который показал, что самая популярная социальная сеть в нашей стране — «Одноклассники» . В ней состоит примерно 76% опрошенных .

Круто! Срочно бежим заводить там аккаунт! Для тех кто в танке о том, как зарегистрироваться в одноклассниках очень подробно рассказывается на akak.ru по ссылке. Это сайт, на котором лежат инструкции как что сделать.

Но это, как вы поняли, статистика, которую предоставил «Левада-Центр».

Факт №2

• Самая популярная сеть по их данным — «ВКонтакте». В нее заходит 38 млн. посетителей в сутки.
• «Одноклассники» имеют 30 млн. посетителей.
• «Мой мир» — 16 млн.

Вопрос №1: Кому верить?

Поскольку это статистика, третий вид лжи , то верить нельзя никому. Как можно рассчитывать популярность социальной сети исключительно по косвенным данным?

Опрос. Что он показал? Только предпочтения фокус-группы.

Где ее отбирали? Каким способом опрашивали? В каком регионе? Говорили ли они правду?

Согласно данным соцопроса, 100% россиян пользуются интернетом! Опрос проводился на сайте.

Количество посетителей в сутки. Что показывает оно?

Представьте среднестатистического офисного работника. У него «ВКонтакте» установлен в телефоне, он заходит туда с работы, а потом еще вечером из дома. Это уже 3 посетителя с разным IP, браузером и пр.

При этом, у «Одноклассников» более старшая целевая аудитория. Значит мобильные приложения и заход из офиса для них, считайте, закрыт.

Ворпос №2: Что делать с этой информацией?

Вывод №1 — Нельзя слепо доверять статистике!

Вывод №2 — Очевидно, что самые популярные социалки: «ВКонтакте» и «Одноклассники». Думаю, что ЖЖ (хоть они и «социальная медиа») тоже в тройке лидеров.

Вывод №3 — Если вам есть что рассказать или предложить людям, заводите аккаунты в самых популярных соцсетях. Так точно не ошибетесь.

Послесловие

Как гласит крылатое выражение Доктора Хауса (сериал «Доктор Хаус») — «…Все лгут…». Помните это.

А с вами был Доктор Лексиум
Помните, что необходимость соображать своей головой еще никто не отменял.

"Существуют три вида лжи: ложь, наглая ложь и статистика " - гласит английская поговорка. Она мне вспомнилась в связи со странными социальными опросами в отечественных СМИ.

Помните, как недавно по всей стране шли протесты против принятия ювенального закона, который ужесточает статью 116 УК (побои без вреда здоровью) в отношении родственников? Теперь за шлепок ребенка по попе родителю грозит до двух лет лишения свободы, и само дело не может быть закрыто за примирением сторон. Не прошло и месяца, как СМИ заметили этот закон. Не сами, конечно, а благодаря Мизулиной, которая предложила отменить уголовное наказание по 116 статье в отношении членов семьи, и соответствующее предложение внесла в Государственную Думу.

Получается, Мизулина уже второй раз выступает против принятого ювенального закона - в первый раз, когда пыталась предотвратить его принятие в Совете Федерации, второй раз сейчас. Хочется поддержать Мизулину, ведь закон, против которого она борется, не поддерживает подавляющее большинство россиян из тех, кто знает о нем.

Однако, что делают наши отечественные СМИ? Они говорят: "а давайте спросим у людей", и создают опросы. Обращаю внимание, когда закон спешно принимался, никто мнения людей не спрашивал. А тут они вдруг озаботились опросами. И, посмотрите, как журналисты сформулировали текст опроса.

"Бьёт — значит любит? Стоит ли отменять уголовное наказание за семейные побои"
- "Поддерживаю Мизулину. Административное наказание — достаточная мера"
- "Надо оставить всё как есть"
- "Наказание за побои следует ужесточить"
- "Нужно отменить любое наказание. Бьёт — значит любит"

Сформулировать опрос подобным идиотским способом - это надо было постараться.

Во-первых, к чему эта дурацкая фраза "Бьет - значит любит?" в начале опроса? Вы об этом хотели спросить людей? Во-вторых, побои побоям рознь. В Уголовном Кодексе есть целый ряд статей за побои - семейные или не семейные. Но Мизулина ведет речь только лишь об одной статей УК - 116 статье: побои без причинения вреда здоровью. Мизулина только по этой статье предлагает заменить уголовное наказание для семьи административным. Что касается систематических побоев с причинением вреда здоровью любой тяжести - это совершенно другие статьи УК, в которые никаких правок не вносится.

RT вводит людей в заблуждение. В такой формулировке многие будут голосовать в этом социологическом опросе против поправок Мизулиной, считая эти поправки идиотскими и совершенно не понимая, о чем идет речь. Они ошибочно будут думать о том, что речь идет о тяжком насилии и домашних тиранах, а не о мамочках, которые шлепают детей по попе, или папочках, которые дают подзатыльник непослушному чаду.

Ложь, наглая ложь, статистика... У меня вопрос: кому и зачем понадобилась статистика по опросу, который вводит людей в заблуждение?

"Следует ли отменять уголовное наказание за семейные побои?"
- "да"
- "нет"
- "затрудняюсь ответить"

Чуть более корректно сформулировано, но манипуляция та же самая.

Такую же манипуляцию мы встречаем в группе

В формате «Точка зрения» ПостНаука знакомит читателей с мнениями наших экспертов об актуальных проблемах образования и науки. В новом материале мы попросили авторов проекта высказать свою точку зрения о том, насколько научны социологические опросы.
Кирилл Титаев - ведущий научный сотрудник Института проблем правоприменения Европейского университета в Санкт-Петербурге

Есть несколько отдельных историй про то, что такое научность и что такое опрос. Сначала следует различать социологические опросы и опросы общественного мнения. Опросы общественного мнения – это некая технология сбора информации о том, что люди готовы сказать, что они говорят вслух. При этом понятно, что люди могут врать, ошибаться, считать нужным сказать не совсем то, что думают, и так далее. Но это так называемое декларируемое общественное мнение, которое более или менее самоценно, то есть постороннему человеку, интервьюеру, люди готовы сказать, что они будут голосовать за того-то, что они так-то любят президента, что они так-то относятся к полиции и так далее. Это важно, и дает возможность для сравнения: в этой области столько-то людей утверждают, что они любят российскую полицию, а в этой столько-то.

Наряду с различением социологических опросов и опросов общественного мнения, есть еще три разных ответа на вопрос о том, насколько научны социологические опросы, в зависимости от того, как мы понимаем научность.

Первый вариант, когда наука – это исследования для фундаментальных результатов, а не для прямых распределений. Утверждение, что в Москве полиции доверяют 80% населения, а в Санкт-Петербурге, предположим, 60%, никакого отношения к науке, конечно же, не имеет. Никакого академического вывода, позволяющего производить какие-то научные знания, на этом основании сделать нельзя. И в этом плане большая часть публикуемых опросов общественного мнения в России, да и во всем мире, – это, конечно, никакая не наука. Это опросы общественного мнения и презентация некоторой картинки.

Вторая история, пересекающаяся с первой, – это вопрос о том, насколько они качественно сделаны. Здесь есть качественная выборка, то есть опрошенные люди, которые репрезентируют генеральную совокупность, например, «все население», «предприниматели», «избиратели» и так далее, в зависимости от того, кто нас интересует. Опрашиваемые, например, не пытаются нам выдать мнение предпринимателей или мнение избирателей за мнение всего населения. Есть масса технических аспектов, но в плане качества выборок подавляющее большинство крупных российских полстерских компаний, таких как Левада-Центр, ФОМ, ВЦИОМ и так далее, опросных фабрик, делают вполне научные, если говорить о качестве, опросы.

И наконец, есть еще одна история – это вопрос интерпретации. Дело в том, что когда люди в анкете, как говорил Крыштановский, «что-то наотвечали», это нужно каким-то образом интерпретировать. Что имели в виду люди, когда говорили, что они, например, доверяют полиции, или собираются проголосовать за Алексея Навального? Тут возникает масса технических тонкостей. Например, мы задавали вопрос «За кого вы собираетесь голосовать?» только тем, кто собирается идти на выборы или всем? Для электоральной социологии – это две принципиально разные картины. Мы задаем вопрос о доверии полиции только тем, кто с ней сталкивался или всем? Это тоже дает принципиально разную картину. Например, мы интерпретируем: «доверие полиции» - это означает, что люди считают, что она хорошая, считают, что она не нанесет им лично ущерба или имеют в виду что-то другое? Проблема социологических опросов состоит в том, что мы не можем дать широкий контекст вопросу, который задается респонденту. Мы вынуждены разово, узко его сформулировать и не всегда понимаем, что именно человек имеет в виду, отвечая на него. Задайте сами себе вопрос, «что вы имеете в виду, выбирая один из двух вариантов?»: «я считаю, что полиция, скорее, защищает меня» или «я считаю, что полиция, скорее, представляет опасность». Предположим, вы, отвечая на этот вопрос, имеете в виду некоторый баланс сил, а кто-то другой предполагает, что даже небольшая угроза со стороны полиции гораздо страшнее, чем угроза со стороны преступников, потому что полиция защищена законом. А кто-то третий просто ненавидит людей в серой форме (теперь уже почти в черной). Реконструировать эти контексты мы не можем. И работа по поддержанию качества, отслеживанию всех этих контекстов, в России поставлена очень плохо. В этом плане подавляющее большинство российских опросов общественного мнения, точнее выводов, которые делаются на их основании, более или менее ненаучны.

Виктор Вахштайн - кандидат социологических наук, профессор, декан факультета социальных наук МВШСЭН, декан Философско-социологического факультета Института общественных наук РАНХиГС, главный редактор журнала "Социология власти"

Представьте на секунду ситуацию, в которой астрология – это единственная возможная «методологическая база» астрономии или алхимия – химии. И даже не «методологическая база», а просто главный посредник между наукой и миром. У науки (в нашем мысленном эксперименте у астрономии) уже есть свой язык, которым она невероятно гордится, свои модели мышления о космосе и свои гипотезы, но нет (и, допустим, в принципе не может быть) никаких телескопов. Сформулировав некоторые предположения, астроном должен передать их человеку в высоком колпаке со звездами, который путем полумистических контактов с миром – вроде камлания на Большую Медведицу – выдает некоторый «эмпирический материал».

В описанном мной мире звездочеты будут всеми силами герметизировать свою специальность, делать ее непрозрачной с двух сторон – не только со стороны астрономов (настаивая на том, что правильно организованное камлание есть единственное условие истинности их научных предположений), но и со стороны обывателей (которые периодически норовят покамлать сами, без помощи квалифицированных специалистов, ритмично бьющих в бубен репрезентативности). Выгоды подобного посреднического положения трудно переоценить! Для астронома астролог – существо неприятное, но необходимое. Ведь он всегда «в контакте с миром» и, в отличие от астронома, эту Большую Медведицу «собственными глазами видит» каждый день. Для обывателя астролог и есть подлинный астроном. Поэтому от лица представляемой им науки он иногда берет «левые» заказы – покамлать за здоровье государя, за победу на скачках, за счастье новорожденного.

Единственное, что может угрожать положению звездочета – это конкуренция со стороны обывателей, которые не верят в то, что за спиной астролога стоит астроном. Они небезосновательно воспринимают астрологию как самостоятельную практику камлания, не имеющую прямого отношения к науке. С внутренней конкуренцией звездочеты уже как-то научились справляться. Например, одни в качестве бренда и конкурентного преимущества используют свое стремление к добру и веру в необходимость улучшения мира, вторые – умение красиво камлать на публике, третьи – особую близость к духам звезд. Но вот с конкуренцией со стороны обывателей справиться сложнее, особенно если те – не дай Б-г! – начнут камлать за победу на скачках и предскажут результат забега точнее, чем профессиональные астрологи. Без всякого бубна репрезентативности.

Что делать в описанной мной вселенной астрономам? То, что они делали и до этого – совершенствовать язык своей дисциплины. Тем же, кто не может не заглядывать в «эмпирическое окно» по долгу службы или по призванию свыше, придется осваивать камлание и бубен самим, без помощи посредников-астрологов. И да, чуть не забыл: никогда не камлать на победу в азартных играх.

Дмитрий Рогозин - кандидат социологических наук, директор Центра методологии федеративных исследований РАНХиГС, преподаватель факультета социальных наук МВШСЭН, старший научный сотрудник Института социологии РАН

Надо начать с того, что то, что у нас называется социологическими опросами, к социологии имеет весьма опосредованное отношение, и их корректнее разделять на разные группы. Первая - это электоральные опросы (то, что проходило сейчас в массовом порядке, когда выборы в разных регионах России сопровождались исследованиями, направленными на прогнозирование явки и доли политического участия в выборах). Такие опросы распространены во всем мире. Кроме того, есть так называемые социальные обследования (social survey), и слово "обследования" в данном случае специально употребляется в противовес к "исследованиям". У обследований всегда есть заказчик, какая-то социальная проблема, и основная задача специалиста, проводящего обследования, дать аналитический материал для людей, принимающих те или иные решения. В социальных обследованиях заказчиком выступает какая-то государственная структура, некоммерческая организация, поднимаются социальные вопросы. И третья группа – это маркетинговые исследования с конкретным бизнес-заказчиком, интересующимся ёмкость рынка, портретом потребителя продукции, эффективностью рекламной кампании и т.д.

Еще раз повторю, все это к социологии имеет только косвенное отношение: некоторые из тех людей, которые проводят подобные опросы, когда-то получили институционально социологическое образование, или пишут книги по социологии, или проводят уже социологические исследования. В качестве яркого примера можно назвать Пола Лазарсфельда, американского социолога, который еще в 30-х годах прошлого века говорил, что наука делается не в аудиториях, а в бизнесе. Сотни социальных обследований, маркетинговых опросов и т.д. Но социологом он стал не потому, что он эти обследования проводил, а потому, что он выстраивал теоретические конструкты, в том числе, по электоральному поведению. В чем, кстати говоря, ему помогал его ближайший друг и коллега Роберт Мертон. Важно понимать, что теоретические конструкты не имеют отношения к конкретным распределениям ответов и проблеме того, угадал ли кто-то выбор избирателей или промахнулся.

Если мы ведем речь не о социологии, а о массовых опросах, то лучше говорить не об их научности или социологичности, а об их валидности и надежности. Это не значит, что массовые опросы не могут быть научными, там тоже есть свои экспериментальные планы, гипотезы, исследовательские затруднения и проблемы. Например, экзит-полы можно проводить научным методом, а можно, следуя политической конъюнктуре, выполнять некоторый внешний заказ. Основным критерием научности или ненаучности социальных обследований, маркетинговых исследований, экзит-полов, электоральных опросов является не то, что их проводит уже зарекомендовавшая себя организация (нельзя сказать, что если опрос проводит «Фонд Общественное Мнение», Левада-Центра или ВЦИОМ, то это автоматически научно, а если волонтеры, то нет), а то, проводится ли в процессе таких исследований регистрация параданных, или сопутствующих основным распределениям данных.

В экзит-полах опросные центры должны регистрировать помимо того, за кого человек проголосовал, время, когда он ответил, точку, в которой он стоял (очень важно, какие потоки людей прошли мимо, и им не задали вопросы); из УИКа бывает несколько выходов – это одна ситуация; из вышедшей пары отвечает на вопрос только один человек – другая ситуация и так далее. Все эти ситуации нужно регистрировать, они и называются параданными. Какая-то незначительная часть параданных регистрируется и сейчас, например, количество отказавшихся ответить (эти данные помогают взвесить полученное распределение голосов). Но подавляющее большинство параданных пропускается опросными центрами. Поэтому я бы не слишком нагнетал ситуацию с критикой научности социальных обследований как таковых. Открытый вопрос – есть ли там наука? Другими словами, если центры, проводящие экзит-полы, начнут регистрировать сопутствующие данные, разбираться, как они коррелируют между собой, тогда опрос имеет шанс стать научным. Тогда у нас появляются дополнительные аргументы, чтобы отстаивать ту или иную точку зрения по поводу правильного или неправильного прогноза. Когда же сопоставление прогностических данных основано только на том, что опрос провел «Левада-Центр», ВЦИОМ или еще кто-то, это всего лишь политические спекуляции.

Я только отчасти согласен с разговорами о том, что «социологи» провалились, ведь те люди, которые проводят опросы, могли бы дискредитировать опросную науку, опиниологию, как говорил великий Ландберг, не тем, что они ошиблись в прогнозировании, а тем, что они не регистрирует параданные, не проводят научные исследования, а лишь прикрываются наукой, как некоторым легитимирующим их деятельность статусом, и вслед за политическими спекуляциями создают политические артефакты.

Виталий Куренной - кандидат философских наук, заведующий отделением культурологии ВШЭ, научный редактор журнала "Логос"

Социологические опросы - один из основных инструментов современной количественной социологии. Это отточенный в методологическом отношении инструмент (конечно, если используется с соблюдением соответствующих процедур), и ставить его научность под сомнение бессмысленно и наивно. Но, как и у всякого научного инструмента у него есть свои границы, собственно, эти границы и делают науку наукой. И с этой точки зрения я бы отметил несколько вещей. Во-первых, там, где речь идет о сциентизированных количественных исследованиях в современном смысле слова, решающим является повторяемость, а не исключения. Всякий раз, когда данные социологов расходятся, например, с результатами голосований, всегда находится кто-то, кто угадал правильно. Так вот, все эти угадывания никакого значения не имеют - сначала продемонстрируйте их повторяемость - пусть и с отклонениями, но именно повторяемость. А так можно и к гадалке сходить, да и в спортивных тотализаторах всегда кто-то выигрывает - к науке это отношения не имеет. Второе: ошибаться в науке нормально, тем, кто хочет безошибочности лучше к пророкам обращаться. Важно разобраться в причинах ошибки - вот и все. С этим, правда, у количественной, опросной социологии есть проблемы - она ведь не занимается причинами, тут нужны другие инструменты исследования.

Теперь в более критическом ключе два замечания. С одной стороны, надо понимать, что предметная категоризация, используемая в соцопросах - это некоторая воплощенная форма прагматики заказчика, как правило - прямое продолжение административно-управленческой логики политических сил. Социология же и рождалась как орудие управления современным обществом - далеко она от этого не ушла, разве что наряду с административно-политическим управлением сегодня все больше решает задачи управленческого воздействия на рынок - в форме маркетинговых исследований. Поэтому тут всегда есть разрыв между навязанной оптикой и реальными процессами и событиями. Это не повод, чтобы отказывать социологии в научности, но есть пространство для критического взгляда на всю эту научную аппаратуру в целом. С другой стороны, есть целый пласт внутренних методологических проблем проведения опросов, которые хотя бы в общих чертах хорошо бы представлять, прежде чем критиковать их результаты. Связано это с тем, что в самой процедуре опроса - начиная с формы вопроса и заканчивая фигурой интервьюера - неизбежно присутствует деформация реальности "как-она-есть-без-этого-опроса". Опросы не просто являются инструментом манипулирования как результат (само предъявление цифр, очевидно, кого-то поднимет с дивана, а кто-то на нем так и останется, хотя утверждал интервьюеру обратное), но и фактором деформации и трансформации в ходе самого исследования. Методологически можно и нужно стараться минимизировать эту деформацию, но исключить ее полностью никогда, видимо, не получится. Говоря совсем банально - социальное исследование меняет реальность, но не так, что результат такого изменения фиксируется опросом. Так что неожиданности здесь всегда возможны.

Есть выражение: «Ложь бывает трех видов- просто ложь, наглая ложь и статистика»
Вообще-то, статистика не нуждается в защите. Статистические методы успешно и даже победоносно применяются во всех видах разумной деятельности человека- от организации коммунального хозяйства до ядерной физики. И все-таки именно эта выдающаяся эффективность статистики является огромным соблазном использовать ее в чисто демагогических целях.
Есть такое заболевание эпилепсия, характеризуется поражением мозга, выражающееся в частых (иногда не слишком) приступах, в тяжелой форме выражающееся в судорожных припадках. В более легких (и гораздо более часто встречающихся) формах – это потеря сознания на несколько секунд или минут, без судорог и даже без падений.
Во время одного из моих заключений в сумасшедший дом, я, за небольшую плату: несколько пачек сигарет, кажется, переводил для одного из врачей небольшую книжку с английского. Книжка фактически представляла собой данные статистических исследований у детей, страдающих эпилепсией. Это была самая великолепная научная работа, которую мне приходилась читать. Определялся индекс интеллекта у разных групп больных детей школьного возраста. Группы составлялись по самым разнообразным признакам- степень заболевания, финансовое обеспечение семьи и так далее. Наибольший интерес представляло сравнение детей, обучавшихся в специальных школах для эпилептиков и в обыкновенных общих школах. Как и ожидалось, индекс развития (интеллекта) у детей в спецшколах оказался значительно ниже, чем у здоровых детей. Неожиданность возникла, когда определяли индекс у детей в обычных школах. Он оказался намного выше не только индекса таких же больных в спецшколах, но и выше, чем у здоровых детей, обучавшихся в тех же школах! Эпилептики оказались в числе первых учеников и отличников в своих классах! Кстати, это отлично совпало с давно известным фактом непропорционально большого количества эпилептиков среди выдающихся людей. Возьмем хотя бы Петра Первого и Достоевского. Желающие могут привести и другие примеры.
Объяснение неожиданного результата объяснить просто. Возникал «барьерный эффект». Больные дети, ощущая некоторую неполноценность из-за своих приступов, из –за детского стремления к соперничеству, стремились компенсировать ее усиленной учебой и делали это так успешно, что выходили в первые ученики! В спецшколах этого не было- все вокруг были такие же как они и соперничать было не с кем. Разумеется, спецшколы остались необходимыми для тяжелых больных, нуждающихся в постоянной помощи и наблюдении, но для более легких случаев они оказались не только бесполезными, но даже вредными. И Америка постепенно стала сворачивать свою превосходную сеть спецшкол.
Но вот вопрос- а зачем она ее вообще создала? Представьте себе, тоже на основании статистических исследований. Проводились обширные и многочисленные опросы врачей-специалистов, родителей и даже учеников. Все они высказывались в пользу создания таких учреждений. Однако все это было опрокинуто всего лишь одним маленьким исследованием- что-то около 500 случаев.
Статистика не виновата, просто в маленьком исследовании она показала реальное положение дел, тогда как в предыдущих исследований- степень заблуждения, профессионального и других, степень любви родителей, в общем, все что угодно, кроме фактического положения дел.
Недавно я услышал как один уважаемый профессор доказывал необходимость запрета показывать по ТВ «сцены насилия и убийства», и даже просто сообщений с описанием реальных преступлений тем, что 80% статистических исследований доказывают необходимость такого запрета. Так вот, он просто вешал вам на уши лапшу, а его «доказательство» некорректно. Что касается отдельных случаев, когда преступление совершается по образу и подобию киношных сценариев, так это вообще не может быть доказательством- возможно, на одного потенциального преступника, отождествляющего себя с киногероем- преступником, приходится десять, представляющих себя в роли жертвы, что привило им отвращение к убийству, и еще десять, избавившихся от чрезмерной беспечности и постаравшихся усилить свою безопасность и защиту.
А ведь при опросе, именно эти 20, испытавших неприязнь, выскажутся,скорее всего, за запрет.
Но это не имеет значение.
Опросите школьников относительно того, как они отнесутся к возможности не ходить в школу. Боюсь, что они будут в восторге.
Но разве это довод в пользу прекращения образования?

Рецензии

Конечно не довод.Я вообще считаю,что статистика это своего рода замануха для не знающих людей.Например:35% людей в России уже имеют в доме сосудомойку,50%нет,остальные не знают, что это такое.Так вот эти 50% думают:"А мы чем хуже". И процент у кого есть это "чудо техники" увеличивается.Вот и вся статистика

Главная » Упражнения » Есть ложь большая ложь статистика. Ложь, наглая ложь и… статистика