Одесса: °С (вода °С)
Киев: 6°С

Детское здоровье - СИМПТОМЫ, БОЛЕЗНИ, РАЗВИТИЕ, ЛЕКАРСТВА. С позиции ДОКАЗАТЕЛЬНОЙ МЕДИЦИНЫ

Красные флаги науки. 4. Слухи, случаи/легенды и анекдотические данные.

Оценить эту запись
4. Слухи, отзывы, легенды, анекдотические данные.

Истории, рассказы, слухи, единичные/анекдотичные исследования в качестве доказательств являются красными флагами науки.

Что относят к анекдотичным данным?

- Информация , которая не основана на фактах или тщательном изучении
- Отчеты или наблюдения ненаучных наблюдателей
- случайные наблюдения или утверждения, а не строгий научный анализ
- Информация передающаяся из "уст в уста" (соцсети и т.п.), но не была задокументирована научно

Как распознать эту тактику?

Те, кто использует эту тактику пытаются представить рассказы о конкретных случаях или событиях в качестве подтверждающих доказательств. Истории варьируются от личных свидетельств, до рассказов о знакомых и рассказах о неустановленных вещах ("Я знаю человека, который ... ", "Я знаю/слышал случай, когда ...").

Почему люди используют эту тактику?

Люди используют эту тактику, когда они не имеют надлежащих научных данных из контролируемых исследований в поддержку своих утверждений. Большинству из нас трудно противостоять этой тактике. По причине того что у нас есть врожденная склонность полагать, что если два события взаимосвязаны, то первое событие вызвано другим - "подмена корреляции причиной" - это заблуждение.

Что не так с этой тактикой?

Многие истории/рассказы просто не соответствует действительности. Анекдотические данные страдают двумя недостатками - человеческое восприятие и память (как это изложено у Chabris и Simons) - избирательная внимательность:


- Безвнимательная слепота: неспособность заметить неожиданные события, когда сосредотачиваешься на определенной задаче
- Ложная память: искажение воспоминаний, чтобы вписываться/подтвердить в убеждения, ожидания и достичь цели

Те анекдотичные данные, которые являются истинными, скорее всего, будут отражать общую ситуацию (не будут репрезентативными). В некоторых случаях, они умышленно отбираются чтобы быть нерепрезентативными.

Анекдотичные данные работают для большинства людей, потому что они попадаются на крючок того что "корреляция доказывает причинно-следственную связь", что в логике является классической уловкой - заблуждением. Если некоторые результаты наблюдаются после осуществления определенных действий, это не означает, что эти действия/события привели к этому результату. Чтобы сделать вывод о причинно-следственной связи, большое количество случаев необходимо изучить.

Анекдотичные/единичные данные наименее надежны из всех видов доказательств. Если они используются, то это лишь должно быть признаком того, что в дальнейшем необходимы надлежащим образом контролируемые ("слепые") исследования.

Что делать, когда вы сталкиваетесь с этой тактикой?

- Во-первых, спросите себя, является ли этот рассказ/история правдой. Был ли это одноразовый/единичный случай? Каковы мотивы у лица, рассказавшего о ней? Есть ли независимые свидетели? Может ли это быть результатом неправильного восприятия или искажения памяти либо недостатком знаний?

Если история, вероятно, может оказаться правдой, попросите больше доказательств. Помните, что экстраординарные заявления требуют экстраординарных доказательств. Множественное число историй/слухов, не является доказательством, это просто большое количество анекдотичных данных. Есть ли контролируемые исследования, в которых изучались эти явления/события? (Как всегда, для медицинских слухов, попробуйте Cochrane Library, UpToDate...) . Если да, то как эта история/рассказ вписывается в общую статистику?

Прежде всего, помните, что корреляция не доказывает причинно-следственную связь, и не торопитесь на основе любых анекдотичных данных - искать лучшие доказательства. Как правило, достаточно приглядеться/изучить качественный дизайн предоставленных единичных исследований, чтобы выявить несоответствия.

Основная слабость анекдотичных данных в качестве доказательства то, что они не контролируются. Это способствует к сокрытию многих переменных, которые потенциально могут повлиять на результаты. Поэтому мы не можем делать какие-либо надежные предположения о том, какие переменные (например специфическое лечение) были ответственны за любое явное улучшение.


Вариации и подобные тактики

Неуместное использование неподтвержденных данных тесно связано с:

- Вишневый сбор (снятие сливок) - выбор узкого диапазона данных, которые, как кажется, поддерживают утверждения, игнорируя при этом большинство данных, опровергающих их.
- Post hoc ergo propter hoc (после этого, значит из-за этого) - утверждают, что, поскольку B следует за А, то А является причиной В - подмена корреляцией поиска причинно-следственной связи.
- Иллюзия кластеризации - тенденция видеть небольшие кластеры данных в случайном распределении как указание на некоторое существенное "влияние".

Анекдотичные данные о вредном воздействии чего либо могут быть увеличены так называемым каскадным распространением - кто-то приходит с историей/слухом, который, кажется, способен объяснить явление/событие из-за очевидного понимания, и идея быстро распространяется через социальные сети по цепной реакции.

Примеры

Классический случай слуха вызывающего "подмену причины корреляцией" появляется в письме на сайте компании Bondi ростки пшеницы:
Я молодая мать шестилетнего мальчика. Я начала чувствовать себя очень истощенной и вялой. После принятия сока ростка пшеницы, мои энергетические силы поднялись, и я могу бегать с моим сыном весь день. Мой сын также выиграл от приема этого сока и сумел избежать всех обычных микробов и болезней в детском саду и школе.
Стойкие анекдотичные данные используются в качестве аргумента против ремней безопасности в автомобилях. История описывает, как водитель, который не был пристегнут ремнем безопасности был выброшен из автомобиля во время аварии, к счастью, приземлился на мягкую землю и страдал получил лишь незначительные травмы, в то время как автомобиль загорелся и, если он был бы пристегнут, то его не удалось бы спасти.
Хотя этот случай может быть правдой, он не репрезентативен (показателен). Исследования неизменно показывают (1,2) полную картину - что ремни безопасности спасают жизни подавляющему большинству, а не наоборот.

Таблоиды (особенно желтая пресса) любят опубликовывать анекдотичные данные, которые, не считаются с научными выводами. Вот один из них, который "доказывает" что курение не вредно для вас.

Научные исследования показывают (1,2,3), что нет никакой связи между вакциной КПК и аутизмом. Тем не менее, некоторые родители по-прежнему отказываются прививать своих детей на основе эмоционального восприятия рассказов родителей детей, страдающих аутизмом. Ущерб, нанесенный распространению этих анекдотичных данных огромен.

Или вот статья из NaturalNews, в которой утверждается о вреде ГМО и последствиях для ученых

Первоисточники: 1, 2, 3, 4

Отправить "Красные флаги науки. 4. Слухи, случаи/легенды и анекдотические данные." в Digg Отправить "Красные флаги науки. 4. Слухи, случаи/легенды и анекдотические данные." в del.icio.us Отправить "Красные флаги науки. 4. Слухи, случаи/легенды и анекдотические данные." в StumbleUpon Отправить "Красные флаги науки. 4. Слухи, случаи/легенды и анекдотические данные." в Google

Обновлено 11.09.2015 в 22:26 auditor_ya

Категории
Без категории

Комментарии

  1. auditor_ya -
    Аватар для auditor_ya
    Вот несколько конкретных факторов, которые затрудняют возможность надежно интерпретировать анекдотические медицинские доказательства:
    - Регрессия к среднему значению: Это статистическое явление, когда человек получает исключительно высокие или низкие результаты при измерении какого-либо показателя, то при втором измерении его результаты, скорее всего, окажутся ближе к среднему значению. Многие заболевания имеют переменную или колебания симптомов - хорошие дни и плохие дни или периоды обострения сменяются периодами относительного облегчения. Если человек ищет лечение, когда его симптомы являются серьезными, то случайным образом, скорее всего, последует период, когда симптомы являются не столь серьезными

    В клинической практике много измерений, таких как вес, концентрация холестерола или давление крови, для которых высокие или низкие показатели являются признаками заболевания или указывают на риск заболевания. Люди с критическими показателями, например, очень высоким давлением крови, обычно подвергаются лечению с целью привести их значения в норму (ближе к среднестатистическим значениям). При повторном замере тех же показателей обнаруживается, что на этот раз среднее значение для критической группы ближе к среднему значению для всей популяции - то есть уменьшилось. Тем не менее, интерпретировать это как результат лечения было бы неверно. Даже если пациенты не подвергались лечению, вычисленное среднее давление крови понизится, вследствие регрессии к среднему значению. Первое и второе измерения будут иметь взаимную корреляцию r < 1 из-за неизбежных погрешностей измерения и биологических колебаний. Разность между вторым средним значением для подгруппы и средним по популяции будет приблизительно в r раз меньше разности между первым средним значением и средним по популяции. Необходимо отличать любые истинные улучшения в результате лечения от регрессии к среднему значению. В наилучшем случае следует использовать рандомизированную контрольную группу

    - Большинство болезней самопроходящие: Старая поговорка гласит, если лечить простуду (насморк) то она пройдет за неделю, если не лечить, то за 7 дней. Большинство заболеваний улучшаются/проходят самостоятельно, поэтому большинство методов лечения будет сопровождаться разрешением симптомов, даже если лечение не имеет биологического эффекта. Для того, чтобы знать, влияет ли лечение на болезнь, должно происходить сравнение с пациентами , которых не лечат, или которые получают другое доказанное лечение

    - Совмещение разнообразных методов лечения: Часто люди будут пытаться совместить несколько процедур/лекарств во время болезни и это делает невозможным определить, какое лечение оказало благотворное влияние, если таковое имеется. Разнообразные методы лечения могут быть использованы все сразу, либо последовательно. Например, человек с хроническим заболеванием пытается использовать лечение А без эффекта, затем лечение B без эффекта, а после лечения С, следуют улучшение его симптомов. Затем "поет" хвалебные оды лечению С, при этом рассказывая как другие методы лечения потерпели неудачу. Тем не менее, когда человек пытается лечиться новыми методами в большинстве случаев в любой точке симптомы будут улучшаться.

    - Мертвые люди никому не рассказывают сказки/слухи (проблема отчетности в смещении): группы оставшиеся в живых от рака не содержат людей, которые умерли от рака. Те, кто умирает от болезни не имеют окружения, чтобы рассказать свои истории. Следовательно, существует встроенная предвзятость. Кроме того, те, кто считают, что им помогло лечение имеют гораздо больше шансов, чтобы хвастаться этим, чем те, для которых не было никакой видимой пользы. Людям нравится, рассказывать о чудесном лечении которое они нашли/обнаружили и верили в него, несмотря на скептиков и отговаривающих, - но их видение окупилось, поскольку лечение сработало на них. У людей нет мотивации, чтобы рассказать о своем опыте лечения, которое не работает. Кроме того, пациенты, которые чувствуют, что им помог их врач, скорее всего, вернутся к нему/лечению. Те, кто считают что лечение не работает скорее всего не вернуться, чтобы сообщить о неэффективности лечения.

    Давайте предположим, что 1 000 000 человек решили принять гомеопатическое лекарство, чтобы вылечить их рак, вместо, реальной медицины. Давайте предположим далее, что 0,1% из этого миллиона будут испытывать спонтанные ремиссии (фактический уровень ремиссии, рака молочной железы и базально-клеточной карциномы, по меньшей мере, ближе к 20%), и что у 0,3% был неправильно диагностирован рак (его не было). Это дает в общей сложности 0,4% людей, или 4 000 человек. Теперь, будет несколько тысяч положительных отзывов (и еще больше пересказов) о том что "гомеопатия вылечила рак". Но другие 99,6% умерли, поэтому, хотя вы были "усыпаны" рассказами нескольких тысяч излечившихся, вы не услышите абсолютно ничего о 996 000 людей, которые не были вылечены.

    - Уклон подтверждения (эвристика доступности): Это хорошо описанный психологический феномен, что мы склонны искать и запоминать информацию , которая подтвердилась, в которую мы уже верим или хотим верить, и мы избегаем, забываем опровергающие доказательства. Человек считает более вероятными и/или более распространенными те события, которые ему легче вспомнить и/или которые ему легче представить

    Оценка вероятности события. Под влиянием эвристики доступности человек считает более вероятным событие, которое, например, произошло недавно или которое легко представить.

    Оценка частоты события. Эвристика доступности заставляет человека считать более высокой частоту событий, которые, например, несколько раз произошли у его друзей, родственников и/или знакомых.

    Оценка связанности событий. В рамках эвристики доступности человек будет считать более связанными между собой события, которые, в частности, легче представить вместе. Например, люди охотнее поверят в то, что волевой подбородок свидетельствует о волевых качествах, чем в то, что люди с таким подбородком вполне могут быть слабовольными. Ошибки этого рода охватываются явлением иллюзорной корреляции

    - Неопределенные/сомнительные результаты/исходы: Качественные клинические испытания используют объективные критерии оценки - те, которые являются двоичными (как смерть или выживание), количественные (например, содержание в крови), или основаны на конкретных физических выводах. Оценка субъективных симптомов (таких как боль, усталость и общее самочувствие) не дает качественного результата, так как она требуют, чтобы оценочные суждения были сделаны, и вводят еще одну переменную. Считаете ли вы что лекарство смягчило симптомы простуды? Если вы принимаете лекарство, которое как вы думаете, поможет вам избежать простуды вы можете исключать те, свершившиеся случаи простуды (и даже если вы помните них), ища подтверждения "действующему" лечению.

    - Эффект плацебо: Плацебо-эффект на самом деле является причиной многих эффектов, которые создают видимость ответа на неактивное лечение. Точно установлено, что ожидание пациента (или врача) может повлиять на исход лечения. Только в двойных слепых рандомизированных плацебо-контролируемых клинических исследованиях можно подтвердить гипотезу об эффективности лечения независимо от ожиданий

    - Ошибочность человеческой памяти: студенты-медики быстро узнают, что одна из самых больших проблем в сборе анамнеза (медицинской истории) в том, что люди плохие историки, или если вежливо сказать, что человеческая память ужасна. Анекдотические данные/истории в значительной степени зависят от памяти человека о болезни и лечении. Это вносит много новых переменных. Существует, например, склонность людей объединять различные события в памяти в одно событие или объединять детали различных событий. Существует также тенденция развития подробностей с течением времени, чтобы сделать историю более четкой и глубокой. Таким образом, люди в свей памяти могут, преувеличивать тяжесть своих симптомов до начала лечения, преувеличивать ответ на лечение, очистить хронологию событий, так что по их мнению улучшения начались очень скоро после лечения (а не до или после того), забыть другие методы лечения, которые были использованы, искажать то, что они рассказывали предыдущим врачам и т.д.

    По этим и другим причинам, ученые научились не доверять отдельным/единичным сообщениям - или, скорее, давать реальную оценку их надежности. Именно поэтому ученым всегда кажется сильно наивным, когда кто-нибудь представляет неподтвержденные/анекдотичные данные так, как будто это является убедительным, и даже утверждает, что на эти истории/слухи следует полагаться в качестве реального доказательства.
    Обновлено 13.10.2013 в 20:20 auditor_ya
  2. auditor_ya -
    Аватар для auditor_ya
    Если такие анекдотичные данные не представляют научной ценности, почему они так популярны и почему они так убедительны?

    Есть несколько причин. Сообщения являются часто яркими и четкими, что делает их более достоверными. Они часто делаются увлеченными людьми, которые кажутся надежными и честными, и которые не имеют какой-либо причины, обманывать вас. Подобные высказывания часто звучат от людей, с неким подобием власти, такие, как те, кто имеет докторскую степень в психологии, актеры и т.п. В некоторой степени, утверждения правдоподобны, потому что люди хотят верить в них. Часто, ожидание и надежда дает им силу, что некоторые новые методы лечения существуют.

    Западные практикующие врачи полагались на гуморальную теории о здоровье и болезнях в течение тысяч лет. Видимо тысячи лет анекдотического опыта не сообщило им, что их понимания были бесполезны или вредны. Доктор Абрамс стал богатым, продавая машину для диагностики и лечения заболеваний. Его устройства широко использовались, с миллионами подтверждений людей об их эффективности. Они работали для них, и их опыт был непреклонен. Когда умер Абрамс, то было обнаружено, что его машины (ранее не подлежавшие инспектированию) были заполнены бесполезными случайными частями. На рубеже веков радиоактивные тоники были популярны, пока сторонники не начал видеть негативных последствий радиационного отравления.


    Сутью этих примеров является то, что неподтвержденные данные привели многих людей к выводу, что эти вмешательства работали. Гуморальная теория была заменена на научную медицину, медицина основанная опыте была заменена доказательной медициной.

    Наука научились не доверять даже собственным анекдотичным данным. История медицины усыпана методами лечения, которые, как казалось, работали, но когда были фактически исследованы, то научные данные показали иное. Классическим примером этого является коронарное шунтирование при стенокардии - анекдотические данные показывали его эффективность, но оказалось что это не так.

    Могут ли анекдотические данные играть какую-либо роль в медицинских доказательствах? Да могут, но очень незначительную и четко определенную. Единичные случаи, со всеми их слабостями, являются реальным жизненным опытом. Вполне возможно, что личный опыт может быть первым признаком того, что существует значительный биологический эффект. Но вот два ограничивающих фактора важны:

    - Во-первых, анекдотические данные должны быть задокументированы как можно тщательнее и качественнее. Это обычная практика в научной медицине, когда анекдотичные данные называют единичными случаями/отчетами (когда регистрируется отдельно) или серией случаев (когда о нескольких связанных случаях сообщается) . Единичные случаи/исследования называют анекдотическими, потому что они ретроспективны и не контролируются. Но они могут быть полезными, когда все необходимые сведения тщательно документируются - хронологию событий, все процедуры, которые были осуществлены, результаты тестов, результаты осмотра и т.д. По крайней мере, эта информация сохраняется и предотвращает дальнейшее искажение памяти.

    - Во-вторых, что они должны рассматриваться только как предварительные - как средство указывающее путь к будущим исследованиям. Они никогда не должны рассматриваться как окончательные или доказывающие что-либо сами по себе. Любые выводы или заключения сделанные из непроверенной информации должны быть позже проверены в контролируемых проспективных слепых клинических исследованиях.

    Исключением, когда лечение может приниматься на основе таких доказательств, когда заболевание или состояние изучается настолько редко, что рандомизированные клинические испытания не являются выполнимыми. Или когда вопросы не могут быть подвергнуты изучению в рандомизированных клинических исследованиях, потому что это было бы неэтично делать (обычным примером является рандомизированное, плацебо-контролируемое, двойное слепое клиническое исследование "вакцинированные против невакцинированных", который оставил бы одну группу защищенной от вакциноуправляемых инфекций, а вторую нет). В подобных случаях крупных эпидемиологических исследований должно быть достаточно, чтобы продемонстрировать, что не обнаруживается связи между вакцинацией и аутизмом или между консервантом тимеросал и аутизмом, и они делают.

    Понимание природы и роли анекдотичных данных/отчетов/исследований, слухов/легенд/историй является жизненно важным для преодоления разрыва между сторонниками научной медицины и верующих в сомнительную или сектантскую практику врачевания (а также общественности в целом). Это часто является конечной точкой раздора между этими двумя лагерями.

    Логика и уроки истории дают очень четкий ответ на этот вопрос. Но есть силы, которые хотят повернуть вспять научный прогресс - они хотят вернуть анекдотичные данные/исследования в качестве надежного источника медицинских доказательств, по существу возвращение в донаучную эру медицины. В некоторых случаях это делается из-за разочарования - что контролируемые научные данные не подтверждают максимально утверждения/модель/теорию. В других случаях это, кажется, сознательной попыткой снизить планку доказательств признания лечения, которое не было подтверждено твердыми качественными научными данными. В любом случае, это не в интересах здоровья населения
    Обновлено 14.10.2013 в 22:48 auditor_ya