Внимание, покупатель: несистематические обзоры приводят к несистематическим выводам. Читатели, ищущие коротких путей в понимании научных данных относительно проблем со здоровьем и заботы о пациентах, должны, по крайней мере, искать обзоры, составленные теми, кто не пошел по короткому пути.

B. Haynes, British Medical Journal, 1992

В одной из прошлых статей мы представили наборы научно обоснованных критериев, которые читатели могут использовать для оценки качества медицинской информации, предназначенной для широкой публики.

В этой статье мы продолжим обсуждение проблемы поиска качественной медицинской информации и рассмотрим вопрос, относящийся к выбору первоисточников, оценке их релевантности и надежности.

***

В обновленной версии статьи «Basing information on comprehensive, critically appraised, and up-to-date syntheses of the scientific evidence: a quality dimension of the International Patient Decision Aid Standards» авторы IPDAS подчеркивают, что создание медицинской информации на основе исчерпывающего, критически оцененного и современного свода научных материалов имеет самую непосредственную связь с тремя фундаментальными тезисами современной медицинской помощи:

1. этической необходимостью уважения автономии пациента,
2. обеспечением качества медицинских услуг, и
3. научным обоснованием.

Говоря об этической составляющей, авторы обзора указывают на то, что:

Уважение автономии пациента является основным принципом медицинской этики. В привычном понимании, этот термин относится к способности человека принять и воплотить в жизнь аргументированные медицинские решения, основанные на неискаженном и внимательном взвешивании фактов.

Такие организации, как American Board of Internal Medicine, American College of Physicians, и European Federation of Internal Medicine указывают в их уставах о медицинском профессионализме на то, что “врачи должны быть честными с их пациентами… и убедиться в том, что пациенты были полностью и честно информированы перед тем, как они соглашаются начать лечение и после того, как они завершают лечение”.

Для “полного и честного информирования”, необходимого для проявления автономии, пациенты нуждаются в доступе к неискаженной информации, основанной на высококачественном обзоре доступных научных документов, релевантной для их клинического случая и признающей существование неопределенностей, связанных с качеством или с количеством научных данных.

 

Передача высококачественной информации, несомненно, является столь же важным элементом взаимоотношений врач–пациент, как и клинический осмотр, проведение обследований, назначение или выполнение лечения. По мере повышения доступности качественной информации и распространения традиции вовлечения пациентов в принятие решений, пациенты могут надеяться на то, что станут чаще получать качественную информацию от своих лечащих врачей.

Однако в тех ситуациях, когда передачи качественной информации в отношениях врач–пациент не происходит, или в тех областях, в которых полная профессиональная медицинская консультация обычно отсутствует (решение незначительных, но частых медицинских проблем, целесообразность использования различных профилактических обследований, планирование питания и других составляющих заботы о себе), потребители медицинских услуг могут столкнуться с необходимостью самостоятельного поиска качественной информации.

Как показывает в своей книге «В интернете кто-то неправ! Научные исследования спорных вопросов» писатель, научный журналист и популяризатор науки Ася Казанцева, многие области общественного мнения являются ареной массивной дезинформации и злонамеренного манипулирования медицинскими желаниями и тревогами потребителей.

Г-жа Казанцева предлагает читателям рассмотреть несколько широко обсуждаемых в обществе проблем — использование гомеопатии, использование генетически модифицированных организмов (ГМО), вакцинация, сбалансированное питание и пр. — и на их примере показывает, каким образом возникли ошибочные представления, и как можно найти более надежную информацию по этому поводу. Она также показывает, какие последствия для отдельных потребителей и для всего общества может иметь потребление медицинской информации, основанной на некачественных или намеренно фальсифицированных и искаженных данных.

В частности, движение против вакцинации, зародившееся после публикации и искажения и без того очевидно ненаучных и, вероятно, намеренно сфальсифицированных данных о 12 детях заболевших аутизмом, стало причиной гибели сотен людей и стоило обществу огромных средств, потраченных на попытки восстановления столь трудно достигнутого контроля многих инфекций.

Движение против генетически модифицированных растений и животных, начавшееся в результате безответственного раздувания скандала вокруг результатов ряда исследований, проведенных с грубейшим нарушением научных норм с одной стороны, и откровенного искажения данных других исследований с другой стороны, посеяли смятение среди рядовых потребителей и обошлись им большими потерями, которые были незаметно переложены на их плечи в виде государственных расходов на исследование безопасности ГМО, повышения цен на продовольственные продукты (или отсутствие снижения цен), торможения развития биотехнологий и, как следствие, отсутствия разработки столь нужных более эффективных методов лечения различных болезней.

Популяризация гомеопатических препаратов ежегодно приводит к тому, что потребители тратят несколько миллиардов рублей на покупку заведомо бесполезных продуктов, только имитирующих внешний вид лекарств.

Г-жа Казанцева утверждает, что для защиты своих интересов в этих и в других областях потребителям медицинских услуг необходимо развить здоровый скептицизм по поводу информации всякого рода и укрепить свои навыки поиска и оценки качества информации. Именно элемент поиска достоверных сведений, по словам автора, является ключевым сообщением ее книги и тем навыком, развитию которого она хотела бы способствовать.

[…] Когда нам нужно принимать решения в условиях недостатка информации (то есть вообще всегда), мы прекрасно умеем ориентироваться на интуитивные представления о хорошем и плохом, оперировать единичными знакомыми нам примерами, идентифицироваться с референтной группой. Все это хорошо, все это обычно работает, именно на это была направлена эволюция нашего мозга. До недавнего времени у человечества не было науки, до совсем недавнего времени не было всеобщего мгновенного доступа к результатам исследований, а действовать-то как-то надо было. Но сейчас наступило светлое будущее. Сейчас нам уже не обязательно принимать важные решения в условиях острого недостатка информации. Всегда найдется исследование, в котором кто-нибудь уже сравнил хотя бы сотню людей, принявших решение А, с сотней людей, принявших решение Б, и выяснил, кто из них в результате оказался более благополучным. Учитывая чужие результаты, мы можем существенно повысить и вероятность собственного удачного выбора, и глупо было бы игнорировать такую возможность.

[…] Можно все что угодно найти и во всем разобраться. Обычно это помогают делать научные журналисты, но мне искренне хотелось бы, чтобы наша роль была вспомогательной, а не ключевой, чтобы люди были склонны разбираться во всех интересных им темах самостоятельно, опираясь на научные источники и только для первичного знакомства с совершенно новыми областями обращались бы к популярным пересказам. Чтобы люди были склонны сомневаться в той информации, которую они получают и не испытывали бы серьезных трудностей при попытках ее перепроверить.

Мне представляется, что общество, в котором принято критически относиться к любой поступающей информации, добилось бы невероятного успеха в процветании, хотя бы благодаря осмысленному распределению ресурсов.

[…] Я убеждена, что мир был бы гораздо лучше, если бы подкрепление любых своих утверждений ссылками на научные исследования превратилось бы в общепринятую норму, в золотой стандарт во время любого холивара. Чтобы любой человек, делающий громкие заявления, немедленно сталкивался бы с вежливой просьбой подкрепить их ссылками на авторитетные источники — и чтобы никто из читателей не воспринимал его слова всерьез в случае неспособности это сделать.

[…] Существует не так много вещей, в которые я верю без ссылок на источники, но вот одна из них: я верю, что навыки поиска и анализа научной информации необходимы каждому человеку. Я верю, что сама привычка к интеллектуальной деятельности меняет мозг в правильном направлении, формирует такие нейронные сети, с которыми гораздо сложнее быть не только глупым, но и злым или несчастным, скучающим или напуганным — просто потому, что мир становится понятнее, а значит, безопаснее и интересней.

[…] Человек, привыкший самостоятельно работать с источниками, становится менее восприимчивым к любым манипуляциям, будь то эмоциональный шантаж или политическая пропаганда. Человек становится более дружелюбным, потому что привыкает интересоваться разнообразием окружающего мира. Человек чувствует себя более уверенно и меньше тревожится, потому что способен структурировать хаотический поток информации, узнавать в нем знакомые фрагменты и сопоставлять разрозненные факты с известными закономерностями и моделями. Жизнь становится более безопасной, потому что чтение научных статей дает возможность объективно оценивать разнообразные риски, с которыми сталкивается человек.

Авторы статьи «Basing information on comprehensive, critically appraised, and up-to-date syntheses of the scientific evidence» определяют два основополагающих принципа создания и применения информации в рамках доказательной медицины:

• Первый принцип заключается в том, что не все наблюдения и эксперименты в равной степени защищены от случайных и систематических ошибок. Это важно учитывать, так как в конечном счете именно от степени защиты от ошибок зависит то, насколько уверенными мы можем быть в точности оценки того или иного эффекта, измеренного в исследовании (вероятность выздоровления, вероятность побочных эффектов и т.д.).
  Исходя из этого, информационные материалы для пациентов должны содержать не только выводы по воду величины тех или иных эффектов, но и оценку уверенности в том, что по мере поступления других данных эти выводы не изменятся.
• Второй принцип заключается в том, что только научных доказательств никогда не достаточно для полного аргументирования клинических решений. Любые научные выводы должны применяться в специфическом биологическом, психологическом и социально-культурном контексте жизни пациента.

Второй принцип — необходимость применения выводов доказательной медицины в контексте целей и ценностей пациента — уже получил широкое освещение в нашей статье Принципы принятия медицинских решений.

Далее мы хотели бы сделать несколько замечаний по поводу первого принципа, а именно по поводу вопроса об источниках, представляющих одновременно и наилучшую из возможных оценок эффекта того или иного вмешательства, и четкие указания по поводу того, в какой степени эти выводы могут быть искажены ошибками.

В своей книге и лекциях Ася Казанцева представляет уже общепринятую среди исследователей, врачей и авторов медицинской информации точку зрения относительно иерархии источников данных, с точки зрения аргументированности представляемых ими оценок различных эффектов, и с точки зрения защиты этих оценок от случайных или систематических ошибок:

1. Систематические обзоры рандомизированных исследований и мета-анализы;
2. Рандомизированные исследования;
3. Контролируемые обсервационные исследования (когортные исследования, исследования случай-контроль, кросс-секционные исследования);
4. Лабораторные исследования и исследования на животных;
5. Неконтролируемые обсервационные исследования (сообщения о клинических случаях);
6. Экспертное мнение;
7. Опыт пациентов.

Эта классификация источников научных данных нередко представляется в виде пирамиды.

Такой формат хорошо передает суть иерархии источников информации. В целом, систематические обзоры и рандомизированные исследования дают более точную оценку эффектов и в наибольшей степени защищены от искажений и ошибок, в то время как личные истории пациентов и мнение отдельных экспертов и врачей часто представляют чрезвычайно искаженные оценки эффектов.

Систематические обзоры заключаются в исчерпывающем поиске наиболее крупных и качественных исследований в той или иной области и в систематическом представлении их результатов. Они позволяют частично компенсировать гетерогенность результатов и недостатки отдельных исследований и потому могут быть особенно полезны, если в соответствующей области уже было проведено множество исследований с различными моделями и выводами.

Систематические обзоры обладают рядом преимуществ:

• Они проводятся с использованием нескольких механизмов защиты от искажений, в том числе включают оценку качества отдельных исследований на основе присутствия или отсутствия таких элементов, как качественная рандомизация, ослепление, и пр.
• Авторы этих обзоров публикуют методологию работы, которая может быть проверена и повторена другими исследователями;
• Систематические обзоры обобщают выводы относительно эффектов разных вмешательств и указывают степень надежности этой оценки, которая формируется при учете таких факторов, как:
  • вероятность искажения за счет публикации исследований с подходящими результатами и сокрытия исследований с неподходящими результатами (publication bias),
  • сопоставимость результатов разных исследований,
  • ширина доверительных интервалов оценок эффектов,
  • возможность экстраполяции выводов исследований на другие группы пациентов и пр.

Несмотря на несколько механизмов защиты, качество выводов систематических обзоров и мета-анализов находится в прямой зависимости от качества исследований, проведенных в той или иной области. Обобщение результатов множества исследований низкого качества может привести к формулировке неверных выводов. Кроме того, возможность обобщения результатов разных исследований в систематических обзорах нередко является ограниченной.

Например, выводы систематических обзоров в области соотношения пользы и вреда от проведения профилактической маммографии до сих пор остаются спорными. Авторы крупнейших мета-анализов в области ПСА скрининга выражают сомнения по поводу возможности обобщения результатов исследований, учитывая их методологические различия.

Систематические обзоры рандомизированных исследований могут быть хорошим источником информации относительно эффективности и/или безопасности тех или иных медицинских товаров или услуг (лекарственных препаратов, прививок, скрининга). Однако во многих областях медицины, в которых качественные исследования еще не были проведены, систематические обзоры рандомизированных исследований отсутствуют.

Основные ограничения систематических обзоров заключаются в следующем:

1. Систематические обзоры и мета-анализы обычно не содержат информацию о причинах и симптомах болезни, о тенденции развития болезни без лечения, о том в чем заключаются все возможные методы лечения и обследования при данной проблеме и другую информацию, которая может представлять большой практический интерес для пациентов. В этом отношении более ценными источниками информации могут быть клинические руководства для специалистов, составленные на основе обширного обзора литературы (а не консенсуса экспертов).

2. В некоторых специфических вопросах, систематические обзоры (в том числе, обзоры рандомизированных исследований) могут уступать по релевантности некоторым другим источникам информации.
   Например, наилучшими источниками ответа на вопрос «Насколько распространенной является та или иная проблема?» являются не систематически обзоры, а актуальные местные эпидемиологические исследования, проведенные на случайных выборках.
   Наилучшими источниками ответа на вопрос «Является ли данный метод диагностики или мониторинга точным?» могут быть не систематические обзоры рандомизированных исследований, а обзоры кросс-секционных исследований с адекватным применением референтных стандартов и ослеплением.

Более подробное объяснение релевантности разных источников в плане ответа на те или иные вопросы можно найти в документах OCEBM Levels of Evidence Working Group*. “The Oxford Levels of Evidence 2”.
Oxford Centre for Evidence-Based Medicine. http://www.cebm.net/index.aspx?o=5653

*OCEBM Levels of Evidence Working Group = Jeremy Howick, Iain Chalmers (James Lind Library), Paul Glasziou, Trish Greenhalgh, Carl Heneghan, Alessandro Liberati, Ivan Moschetti, Bob Phillips, Hazel Thornton, Olive Goddard and Mary Hodgkinson

В своей книге Ася Казанцева дает читателям несколько полезных советов относительно оценки качества любой публикации.

В добавление к этим советам мы можем предложить читателям использовать инструмент Understanding Health Research, позволяющий составить весьма точное представление о разных критериях оценки научной публикации и о том, почему эти критерии имеют значение.

Нужно признать, что в настоящее время существует чрезвычайное количество научной информации (в том числе качественной), и что объем информации постоянно возрастает. Лишь небольшая часть из этой информации является практически ориентированной, в то время как бóльшую часть составляют предварительные сведения, представляющие большой интерес для исследователей, но не для пациентов.
Чтобы сэкономить время и силы, мы рекомендуем читателям ознакомиться с эффективными тактиками, предложенными авторами David C. Slawson, Allen F. Shaughnessy, и Joshua H. Bennett в их замечательных статьях:

• Becoming a Medical Information Master: Feeling Good About Not Knowing Everything
• Becoming a Medical Information Master: A Guidebook to the Medical Information Jungle

Авторы этих статей предлагают читателям научиться видеть различие между данными (data), информацией (information), знаниями (knowledge) и клинической мудростью (wisdom) и сосредоточить внимание на источниках, ориентированных на исходы, важные с точки зрения пациентов (увеличение продолжительности и/или качества жизни, patient-oriented evidence that matters, POEM).

Нужно обратить внимание и на тот факт, что для толкования найденной научной информации читателям могут пригодиться базовые навыки статистической грамотности и принятия медицинских решений. Мы представили обзор этих навыков в статьях

• Частые ошибки в толковании медицинской информации и возможности избежать их
• Принципы принятия медицинских решений для пациентов и их семей

Наконец, как для принятия медицинских решений, так и для принятия решений в других сферах жизни, читателям будет полезно ознакомиться с возможностями преодоления систематических ошибок мышления, представленных в книге Д. Канемана «Думай медленно … Решай быстро».