#рецензирование после публикации

[chrdkru]

Cмотри, какая дичь .

В этой статье мы не будем писать про астрологию, гомеопатию, экстрасенсорику, вечные двигатели и теории о том, что высадку астронавтов на Луне снимали в голливудском павильоне. Телегония, «Велесова книга», память воды — это всё та ерунда, которую в августе 2019 года всерьез рассматривать уже как-то и неприлично. В Интернете вы найдете много и критических разборов, и культурологических комментариев на любой вкус по всем вышеперечисленным поводам.

Где?

Первым и самым надежным признаком чуши является то, что она не опубликована в научном журнале. Также о ней не рассказано на научной конференции, и про неё даже не пишут официальные сайты научных организаций. 

Здесь надо сразу объяснить, чем научные журналы отличаются от всех прочих.

Научный журнал — это не просто журнал о науке. При всем нашем уважении к коллегам, «Наука и жизнь», «Популярная механика», «Вокруг света» или «Кот Шредингера» — журналы не научные, а научно-популярные. И даже крупнейшие по тиражу газеты с рубрикой «Наука» — тоже не научные издания. В научном журнале статьи обязательно подвергаются рецензированию.

Рецензирование означает, что присланные в редакцию рукописи не просто рассматриваются редакторами, но направляются на экспертизу другим ученым (работающим примерно в той же области). Те читают предложенный материал и далее либо рекомендуют его к публикации, либо указывают на недоработки (тогда авторы могут попробовать исправить и подать статью снова), либо вовсе отклоняют текст. В роли рецензентов — если это хороший научный журнал — выступают специалисты, которые хорошо знают свою область, и поэтому откровенная чепуха в такие журналы попасть не может.

Конечно,  система иногда дает сбои. Рецензентов, например, могут обмануть, поскольку и среди ученых иногда (редко) встречаются мошенники, не гнушающиеся подделать результаты экспериментов. Известны истории людей, умудрявшихся сначала заработать солидную репутацию, а потом пойманных за руку на систематическом вранье коллегам со страниц самых уважаемых журналов — однако это скорее исключения, а не правила. 

Кроме того, есть так называемые «хищнические журналы». Будучи формально «научными, они готовы публиковать любой оплаченный авторами текст, и в них могут появляться очень плохие статьи; однако и репутация у таких изданий соответствующая — на них практически не ссылаются и там не появляются материалы от состоявшихся исследователей.

Кстати, сама по себе практика, при которой за публикацию платят сами авторы — вполне обычное дело; так делает, например, группа журналов PLoS, которые зато бесплатны для всех читателей. Кроме того, редакцию журнала и рецензентов можно обмануть, предложив для публикации статью, написанную на основе сфабрикованных данные: однако в целом публикации в специальных научных изданиях оказываются обычно достовернее того, что к публикации не приняли. 

Если кто-то заявляет, к примеру, что расшифровал линейное письмо минойской цивилизации, создал работающи�� при комнатной температуре сверхпроводник, нашел жизнь на Марсе или живого мамонта в Сибири — это все сообщения, которые с радостью напечатают крупнейшие научные журналы мира. Когда про это пишут исключительно на личном сайте первооткрывателя или в газете «Вечерний Благозаветовск» — это почти наверняка псевдонаука. 

Чек-лист

1. Журнал рецензируемый или нет? Если нет, это плохой знак.

2. Насколько журнал известен? Научные журналы обычно указывают так называемый импакт-фактор: среднее число цитирований статьи, опубликованной на их страницах. У самых известных (Science и Nature) этот показатель около сорока, российские «Успехи физических наук» имеют импакт-фактор в районе трех, а многие узкопрофильные издания набирают немногим меньше единицы. Однако если импакт-фактор равен примерно нулю, это обычно плохой знак.

Иногда о каких-то открытиях сообщают не в журналах, а на конференциях. Это обычно касается всего, что связано с наблюдениями или опытами: археологи так могут представить публике ранее неизвестную находку, медики рассказать об уникальной операции, а астрономы — сообщить об обнаружении на Марсе жидкой воды. Когда открытие наглядно и понятно с первого взгляда хотя бы специалистам, про него уместно сообщить в такой форме, однако если речь идет о какой-то теоретической работе, то отсутствие статьи выглядит очень тревожным знаком. Более того, даже после доклада на конференции по-настоящему важные открытия обязательно публикуют в журналах, ведь надо о них как-то узнать тем, кто на конференцию не попал! Искать информацию в журнале гораздо проще, чем в сборнике докладов.

Кто?

Ученые отличаются от псевдоученых не только тем, что читают научные журналы, пишут туда статьи и рецензируют их. Главный критерий (по крайней мере для нас) — это признание сообществом: если некто называет себя физиком, то это значит то, что другие физики согласны его считать таковым. Формально это признание проявляется в наличии диплома и места работы, а неформально — в том, могут ли признанные исследователи согласится назвать данного человека своим коллегой по специальности.

Разумеется, среди ученых есть разные группы, которые могут придерживаться разных взглядов. На вопрос «чем на самом деле является темная материя?» или «как на Земле образовалась жизнь?» разные ученые склонны отвечать по-разному, но при этом они в абсол��тном большинстве случаев признают друг друга именно как ученых. Альберт Эйнштейн, например, до конца не верил в полноту квантовой теории, однако он прекрасно ее знал — и, более того, получил Нобелевскую премию по физике не за теорию относительности, а за квантовое объяснение фотоэффекта. Изучавший же тот самый фотоэффект экспериментально Александр Столетов в своей работе довольно резко оппонировал другому исследователю, но при этом он признавал его в качестве экспериментатора, коллеги, имеющему право на свое мнение.

Если автора нового «открытия» не знает никто из давно занимающихся этой темой специалистов, если он (или она) нигде не работает — это очень очень плохой знак. Также должно настораживать членство в сомнительных организациях: скажем, «Международная академия информатизации» — это, как свидетельствовал Эдуард Кругляков, председатель комиссии по борьбе с лженаукой Российской академии наук, на самом деле — бывшая Мосгорсправка, справочное бюро. А в РАЕН (Российской академии естественных наук) числились как ученые, так и откровенно сомнительные личности вроде Николая Левашова, известного своими высказываниями в духе «за евреями стоит космическая паразитическая система». Или печально известного Виктора Петрика.

Ученые также отличаются специализацией: геологи обычно не занимаются физикой элементарных частиц, а ихтиологи изучают рыб, а не индоевропейские языки. Если человек занимался всю жизнь молекулярной биологией, это еще не делает его специалистом по истории Второй мировой - и, напротив, историк вряд ли хорошо разбирается в генной инженерии. С учетом этого дополнения нашего чек-листа будут выглядеть вот так:

3. Авторы открытия работают в каком-либо научном учреждении?

4. Они ранее занимались той темой, о которой говорят сейчас?

5. Их компетенцию могут подтвердить другие ученые?

Идеально, когда у вас (как у журналиста, например) есть возможность связаться с кем-нибудь из специалистов в этой области и попросить независимый комментарий. Но если такой возможности нет, для отделения чуши от сенсации можно использовать просто  выпускников профильного вуза. Как правило, псевдонаучная ерунда видна уже после базового образования: это либо грубые фактологические ошибки, либо заведомо неправильные формулы.

Как?

Заметим, что не выдерживающие никакой критики статьи бывают иногда в профильных изданиях. Так, в «Докладах академии наук СССР» за 1989 год была напечатана статья «Макрокластеры и сверхлегкие частицы» Анатолия Охатрина. Разбирая ее, физики Евгений Александров и Алексей Ансельм отметили следующее: «В статье пять формул из семи не удовлетворяют раз­мерности». Это значит, что в формуле, которая должна вычислять массу в килограммах, ответ получается в единицах измерения чего-то иного — например, в метрах или амперах. 

Другой, более новый пример —публикация Василия Жукова в «Социологических исследованиях». Формально статья удовлетворяет всем критериям качественной: автор является не просто социологом, но и академиком РАН, журнал считается одним из ведущих российских социологических изданий — однако внутри текста говорится, например, о том, что «в цивилизованном мире только одна беременность из трех заканчивается родами» и «абортами заканчиваются 60 первых беременностей из 100». Оба этих утверждения были неверны в принципе и не выдерживали, например, сопоставления с информацией Минздрава РФ.

Иной случай: на страницах Scientific Reports — а у этого журнала очень неплохая репутация уже в международном масштабе  появилась статья, авторы которой изучали свойства экстракта токсикодендрона пушистого, известного также под названием ядовитого дуба. Это была бы вполне обычная работа, если бы вещество не проявляло (по утверждению ученых) своих свойств в концентрации около 10-31. То есть при разведении до степени «одна молекула на плавательный бассейн». С точки зрения элементарной биофизики это либо бессмысленно (хотя бы потому, что вероятность одной этой молекуле попасть в живую клетку н��чтожно мала, да и одной молекулы никогда не бывает достаточно для физиологически значимого результата), либо указывает на какие-то фундаментальные изъяны в нашей картине мира — однако авторы не стали детально разбираться, в чем же было дело.

Статью спустя некоторое время (почти год) отозвали, то есть признали ошибочной. В комментарии к отзыву материала редакция журнала также отметила, что часть графиков дублировала друг друга (чего не предполагалось), а данные о подопытных крысах были неполны и недостаточны. Почему это вообще прошло рецензентов — вопрос, который весьма интересен, но, увы, пока не имеет ответа. 

Поэтому проверочный список стоит расширить:

6. Делаются ли в статье утверждения, противоречащие уже известной информации или устоявшимся теориям?

7. Нет ли грубых ошибок в фактах и формулах?

Опровержение устоявшихся представлений — неотъемлемая часть науки. Однако когда настоящие ученые что-то пересматривают, они всегда делают это очень аккуратно и последовательно. Данные должны быть представлены по возможности полно и со ссылками на источники, если их добыл кто-то другой. Говоря о числе абортов в мире, надо указать ссылку на источник информации, а все явно аномальные эффекты должны быть всесторонне изучены. 

В 2011 году международная группа физиков OPERA обнаружила, что пучок нейтрино долетает от женевского ускорителя до итальянской подземной обсерватории Гран-Сассо быстрее скорости света. Ученые опубликовали эти данные, но честно добавили, что, по всей видимости, где-то закралась ошибка. Спустя некоторое время ученые все-таки выяснили, что аномальная скорость объяснялась сбоем в работе одного из приборов (там разболтал��я разъем для оптоволоконного кабеля), и в итоге сенсации не состоялось. Аккуратность и добросовестность избавили физиков от конфуза: а если бы те сразу написали «мы опровергли теорию относительности», то потом им- было бы очень стыдно и неловко.

Физики, которые ведут охоту за новыми частицами на ускорителях вроде Большого адронного коллайдера, тоже часто публикуют предварительные заявления вида «у нас наметилась аномалия со статистической значимостью столько-то». Иногда это предвестники большого открытия, а иногда эффект исчезает после набора дополнительной статистики  и это нормально, пока никто не бросается с места говорить о новой физике. 

https://ift.tt/2ZfS6Fr

[shperk]

Тысячная избранная статья. Как устроено рецензирование в Википедии

Вообще, Википедия научила меня обращаться с источниками гораздо лучше чем два года в аспирантуре. Авторитетность источника определяется двумя вещами: кто автор и кто публикует (отвечает за материал и рецензирует). Скажем, пишем раздел о том, как фильм был воспринят кинокритиками. Кто для этого раздела будет авторитетным источником? Можно ли вставить туда мнение Гоблина-Пучкова или Bad Comedian’a? Начинаем читать правила, попутно общаясь с другими авторами статей о кино. Приходим к выводу, что более авторитетными критиками считаются участники гильдий и союзов кинематографистов, колумнисты по теме кино и штатные кинообозреватели давно существующих изданий, ну и, разумеется люди, имеющие публикации в академических журналах по киноведению: Искусство кино, Киноведческие записки, Сеанс. Еще интереснее, когда речь заходит об авторитетных источниках в области истории. Так например, если заслуженный киновед начнет рассуждать об исторической основе фильма, его слова можно спокойно пропускать мимо ушей — он вышел за пределы своей области экспертизы. Для себя я выработал своеобразную шкалу авторитетности источников (см. также руководство в английской википедии): Является источник первичным или вторичным? Мемуары вашего дедушки (или товарища Жукова) или справка-доклад генпрокуратуры СССР — это первичные источники. Это сырой материал, в котором должны разбираться историки: сверять с другими документами, выявлять противоречия и пр. После того, как историк это сделает, он публикует статью в академическом журнале — и это-то и является нашей основной опорой. Использовать первичку в википедии крайне не рекомендуется, так как это часто приравнивается к запрещенным оригинальным исследованиям. Для вторичных источников мы можем посмотреть на следующие факторы. Имеет ли автор публикации в ВАКовских журналах по истории? Имеет ли автор профильное историческое образование? Где было высказано мнение? В своем блоге или нерецензируемой книге? Значит, никто его не проверял, и уровень доверия должен быть минимальным. В СМИ или в интервью кому-либо? Уже лучше, особенно если уровень издания федеральный. Есть вероятность, что откровенную глупость не пропустят в редакции, но немалый риск, что издание будет искусственно нагнетать градус сенсационности — достаточно вспомнить канал RenTV. Со СМИ стоит обращаться крайне осторожно, ведь их цель — не поиск истины, а скорее донесение позиции редакции. На сайте академической организации, такой как Российская Академия Наук? Неплохо, ведь если сказать необоснованную отсебятину там, репутационные риски понесет вся академия. В рецензируемой статье или рецензируемой монографии? Идеально, можно ссылаться без опаски, но предварительно проверить, где эта статья цитируется — возможно, в других статьях будет опровержение, уточнение или критика вашего источника. ELibrary и Google Scholar — лучшие помощники в поиске информации, если вы пишете по-русски, для английского раздела поисковиков гораздо больше. Доступен ли источник для проверки? Бумажная книга — это не так хорошо, как доступная в электронном виде публикация. Если источник большой (например, трехсотстраничный кирпич), то совершенно необходимо сослаться на конкретную страницу и привести оттуда цитату. На этапе выдвижения статьи на статус Хорошей каждая фраза, содержащая какой-либо значимый факт, должна быть подкреплена ссылкой на хороший авторитетный источник. Сам список источников к этому моменту, скорее всего, разрастется до невообразимых масштабов. from Facebook http://ift.tt/2p4V2nW via IFTTT

[chrdkru]

STAT: на счету создателя ГМО-детей уже есть отвергнутая статья о редактуре эмбрионов человека.

26 ноября китайский биолог Хэ Цзянькуй объявил о рождении первых генетических модифицированных детей, которых он якобы сделал устойчивыми к ВИЧ. Его заявление было воспринято научным сообществом крайне неоднозначно: кто-то полагает, что технология редактирования еще не готова к применению у ��ародышей, а кто-то наоборот, считает, что это должно было произойти. Но, так или иначе, множество методологических вопросов пока остаются без ответа. Например, как подтвердить, что дети действительно устойчивы к ВИЧ? Насколько точным оказалось редактирование и насколько точны наши методы, позволяющие это проверить? Корректным ли способом ученый получил согласие родителей детей на проведение редактирования и как выработать этическую позицию общества по отношению к таким экспериментам?

Многие из этих вопросов было бы проще обсуждать, имея перед глазами подробное описание эксперимента. Сейчас нам доступны только слайды из презентации Хэ с саммита в Гонконге, на которых лишь разрозненные данные и никаких технологических деталей. Поэтому все с нетерпением ждут статью, которую, по словам Хэ, он уже отправил в научный журнал.

Скриншот из трансляции выступления Хэ в Гонконге, на саммите по редактированию генома человека

Теперь же портал STAT выяснил о том, что предыдущую статью Хэ, в которой речь еще не шла о рождении ГМО-детей, не приняли к публикации. Статья была посвящена редактированию гена PSK9, связанного с риском гиперхолестеринемии, в эмбрионах мышей, обезьян и человека.

Хэ отправил ее на рецензирование 2 октября, а 17 ноября, за полторы недели до своего заявления о рождении первых ГМ-детей на планете, получил отказ. По словам собеседников STAT (пожелавших остаться анонимными), научных рецензентов смутили не только этическая сторона экспериментов Хэ, но само по себе качество научной работы китайского ученого.

Во-первых, эксперты сочли, что Хэ недостаточно обосновал медицинскую необходимость редактирования гена PSK9. В клиниках обычно используют преимплантационную генетическую диагностику эмбрионов, чтобы отобрать те, которые не несут мутаций. Поэтому в модификации генов нет строгой необходимости — как, кстати, и в случае с ГМО-детьми: там половые клетки, вероятно, достаточно было просто отмыть от вирусных частиц.

Во-вторых, непонятно, откуда команда Хэ брала эмбрионы для экспериментов. В тексте статьи указано, что их предоставили экспериментаторам клиники, которые занимаются экстракорпоральным оплодотворением — в ходе процедуры обычно создают больше эмбрионов, чем нужно, и после трансплантации у медиков остаются «лишние». В то же время, редактирование проводилось «в возрасте 18 часов», что крайне мало для эмбрионов из клиники — обычно их передают ученым через несколько дней после оплодотворения.

В-третьих, в статье приведены фотографии только зародышей мыши. Неизвестно, что помешало приложить снимки зародышей обезьяны и человека — и можно ли в таком случае ве��ить остальному тексту статьи.

В-четвертых, рецензентов не устроило доказательство того, что редактирование прошло аккуратно и без побочных эффектов. Хэ проверил ДНК зародышей только на 30 возможных побочных мишеней, которые предсказал его алгоритм. Что при этом произошло в остальных участках ДНК, статья не сообщает.

Наконец, в-пятых, результаты секвенирования ДНК зародышей указывают на мозаицизм, то есть в одних клетках редактирование прошло успешно, а в других — нет.

Ученые, внимательно изучившие слайды презентации Хэ, подозревают, что это произошло и с ГМО-детьми, и они тоже родились мозаичными. В такой ситуации нельзя говорить об излечении или предотвращении заболевания.

В свете новых данных имеет смысл задуматься: есть ли у нас шансы когда-либо увидеть опубликованной статью Хэ о ГМО-детях? Коль скоро предыдущая работа, содержащая гораздо меньше спорных мест (как минимум, с этической стороны), показалась издателям неприемлемой, что же будет со следующей статьей? STAT приводит слова редактора журнала Science Джереми Берга, который отказался рассказать, посылал ли Хэ статью в его журнал. «Учитывая множество этических сложностей, связанных с этой ситуацией, вероятность, что мы приняли бы ее [статью] на рассмотрение, крайне мала».

У сообщества есть идеи того, как выйти из этого положения: например, призвать Хэ опубликовать препринт текста, но отказать ученому в том, чтобы опубликовать статью в научном журнале. Так сообщество получит возможность познакомиться с техническими подробностями эксперимента Хэ, но и не будет вынуждено делать исключение и пропускать в печать работу, уже нарушившую множество правил, регулирующих научную деятельность.

https://ift.tt/2L8NdZf