Научные подтасовки и передергивания
Mar. 5th, 2015 04:46 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mary_spiriВ свете бесконечных обсуждений столь же бесконечных скандалов вокруг научных подтасовок, хочется внести и свою скромную лепту, не в подтасовки, а в обсуждения. Ибо после 30 лет, проведенных в научной и около-научной деятельности, историй хватает. Однако для начала меня интересует точное определение научной подтасовки. Вот например убрать точку из графика? Вроде как ничего особенного, ну выпала, уберем. А две точки? А если один из контролей вылетел, надо ли выбрасывать все остальное? А вот более тонкий случай. В тот момент я работала в компании, и меня попросили помочь одной тетке-клиенту проанализировать данные. Тетка, кстати, была из национальной лаборатории (Лоренс Ливермор) в Беркли (Калифорния), место знаменитое. Проект был интересный: в аквариум с мальками рыбки-зебры капали андрогены, вещества, способствующие развитию мужских половых признаков, а после смотрели, как меняется экспрессия 6 тысяч разных генов (мальков собирали через определенное время обработки, перемалывали в труху, выделяли РНК, и далее со всеми остановками до получения данных). Моя задача была взять конечные цифровые данные и обработать их так, чтобы выявить гены, участвующие в мужском развитии мальков. Вроде как все просто-понятно-примитивно, тетке самой не хотелось возиться, не царское это дело, а наши перед ней бегали на цирлах, ибо надеялись на массовые закупки материалов для проекта. Вот и сбросили данные мне. Тетка, как положено, сделала все в трех повторах, каждый раз контрольный и тестовый аквариумы, по 2 сотни мальков в каждом и т.д. Для начала, я быстренько посчитала самые крупные и явные изменения, и очень удивилась: от эксперимента к эксперименту вылезали совершено разные гены, в каждом конкретном случае картина четкая, но, блин, очень уж разная. И тут я решила сравнить контрольные аквариумы, куда ничего не доливали. Увы, контроль необработанных мальков от эксперимента к эксперименту отличался гораздо сильнее, чем контроль от теста в одном и том же эксперименте. Эти ребята явно не в силах были добиться воспроизводимости даже с необработанными мальками, уж не знаю, почему, забывали их покормить, или какие-нибудь микробы в аквариуме росли? Я подготовила подробный отчет с горой картинок и расчетов, отослала тетке, и получила мордой об стол: гневную жалобу на мою некомпетентность. К счастью, мое начальство догадалось прочесть отчет и тут же согласилось со мной. А тетка еще через полгода мне злорадно написала, что она нашла у себя в Беркли "настоящего биоинформатика", который ей нашел "статистически достоверную разницу", они написали статью, и статью эту приняли в печать. Я ее вежливо поздравила, и искренно порадовалась, что моего имени на этой статье нет. Кстати, для статьи они выбрали один из трех эскериментов с наиболее выраженными отличиями теста от контроля, написали скромно, что все эксперименты проводили в трипликате (без деталей), а изменчивость между контролями анализировать не стали. С одной стороны, данные они вроде как не изменяли, а с другой - это для меня выглядит как совершенно откровенная подтасовка, ибо все неудобное было проигнорировано.
Не могу сказать, что это уж такая редкая история. Пару недель назад мне прислали черновик статьи с просьбой помочь-дописать-поучаствовать за соавторство. Вполне нормальная практика, и ребята эти хорошо знакомые, обычно дуру не гонят. Проект похож на мой собственный, были собраны 5-литровые образцы воды реки Колумбия, из каждого собраны все микробы (на фильтре), из них выделили ДНК и отсиквенировали (прочли последовательность нуклеотидов). Образцы собирали по градиенту солености, всего 5: от солености в 0 условных единиц, до океанической (33 условные единицы), идея была посмотреть, что произойдет с пресноводной микрофлорой при смешивании с соленой водой и наоборот (эти процессы постоянно случаются в эстуарии при приливах-отливах). Конечный вывод статьи был длинный лист мелких изменений, вроде как связанных с соленостью. Однако же просто читать статью - скучно, мне надо с данными поиграть. И тут в процессе я с интересом вижу, что в одном из образцов посередине градиента солености наблюдается охренительное количество диатомовых водорослей. Не знаю, как эти ребята ухитрились проглядеть такое цветение воды, похоже, они смотрели только на бактерии, а не на водоросли. Плюс к тому, образцы отфильтровывали от крупных частиц, чтобы сфокусироваться на бактериях. И все бы хорошо, однако оказалось, что целая большая и важная группа бактерий, пожирающих биомассу фитопланктона, была отфильтрована вместе с крупными частицами и отсутствует в образце. И вообще цветение воды довольно сильно меняет состав бактерий. А значит в дополнение к солености есть еще один фактор изменчивости, цветение, который может оказывать гораздо более сильное воздействие, и который при этом совершенно не учитывается в анализе. В общем, после долгого чесания репы на предмет политичекий химии в нашем центре, я во-первых доделала свой собственный анализ (неделя времени), во-вторых, отказалась быть соавтором в статье, а в-третьих, послала им свои результаты, пригласив их соавторами в свою следующую статью, которую я, может быть, напишу на основе их данных. Если они люди приличные, то получив мои результаты, им надо свою статью выбросить в помойку и начать писать новую по моему анализу. Но учитывая политику с экономикой, наиболее вероятный результат будет сначала их публикация заведомо неправильно проанализированных и интерпретированных данных без меня, а потом еще раз то же самое, но в совсем новом свете, уже со мной. При условии, что у меня будет время всем этим заниматься, что крайне маловероятно. Плюс мне еще будет крайне противно этим заниматься, ибо уровень уважения в такой ситуации падает ниже плинтуса, так что я буду всеми силами избегать подобного развития сюжета. Ибо это есть тоже подтасовка, когда ты знаешь, что туфта, и все равно публикуешь.
Не могу сказать, что это уж такая редкая история. Пару недель назад мне прислали черновик статьи с просьбой помочь-дописать-поучаствовать за соавторство. Вполне нормальная практика, и ребята эти хорошо знакомые, обычно дуру не гонят. Проект похож на мой собственный, были собраны 5-литровые образцы воды реки Колумбия, из каждого собраны все микробы (на фильтре), из них выделили ДНК и отсиквенировали (прочли последовательность нуклеотидов). Образцы собирали по градиенту солености, всего 5: от солености в 0 условных единиц, до океанической (33 условные единицы), идея была посмотреть, что произойдет с пресноводной микрофлорой при смешивании с соленой водой и наоборот (эти процессы постоянно случаются в эстуарии при приливах-отливах). Конечный вывод статьи был длинный лист мелких изменений, вроде как связанных с соленостью. Однако же просто читать статью - скучно, мне надо с данными поиграть. И тут в процессе я с интересом вижу, что в одном из образцов посередине градиента солености наблюдается охренительное количество диатомовых водорослей. Не знаю, как эти ребята ухитрились проглядеть такое цветение воды, похоже, они смотрели только на бактерии, а не на водоросли. Плюс к тому, образцы отфильтровывали от крупных частиц, чтобы сфокусироваться на бактериях. И все бы хорошо, однако оказалось, что целая большая и важная группа бактерий, пожирающих биомассу фитопланктона, была отфильтрована вместе с крупными частицами и отсутствует в образце. И вообще цветение воды довольно сильно меняет состав бактерий. А значит в дополнение к солености есть еще один фактор изменчивости, цветение, который может оказывать гораздо более сильное воздействие, и который при этом совершенно не учитывается в анализе. В общем, после долгого чесания репы на предмет политичекий химии в нашем центре, я во-первых доделала свой собственный анализ (неделя времени), во-вторых, отказалась быть соавтором в статье, а в-третьих, послала им свои результаты, пригласив их соавторами в свою следующую статью, которую я, может быть, напишу на основе их данных. Если они люди приличные, то получив мои результаты, им надо свою статью выбросить в помойку и начать писать новую по моему анализу. Но учитывая политику с экономикой, наиболее вероятный результат будет сначала их публикация заведомо неправильно проанализированных и интерпретированных данных без меня, а потом еще раз то же самое, но в совсем новом свете, уже со мной. При условии, что у меня будет время всем этим заниматься, что крайне маловероятно. Плюс мне еще будет крайне противно этим заниматься, ибо уровень уважения в такой ситуации падает ниже плинтуса, так что я буду всеми силами избегать подобного развития сюжета. Ибо это есть тоже подтасовка, когда ты знаешь, что туфта, и все равно публикуешь.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2015-03-06 01:53 am (UTC)no subject
Date: 2015-03-06 04:21 am (UTC)У нас это тоже есть, тут мы используем закон больших чисел. Пока повторов много, большая часть бесконечных контролей работает, все более менее ОК, можно выкинуть часть данных. Начальство дело сложное, мое давно руками не работает, разучилось, но хочет, чтобы было красиво. Приходится без конца объяснять, до тошноты, до рвоты. Оно все равно понимать не хочет, и из года в год требует по тому же сценарию. Поэтому когда мне делается очень лень работать, я сама себе говорю - осторожнее, паши, иначе козленочком станешь. Впрочем нынешнее мое начальство грех ругать, оно не попадает ни в топ три самых плохих, ни самых хороших в моей карьере.