Таймкоды
00:00 Введение и критика импакт-фактора
- Автор обсуждает критику в комментариях к его обзору дебатов между Владимиром Алиповым и Вадимом Каспаровым.
- Утверждается, что импакт-фактор журналов имеет значение только после десяти.
- Автор показывает исследования, опровергающие эту зависимость.
01:17 Исследование зависимости импакт-фактора и качества исследований
- Автор проводит собственное исследование и не находит статистически значимой зависимости между мощностью исследования и импакт-фактором журнала.
- Риск предвзятости увеличивается с ростом импакт-фактора журнала в исследованиях по генетике.
- Топовые журналы реже публикуют реплицируемые работы, что увеличивает риск предвзятости.
02:54 Проблемы с рандомизацией и ошибками в дополнительных материалах
- Рандомизация и ослепление хуже в журналах с высоким импакт-фактором.
- Ошибки в дополнительных материалах чаще встречаются в топовых журналах.
- Вероятность ошибок в подсчете p-value коррелирует с импакт-фактором.
03:41 Заключение и выводы
- Данные указывают на ухудшение качества журналов с ростом импакт-фактора.
- Журналы с высоким импакт-фактором имеют монополию и публикуют работы для хайпа.
- Автор рекомендует с большим скепсисом относиться к исследованиям, опубликованным в таких журналах.
Ссылки на таймкоды в Нейросети YandexGPT https://300.ya.ru/v_EVerYurn
Расшифровка видео
0:00
после того как я выпустил свой большой
0:02
обзор на дебаты между Владимиром алипом
0:05
и Вадимом каспаровым единственная
0:08
предъява которая была сформирована
0:11
несколькими людьми в комментариях Это
0:13
буквально единственная предъява на
0:15
которую не было отвечено уже в видео это
0:18
что импакт-фактор журналов стоит
0:21
рассматривать только после дети то есть
0:24
всё что до 10 вообще никакого значения
0:26
не имеет всё это не интересно нам и так
0:28
далее для тех из вас Кто не смотрел эти
0:31
дебаты там в какой-то момент в самом
0:33
начале Владимир Липов упомянул что
0:35
импакт-фактор у некоторых журналов
0:38
внутри которых были опубликованы
0:40
упоминаемые Вадимом исследования типа
0:43
очень низкий и соответственно их не
0:45
нужно принимать на вооружение и я тогда
0:47
сказал показал несколько исследований
0:49
где нет никакой зависимости между Импакт
0:51
фактором и качеством исследований
0:53
которые опубликованы внутри такого
0:55
журнала Но все эти исследования так или
0:57
иначе отсылать на данные о журналах где
1:00
Импакт фактор меньше десяти Ну или не
1:02
сильно больше десяти Вот и как бы люди
1:05
пришли ко мне которые видимо из Академии
1:07
и они значит начали мне очень активно
1:09
доказывать что знаешь дружище только
1:11
после десяти то есть всё что ниже десяти
1:13
это позор Вот только после выше десяти
1:15
тогда уже можно рассмотреть Ну я как вы
1:17
понимаете пошёл ресерч эту тему и я её
1:21
на ресерч Давайте же посмотрим что я
1:23
нашёл во-первых не существует
1:25
зависимости статистически значимой между
1:28
мощностью исследования и Импакт фактором
1:30
журнала и здесь мы видим даже
1:31
импакт-фактор 60 Ну или чуть меньше 6ти
1:35
соответственно её буквально не
1:36
существует её нельзя заметить ни
1:38
визуально ни статистически Почему я
1:40
упоминаю мощность исследований потому
1:42
что один из самых важных тейков в этих
1:44
дебатах со стороны Владимира была
1:46
мощность исследования посмотрим на
1:48
другие данные например мы увидим что
1:49
риск предвзятости статистически значимо
1:52
увеличивается с ростом Импакт фактора
1:53
журнала в исследованиях о генетике
1:55
например и здесь мы видим что данные
1:57
доходят до практически
1:58
24-25 в общем-то топовые журналы по типу
2:01
Nature в эту категорию входят то есть мы
2:04
видим не только не Улучшение качества
2:06
исследований которое опубликованы внутри
2:08
но некоторое ухудшение даже то есть мы
2:10
видим увеличение риска предвзятости
2:12
точно также можно сказать что наиболее
2:14
крутые журналы реже производят работы
2:16
которые реплицируемый
2:21
журналы как Cell Science и так далее они
2:25
обнаруживают а зачастую менее
2:28
реплицируемый работы что конечно нас
2:30
должно удивить но с другой стороны нет
2:32
потому что я это не упоминал в своём
2:35
обзоре но как бы вот эти топовые
2:37
супер-мега крутые журналы они зачастую
2:40
публикуют такие работы которые на делают
2:43
шума и это конечно увеличивает риск
2:44
предвзятости и конечно рандомизация и
2:48
ослепление тоже скорее наблюдает
2:50
негативную корреляцию с Импакт фактором
2:54
то есть рандомизация ослепления хуже в
2:56
журналах с более высоким импак фактором
2:58
в исследованиях о животных inv viiv но
3:01
здесь мы к сожалению опять же видим
3:02
данные только до 10 но как бы тренд
3:06
здесь явно не положительный и конечно
3:08
вот такой скажем последний гвоздь в гроб
3:12
вот этого тейка про ипак фактор это что
3:14
ошибки в дополнительных материалах чаще
3:16
встречаются именно в топовых журналах и
3:18
мы здесь буквально видим что Nature
3:20
больше всего ошибок обнаруживает в
3:23
общем-то есть ещ такая вот интересная
3:25
штука что вероятность ошибок в почте P
3:29
что является принципиальным значением
3:31
при оценке качества работы так вот
3:32
вероятность ошибок в по счёте P value
3:35
коррелирует с Импакт фактором ну здесь
3:37
мы данные видим только шестнадцатый
3:39
Импакт фактор но тем не менее это больше
3:40
десяти Так что Да я бы сказал что те
3:43
данные которые у нас имеются на данный
3:45
момент они совершенно точно указывают не
3:47
просто на то что Импакт фактор не имеет
3:49
значения А то что с увеличением Импакт
3:51
фактора скорее всего журнал становится
3:54
хуже и Если уж мы как-то будем оценивать
3:58
исследования по и ФК журнала в которых
4:01
они были опубликованы то мы должны с
4:02
большим скепсиса относиться просто
4:04
Потому что эти журналы имеют
4:06
существенную могучую Монополию
4:08
и публикует всё для хайпа опять же для
4:11
того чтобы заработать дополнительные
4:13
шекели
