Не помню, но чувствую: нейробиология имплицитной памяти

Что делает нас способными эффективно действовать без раздумий — и почему мозг помнит даже то, чего мы не осознаём? Эта лекция — о имплицитной памяти, скрытых механизмах обучения и роли дофаминовой системы в мотивации и привычках. Мы разберём, как мозг учится без участия сознания, почему гиппокамп нужен не для всего, и как система вознаграждения превращает случайные действия в устойчивое поведение. От классических экспериментов до современных моделей оперантного обусловливания — от памяти движений до памяти эмоций.

*https://www.youtube.com/watch?v=w228A3KhzSA
**https://300.ya.ru/summary

пересказ видео

Генри Молисон и его травма

• Генри Молисон родился с гиппокампом, но в 7 лет получил травму головы, что привело к эпилепсии.
• К 16 годам припадки стали генерализованными, и к 27 годам ему удалили гиппокамп и окружающие ткани.

Результаты операции

• Припадки стали контролируемыми, но не исчезли полностью.
• Интеллектуальные и эмоциональные качества не изменились, но автобиографическая память исчезла.

Моторные и эмоциональные навыки

• Моторные навыки не пострадали, несмотря на отсутствие гиппокампа.
• Генри Молисон мог улучшать свои результаты в сложных задачах, не помня, что делал это раньше.
• Эмоциональные навыки также сохранились, он мог общаться с людьми, не помня их.

Навыки знакомства

• Генри Молисон помнил, что видел человека раньше, но не помнил деталей.
• Он мог узнавать знакомых, но не помнил, кто они и что они делают.

Типы памяти

• Отсутствие гиппокампа не мешает моторным и эмоциональным навыкам, но влияет на автобиографическую память.
• Генри Молисон мог учиться новым моторным навыкам и адаптироваться к обстоятельствам, несмотря на амнезию.

Типы памяти

• Эксплицитная память: декларативная, сознательная, делится на семантическую и эпизодическую.
• Имплицитная память: недекларативная, бессознательная, включает обусловливание и процедурную память.

Роль гиппокампа

• Гиппокамп важен для формирования новых эпизодов и семантических знаний.
• Без гиппокампа невозможно приобрести новые знания и воспоминания.
• Имплицитная память не требует гиппокампа, но он может ускорить обучение.

Пример Генри Молисона

• Генри Молисон не мог формировать новые эпизоды и знания, но мог учиться новым навыкам и рефлексам.
• Он не помнил, что переехал, но мог адаптироваться к новой обстановке благодаря обусловливанию.

Обоняние и имплицитная память

• Обоняние является главным органом чувств для многих млекопитающих.
• Обонятельная луковица и лимбическая система играют ключевую роль в обработке эмоциональной информации и процедурной памяти.
• У человека обоняние менее важно, но всё ещё влияет на нейробиологические механизмы.

Лимбическая система и обоняние

• Лимбическая система тесно связана с обонянием.
• Разные центры эмоциональной системы привязаны к обонянию.

Функции лимбической системы

• Регулирует эмоции, мотивации и желания.
• Запоминает эмоции, мотивации и желания.

Структуры лимбической системы

• Гиппокамп: отвечает за память и запоминание эмоций.
• Гипокамповая формация: помогает ориентироваться в окружающей среде.
• Гипоталамус: связывает эмоции с физиологией, главный гормональный регулятор.
• Поясная кора: оценивает результаты поведения, переобучает нервные сети.
• Миндалевидное тело: система мотивации, привязанной к страху и агрессии.
• Прилежащее ядро: важнейший элемент системы вознаграждения.

Лекции и мероприятия

• Онлайн-лекции по Нобелевской премии по физиологии и медицине.
• Очные лекции в Белграде о работе сознания.
• Онлайн-лекции о последних достижениях биологии.
• Telegram канал «Мозг ведёт» для дополнительной информации.

Роль прилежащего ядра в мотивации

• Прилежащее ядро активно в ситуациях, важных для эволюции.
• Оно активируется при размножении, еде и социальном взаимодействии.
• Эволюция заставляет нас получать удовольствие от действий, выгодных для генов.

Блокировка прилежащего ядра

• Блокировка прилежащего ядра приводит к отвращению от действий.
• Человек не будет повторять действия, которые не приносят удовольствия.
• Блокировка может быть временной и безвредной.

Положительное и отрицательное подкрепление

• Эксперимент с капуцинами показывает, что неожиданная награда вызывает больше удовольствия.
• Дофамин активирует прилежащее ядро, мотивируя повторять поведение.
• Ожидание большей награды может привести к разочарованию, если она не получена.

Ожидания и дофамин

• Ожидание награды влияет на уровень дофамина в прилежащем ядре.
• Если награда не соответствует ожиданиям, дофамин падает, и награда воспринимается как наказание.

Привыкание к награде и наказанию

• Привыкание к награде снижает уровень дофамина.
• Привыкание к наказанию также снижает уровень дофамина, и реакция на наказание становится менее выраженной.

Роль вентральной области покрышки

• Вентральная область покрышки синтезирует дофамин и отправляет его в прилежащее ядро.
• Нейроны ВТА собирают информацию о возможности получить награду из разных отделов мозга.

Дофамин и мотивация

• Дофамин не является системой удовольствия, а системой мотивации.
• Дофамин запускает поведение, необходимое для достижения цели.

Оперантное обусловливание

• Условный стимул вызывает дофаминовый всплеск, который запускает поведение.
• Оперантное обусловливание работает через условные стимулы и дофаминовую мотивацию.

Имплицитное обучение и дофамин

• Имплицитное обучение требует совершения действия для получения награды.
• Дофамин должен выделяться больше на действие, чем на саму награду.
• Преувеличение предвкушения награды стимулирует действие.

Быстрое дофаминовое обучение

• Дофаминовая система работает быстро, запоминает информацию с первого раза.
• Это приводит к неверным причинно-следственным связям и суевериям.
• Дофаминовая система не умеет критически оценивать окружающую среду.

Оперантное обусловливание

• Скиннер изучал оперантное обусловливание с помощью ящиков с рычагами и верёвочками.
• Животные и дети учатся выполнять действия для получения награды.

Неопределённость и мотивация

• Неопределённость награды усиливает мотивацию и обучение.
• Апетентное поведение включает поисковую вариабельность для увеличения вероятности получения награды.

Влияние частоты наград

• При высокой частоте наград уровень дофамина падает.
• При низкой частоте наград уровень дофамина может расти, если награда важна.

Отложенная награда

• Отложенная награда усиливает ожидание и уровень дофамина.
• Ожидание награды стимулирует активное поведение.

Ожидание и дофамин

• Ожидание поддерживает мотивацию, но требует ресурсов.
• Дофаминовый штраф за задержку может превысить размер награды.
• В какой-то момент ожидание прекращается, чтобы не тратить больше ресурсов.

Нейроны вентральной области покрышки

• Нейроны третьего типа выделяют больше нейромедиатора в ответ на наказание.
• Они используют гамк и тормозят поведение, приводящее к наказанию.

Позитивные ожидания

• Нейроны второго типа находятся в хвосте покрышки и кодируют ожидания о награде.
• Они выделяют гамк и усиливают активность в ответ на условный стимул.
• Чем выше уровень награды, тем выше активность нейронов.

Нейроны первого типа

• Нейроны первого типа выделяют дофамин в ответ на условный и безусловный стимулы.
• Со временем они перестают реагировать на безусловный стимул, чтобы поддерживать мотивацию.
• Тормозные нейроны второго типа снижают активность нейронов первого типа.

Обучение дофаминовой системы

• Вентральная область покрышки получает информацию о стимулах и ожиданиях из разных частей мозга.
• Дофаминовые нейроны активируются для запуска поведения.
• Информация об ожиданиях также учитывается для корректировки поведения.

Тормозные красненькие гамкаргические нейроны

• Собирают информацию о ожидаемой награде
• Тормозная связь, прекращают действия при несоответствии ожиданий реальности

Мотивация дофаминовая

• Запускается только при соответствии реальности ожиданиям
• Если ожидания выше реальности, дофамин не выделяется, поведение меняется

Мезолимбический и мезокортикальный пути

• Мезо лимбический путь выделяет дофамин в прилежащее ядро, запускает поведение
• Мезокортикальный путь выделяет дофамин в прифронтальную кору, отвечает за мышление и планирование

Роль прифронтальной коры

• Улучшает внимание, рабочую память и планирование
• Тормозные связи из прифронтальной коры контролируют ненужные типы поведения

СДВГ и дофамин

• Люди с СДВГ имеют дефицит дофамина в мезокортикальном пути
• Это приводит к проблемам с концентрацией и достижением целей

Обучение оперантному обусловливанию

• Пример с капуцинами и виноградом
• Прифронтальная кора планирует действия, вентральная область покрышки запускает поведение, прилежащее ядро оценивает результат

In this video

Генри Молисон
0:00
Есть вещи, которые мы можем запоминать совершенно неосознанно и совершенно без
0:06
какой-либо готовности воспроизвести это, казалось бы, воспоминание на сознательном уровне, которые мы не
0:13
помним, но почувствовать или хотя бы реализовать в своём поведении можем. И
0:19
отличные ворота в эту тему нам сможет открыть вот этот вот замечательный молодой человек с фотографией, которого
0:25
зовут Генри Молисон, или, как его раньше называли до того, как он умер, пациент HM по собственно инициалам его имени и
0:33
фамилии. Чем он нам так важен? Дело в том, что вот этой вот прекрасной штучки,
0:39
которую, как вы знаете, по прошлой лекции зовут гиппокамп, да, в честь морского конька, вот эта прекрасная загагули на височных долях находящаяся.
0:46
Дело в том, что у Генри Молисона не было этого самого гиппокампа. И тем не менее,
0:52
как мы с вами сегодня увидим, кое-что запоминать он всё-таки мог, несмотря на
0:57
отсутствие той структуры, которой была посвящена вся прошлая лекция. Как так случилось, что у такого прекрасного
1:04
молодого человека нету вот этих вот двух морских коньков в голове. Как же он без них живёт? Всё дело в том, что,
1:10
вообще-то говоря, родился он, конечно же, с гиппокампом, и всё у него было в порядке при рождении. Но в 7 лет его
1:15
сбила машина, пока он катался на велосипеде, и он получил довольно существенную травму головы. В целом он
1:21
как-то так немножко полежал, полежал, встал и пошёл домой. Но эта травма оказалась не просто ушибом, а оказалась
1:29
довольно серьёзной. Судя по всему, в рамках её последствий к десятилетнему возрасту у него начались приступы
1:34
эпилепсии. Эпилепсии — это когда нервные клетки в вашей голове начинают проявлять спонтанную активность. Помните, мы с
1:40
вами рисовали графики потенциала действия. И обычно после подъёма графика там должен идти спад этого графика до
1:47
потенциала покоя. И клетка должна находиться в потенциале покоя, пока туда не придёт достаточное количество
1:53
возбуждающих сигналов. Так вот, при эпилепсии эта клеточка не удерживается на потенциале покоя, а постоянно
1:59
норовить самопроизвольно подняться вверх к пороговому потенциалу, чтобы вызвать потенциал действия. Вот они
2:05
неконтролируемые электрические активности, которые, разумеется, ещё и распространяются по аксону на соседние
2:11
клетки, а по их аксонам на соседние клетки и так далее. И таким образом к шестнадцати годам у него припадки уже
2:18
стали генерализованными. То есть они начали работать не в какой-то локальной области мозга, а
2:24
буквально распространяться на весь мозг. Это означают, собственно, физические приступы, когда вы бьётесь в припадке.
2:30
Это означает постоянные галлюцинации любых уровней, возможных. Это постоянная невозможность сконцентрироваться на
2:37
чём-то, потому что у вас все нейроны вдруг в какой-то момент на что-то включаются во время этого самого
2:42
приступа. Поначалу какие-то таблеточки немножечко
2:47
могли работать и немножечко могли успокаивать эти самые припадки, но в конечном счёте настолько мощными они
2:53
стали, что это всё стало невозможно. И Генри Моольсон вместе со своей семьёй обратился к врачам. И к 27 годам они
3:02
решились на довольно инновационную по тем временам хирургическую операцию. Учёные тыкали электродами,
3:09
медики вместе с учёными тыкали электродами в разные отделы мозга э
3:14
Генри Ольсона, пытаясь найти очаг этой самой эпилепсии. Ну и, как вы догадываетесь, этот очаг эпилепсии
3:20
оказался как раз-таки в гиппокамповой формации, как раз-таки в той самой височной доле, которую мы с вами
3:25
обсуждали в прошлый раз. Ну и ничего не оставалось делать, как согласиться на полное удаление этого самого гиппокампа
3:32
и окружающих его соседних тканей. И в итоге, на самом деле, Мос Генри Морсон
3:37
оказался, в общем, без той самой структуры, которая отвечает за запоминание всяких важных вещей.
Моторная память
3:44
Помогло ли это ему? Ну да, в целом помогло. Это не убрало припадки совсем,
3:49
потому что там не целиком прямо вообще всё, что нужно было удалить, удалили, но они хотя бы стали контролируемы. Что это
3:55
значит? Это значит, что он мог ээ почувствовать приближение этого самого припадка по таким характерным аурам,
4:02
добежать до дома, сесть, съесть там таблеточки и, соответственно, если он довольно быстро это делал в течение
4:08
десятков минут, то всё в порядке и, соответственно, припадка не наступала.
4:13
Если не успевал, то наступала. Но, в общем, тоже с какими-то минимальными относительно предшествующего состояния а
4:20
последствиями. Ну и, собственно, главный вопрос, который в этом месте должен задать себе любой лечащий врач. О’кей, припадки
4:27
контролируемые, это неплохо, это мы хорошо поработали. Но что изменилось в этом человеке, у
4:36
которого мы удалили половину объек височных долей?
4:41
Интеллектуальные, эмоциональные качества не изменились. Проводили тест на IQ,
4:47
проводили тест на разного рода социальные взаимодействия, эмоциональные связи. Всё в порядке. нормальный, живой,
4:53
бодрый человек, как будто бы ничего и не вырезали, как будто бы там треть мозга не отсутствует.
5:00
Но что с памятью? А с памяти очень интересно. Оказалось,
5:06
что моторные навыки у него совершенно не пострадали. Проверяли это следующим
5:11
образом. Посмотрите, брали вот такое вот зеркало и брали вот такую вот бумажку.
5:17
На этой бумажке учёные заранее нарисовали две звёздочки, одна, вложенную в другую, но очень близко. И,
5:25
собственно, задача Генри Моольсона была нарисовать третью звёздочку между ними, так чтобы не зацепить большую,
5:31
маленькую. А, но смотреть при этом нужно было не на саму звёздочку, а на её отражение. А это довольно сложно, потому
5:37
что когда вы двигаете рукой направо, ваше отражение двигает рукой налево. Мягко скажем, непростая ситуация. И вот
5:44
мы видим, что в течение дня он улучшал свои
5:49
результаты. Тут на графике показано, собственно, количество задеваний большой или маленькой звёздочки, что начиналось с тридцати, а потом спускалось вполне
5:56
себе там к восьми, к девяти. На второй день всё было ещё лучше, на третий день было всё ещё лучше. То есть с моторными
6:02
навыками всё в порядке. Но как, если нету главной структуры, отвечающей за обучение?
6:09
Что будет, если спросить у него а, собственно, боже, как ты это делаешь? Он вам скажет, что, вообще-то, я не
6:15
знаю, как я это делаю, потому что я первый раз вижу эту задачу. Да и вас, дорогой учёный, вижу первый раз в жизни,
6:21
хотя это вон там третий день эксперимента. Автобиографической памяти у него здесь нету. Ну, точнее, то, что
6:28
он когда-то давно запоминал, у него, разумеется, в корехранилось. Новых автобиографических воспоминаний он не
6:35
может производить. новые вещи он не может запоминать на сознательном уровне,
6:41
потому что, ну, нету гиппокампа, который, как мы помним по прошлой лекции, ровно за это отвечает. Он не помнит, что он тренировался с этим самым
6:47
экспериментом. Он через несколько минут обо всём забывает. С ним невозможно поддерживать нормальный разговор. Ты с
6:53
ним общаешься 2 минуты, через 2 минуты кратковременная память заканчивается, и он забывает, о чём говорили до этого. Он
7:00
забывает о том, что с ним экспериментировали. Он не помнит, что он, что у него удалён гипокамп. Он ничего этого не может запомнить. Но тем
7:07
не менее моторные навыки он улучшает день от дня, час от часа, попытка от попытки, несмотря на то, что он даже не
7:14
помнит, что он когда-либо с этим заданием сталкивался. Вот такая вот поразительная штука.
7:21
То же самое касается и эмоциональных навыков, когда мы учимся как-то аккуратнее
7:28
разговаривать с человеком, обходя его больные точки или, наоборот, помогая ему как-то справляться с этими своими
7:34
какими-то внутренними болями, он тоже мог это вполне себе делать. Он не помнит, что это за человек, когда он с
7:40
ним познакомился, но общается он с ним раз за разом, всё более по-человечески,
7:45
понимая какие-то особенности, понимая, в кавычках не понимая, но интуитивно их используя в рамках своих эмоциональных
7:51
каких-то навыков. И это довольно поразительно. У него нету
7:57
существенной части гиппокампа. Посмотрите, вот так выглядит мозг его до операции, да? Вот так вот после. Мы
8:02
удалили существенную часть высочных долей. И тем не менее моторные навыки есть, эмоциональные навыки есть.
8:08
Если помните, навыки знакомства, то есть способность узнавать человека,
8:14
который мы с вами обсуждали несколько лекций назад, когда только начинали разговор о клеточной биологии, о
8:20
нейроцитологии, у него тоже вполне себе есть. Он как бы не помнит, что это за человек перед ним, но помнит, что он его
8:28
видел. Он не шарахается от него как от незнакомца. Он помнит, что это какой-то знакомец, этот самый легчий врач, но что
8:35
он тут делает, он совершенно вспомнить не может, да. Все те характерные навыки знакомства, которые мы с вами обсуждали
8:41
по тому самому принципу, что чем сложнее знакомство, тем лучше, чем сложнее образ, тем легче он запоминается, это
8:47
всё для него абсолютно характерно. Поразительная совершенно штука.
8:53
Давайте, собственно, попытаемся разобраться на примере этого самого Генри Мосона. А что тогда есть в нашем
9:00
мозге ещё? Какие типы памяти есть в нашем мозге ещё, что кажется в целом, даже не имея
9:07
гиппокампа, можно нормально функционировать. Да, ты не сможешь длительный разговор поддерживать, да, ты
9:12
не сможешь там запоминать какие-то новые локации и как-то привязывать их к своей
9:18
автобиографии, но при этом ты довольно неплохо, кажется, можешь и под людей
9:23
подстраиваться, и под обстоятельства подстраиваться, и там новые какие-то моторные навыки приобретать, научиться
9:29
ездить на велосипеде. Он в течение этой своей болезни сначала научился курить, потом бросил курить. Совершенно не
9:36
помню, что он когда-либо этому учился бросать или начинать курить. И тем не менее это всё оказывается абсолютно
9:42
возможным даже без этой структуры, которой мы с вами целую лекцию посвятили.
Разные типы памяти
9:48
И вот глядя на собственного пациента, учёные решили, что типы памяти, судя по
9:55
всему, устроены не так просты, не так просто, как предполагалось ранее.
10:00
Есть так называемая эксплицитная или декларативная память. Это память, которую мы можем проговорить, которую мы
10:06
помним на сознательном уровне, который имеем сознательный доступ. Это ровно то, что мы с вами обсуждали в прошлый раз. А
10:14
есть имплицитная память, не декларативная, которая есть где-то внутри нас, но к которой сознательного
10:21
доступа у нас нету. И она помогает нам жить, она отвечает за наше нормальное, естественное поведение. Но при этом
10:28
сознательно понять, что мы, собственно, делаем и откуда мы это помним, судя по всему, абсолютно невозможно.
10:34
Эксприцитная память делится на семантическую и эпизодическую. И вот эпизодическая память, она же
10:42
пространственная память, она же автобиографическая память. Это то, что вот прямо буквально связано с событиями,
10:48
происходящими с нами. Это то, что непосредственно хранится в гиппокампе.
10:54
семантическая память, память на разные факты, на разные какие-то более-менее абстрактные вещи, слова и так далее. Это
11:01
то для обучения, чему нужен гиппокат. Той самой обратной э ретроградной
11:09
активации он будет вызывать эти самые воспоминания, но хранится она уже не в гиппокампе, в отличие от безодической, а
11:15
хранится будет, ну, там зрительная, в зрительной коре, слуховая, в слуховой коре и так далее. Но тем не менее для
11:21
обучения семантическим знаниям гиппокамп тоже абсолютно необходим. Новые знания
11:26
не приобрести в отсутствии гипокампа. И, собственно, Генри Молисон без гиппокампа не мог ни новые эпизоды своей биографии
11:32
формировать, ни новые какие-то знания тоже получать, потому что без гипокампа их не получить. А более того, у него
11:39
была частичная ретроградная манезия, то есть он не мог вспомнить события собственной биографии, которые
11:45
происходили с ним в прошлом. Ну то есть совсем в детстве ещё как-то мог. А вот незадолго до операции уже тоже не мог.
11:52
Ну, потому что эта память хранится в гипокампе. Но все факты, которые он
11:58
знал, там, что Земля круглая и так далее, в каком году он родился и так далее, это всё он вполне себе мог
12:04
спокойно вспоминать, потому что для вызывания этой памяти гипокамп уже не нужен. Он нужен был, чтобы это запомнить, а чтобы вспомнить хорошо
12:11
выученную память, достаточно тех отделов зрительный, слуховой и разной другой коры, в которой эта вся красота
12:16
находится. Но что с имплицитной памятью?
12:22
Имплицитная память штука очень интересная. Вот есть классическая, как вы все
12:29
проходили в восьмом классе, обусловливание, ну или выработка рефлексов, по-простому
12:36
говоря. Помните, были такие какие-то безусловные рефлексы, такие вот, не
12:41
знаю, как капание слюны у собачки в ответ на мясо. Были условные рефлексы,
12:46
собственно, поэтому это обусловливание, когда вот Павлов звонит в свой
12:52
колокольчик или включает лампочку, и у собаки начинает капать слюна, даже если нету мяса, потому что ей заранее
12:58
показывали, что мясо обычно сочетается с этим самым колокольчиком. Это и есть обусловливание. Есть такие вот более
13:05
простые рефлексы, есть двигательное моторное обусловливание, не павловское, когда нужно там дать
13:11
лапку, чтобы получить этот самый кусочек мяса. Вот такого рода рефлексы. Это рефлексы.
13:17
Тут не нужен никакой сознательный контроль. Это то, что возникает просто при наличии позитивного или негативного
13:23
подкрепления. Всё, как мы с вами обсуждали в восьмом классе. А есть процедурная память. Процедурная память —
13:29
это как раз-таки память на навыки, на моторные навыки, на эмоциональные навыки, вот это вот всё, что несколько
13:35
сложнее, чем рефлексы, связанные с обусловливанием, но тем не менее тоже, соответственно, обязательно с нами
13:41
присутствующие. И вот оказывается, что для этих двух типов памяти, недекларативно, гиппокамп не нужен. Ну,
13:48
то есть он может участвовать в процессе, если он есть, да, тогда там и обучение будет происходить немножечко быстрее,
13:54
тогда и как-то гиппокамп будет контекст, пространственную память сюда дополнительно подключать. Но глобально
14:01
он не нужен. Глобально без гиппокампа это всё тоже будет работать. Может быть, чуть помедленнее, чуть поскучнее, но
14:07
будет. И вот, собственно, с этими двумя навыками у Генри Моольсона было всё в порядке.
14:12
Мог ли он получать новые рефлексы, учиться совершать новые действия, чтобы получать награду, учиться, не знаю,
14:19
когда они переехали из одной квартиры в другую, учиться открывать холодильник в новой квартире, чтобы получать
14:25
вкусняшку. Да, он мог это делать. Он не помнил, что он переехал. Он каждый раз удивлялся: «Боже мой, что-то тут как-то
14:31
не не не так, как было раньше». Но он к этому привыкал. Он э мог доходить до
14:37
нового холодильника, потому что это обусловливание. он мог вполне себе это делать. Точно так же, как и сами новые
14:44
действия с новыми какими-то кухонными бытовыми приборами. Он их мог учить, потому что это процедурная память. Он
14:49
совершенно не понимал, как бы для чего это нужен прибор, но когда ему напоминали, он замечательны им пользовался, а-а потому что это
14:57
процедурная память. Вот такая вот поразительная штука.
15:02
В рамках сегодняшних и нескольких последующих лекций наша с вами задача
15:08
посмотреть на то, какие структуры будут задействованы в этой самой имплицитной
15:13
памяти, которые, по сути, и управляют, на самом деле, нашим поведением, когда мы делаем то, что умеем делать, когда мы
15:21
эмоционально общаемся и испытываем те самые эмоции, которые мы привыкли в тех или иных ситуациях испытывать, но
15:27
просто, соответственно, не можем никак уже получить к ним сознательный доступ, да, он, собственно, не обязателен, как
15:33
мы видим на примере Генри Мориса. И это тема ближайших наших с вами лекций. И на
Обоняние, как главный орган чувств
15:39
самом деле не вся, но существенная часть имплицитной памяти привязана к одной
15:47
очень интересной и с нейробиологической, и с поведенческой, и с эволюционной
15:53
точки зрения структуре. Дело в том, что если мы посмотрим на вообще развитие имплицитной памяти в
15:59
ходе эволюции, то мы увидим, что, разумеется, как бы в целом любому нормальному животному логично уметь
16:07
запоминать ту информацию, с которой он сталкивается в окружающей среде. Вы видите определённую норку, там
16:13
опасность, вы это запоминаете. Вы видите определённого человека, он гад последний или, наоборот, очень классный, вы это
16:20
запоминаете. Но это всё запоминание того, что находится вокруг вас.
16:25
И если вы посмотрите на вот этот вот мозг, который, очевидно, не мозг человека, правда, у вас в голове явно
16:30
нечто более другое. Вы все это практически пощупать можете ээ своей памятью. Это мозг крысы. И вот если вы
16:37
посмотрите на мозг крысы, вы увидите, что существенную часть мозга занимает та структура, которую в нашем с вами мозге
16:45
практически не разглядеть. Вот посмотрите, в нашем с вами мозге есть вот такие вот две маленькие
16:51
блямбочки, а в мозге справа вот они в крысином мозге совершенно гигантский. И
16:58
это главный анализатор мозга крысы, главная часть мозга, которая анализирует
17:04
всё, что происходит вокруг нас. У нас с вами они тоже есть, но посмотрите, какие они скромные. Как вы думаете, за какой
17:12
орган чувств отвечает этот самый анализатор? что он анализирует.
17:18
Обоняние. Обоняние. Абсолютно верно, да. Это главный центр обоняния, так называемая
17:24
обонятельная луковица. И для нормальных млекопитающих от крысы
17:29
для до слона это и есть главный орган чувств и такая самая существенная, самая крупная часть мозга. Просто потому что
17:36
нормальные млекопитающие, они, вообще-то говоря, прятались когда-то давным-давно от динозаврах в норах. И ровно так они и
17:42
проходили первые миллионы лет своей эволюции. И таким образом, кроме обоняния, доступа к чему бы то ни было,
17:47
ещё у них практически не было. Потом, конечно, там 60 млн лет назад Млеки
17:52
вылезли из-под земли по большей части, и у них и слух, и зрение, и всё остальное.
17:58
Но обоняниние по-прежнему сохранился главным органом чувства. У человека и у близких к нам приматов, у
18:03
человекообразных обезьян это не совсем так. А у нас всё-таки зрение как-то обогнало обоняние по важности. Но тем не
18:10
менее, как вы видите, даже у нас с вами обоняние совсем не пропало, и две обонятельные луковицы у нас есть.
18:17
Но поскольку мы с вами говорим о древних нейробиологических механизмах, которые и на нас влияют тоже, то очень важно
18:25
держать в голове, что анализ новых навыков, анализ
18:31
эмоциональной информации, аа процедурная та самая память, она должна быть
18:37
привязана нейробиологически к тем структурам, которые на протяжении последних многих десятков миллионов лет
18:45
воспринимали окружающую всю среду. А это в первую очередь обоняние. А это в первую очередь эта самая обонятельная
18:51
луковица, вот эта вот жёлтенькая, которая получает сигнал. Из неё информация, разумеется, заходит в
18:58
так называемый обонятельный мозг, который, соответственно, вот тут вот будет находиться у крыски, вот там вот в
19:03
глубине будет находиться у нас. И это должна быть какая-то очень большая структура, да, потому что это главный
19:09
главный главный главный главный э орган чувств у любого млекопитающего. И вот
19:15
этот обонятельный мозг, он на самом деле имеет второе название: лимбическая
19:20
система. И наша с вами лимбическая система, разумеется, устроена посложнее, чем у крыски. Укрыска, она в первую
19:26
очередь ориентируется на запахие. У нас лимбическая система получила входы и соответственно из зрения, из слуха, из
19:32
всего остального. В укрыские они тоже, конечно, есть, но относительно незначительны по сравнению с обонянием.
19:38
А у нас это главные входы в лимбическую систему. Ну, изначально обонятили мозг, лимбическая система плотно
19:44
взаимодействует между собой. Изначально это единые нейронные контуры. И мы с вами в ходе ближайших лекции будем
19:49
постоянно натыкаться на то, что разные центры нашей с вами эмоциональной
19:55
лимбической системы, отвечающей за формирование эмоций, чувств, эмоциональных навыков и так далее,
20:01
привязаны очень плотно к обонянию, так как будто бы мы от этих самых прекрасных крысок недалеко отошли.
Лимбическая система
20:09
Итак, главная задача лимбической системы регулировать эмоции, мотивации и желания
20:15
и, соответственно, запоминать всё, что происходит с нашими эмоциями, мотивациями, желаниями и так далее. Где
20:22
в нашем мозге эта прекрасная лимбическая система находится? Какие в ней есть структуры? Ну, во-первых, это гиппокамп.
20:30
Гиппокамп, безусловно, часть лимбической системы. И он, конечно, отвечает за тоже за память, за то же запоминание эмоций,
20:37
за то же запоминание мотивации. Без этого никак. Вот вам, напомню, этот самый гиппокамп. Вот он. И гипокамповая
20:44
формация. Замечательная часть лимбической системы, которая нам хорошо позволяет ориентироваться в окружающей
20:50
среде. Изначально тоже она была связана с запахами, но у нас, конечно, в первую очередь на зрение переквалифицировалось.
20:57
Что есть ещё? Есть структура, которая не нарисована на этом слайде, целиком, а обозначена вот какой-то такой зелёной
21:03
пипочкой маленькой. А на самом деле довольно большая структура, которая вот тут вот находится, больше по размеру, чем тут подрисована — это гипоталамус.
21:11
Гипоталамус — это то, что связывает наши эмоции, наши мотивации с физиологией
21:16
нашей тушки. Это, в том числе, среди прочего главный гормональный регулятор. И если немножко упростить реальность,
21:23
можно сказать, что гипокамповая формация — это главный вход в лимбическую систему. А потому что, собственно, как
21:29
бы память, воспоминания у человека, во всяком случае, очень часто вызывают тоже разные эмоции. А у нормальной крыски то
21:36
пространство, по которым перемещается крыска, вызывает эти самые эмоции.
21:41
То гипоталамус тогда — это главный выход из лимбической системы, который, собственно, заставляет тело что-то
21:46
делать с как бы теми эмоциями, теми чувствами, теми воспоминаниями, которые мы испытываем от окружающей среды. Это
21:53
таким образом выход из гипокамповой формации. Что есть ещё? Есть вот эта вот явно бросающаяся в
22:00
глаза очень крупная структура, которая называется поясная кора. Поясная кора.
22:06
Её задача оценивать результаты, собственно, поведения. Вот мы под воздействием мотиваций, когда мы что-то
22:12
захотели, что-то сделали, получаем тот или иной результат. Если он не совпадает, мягко скажем, с
22:19
нашими ожиданиями, было бы здорово что-то переделать в нашем поведении. И вот это то, что делает поясная кора. Мы
22:25
с вами, я надеюсь, успеем посмотреть на ближайших лекциях на то, как Поясная Кора умеет переобучать наши неровные
22:32
сети и умеют учиться на самом деле на своих ошибках, когда мы что-то сделали не так или даже иногда на чужих ошибках,
22:39
когда кто-то наложал, мы это заметили и, соответственно, на его ошибках тоже можем таким образом научиться. То есть
22:45
это эмоциональная регулировка, регулировка мотивации и себя, и понимание того, что происходит с другим
22:51
человеком, и как-то вот отзеркаливание его чувств и обучение на чужих ошибках.
22:56
Тоже важная часть лингвической системы в рамках вот этого вот прекрасного поиска
23:02
жёлтенького завязанное. Что есть ещё? Ещё есть совершенно чудесное
23:09
менделевидное тело. Вот оно, посмотрите, как оно миленько лежит прямо на гиппокамповой формации. Это важная
23:15
система мотивации, привязанной к страху и агрессии. Это вот находится в ней. И запоминание страхов, и запоминание того,
23:23
как кому проявлять агрессивное поведение, чтобы добиться результата, это важная её функция. Вот такая вот
23:30
штука. О миндалине, о её нейронных сетях мы с вами обязательно очень подробно поговорим в декабре, уже,
23:36
соответственно, ближе к концу нашего с вами цикла лекций. Ну и, наконец, есть
23:42
ещё одна структура. который мы с вами посвятим всю вторую половину сегодняшней нашей с вами встречи. Это прилежащее
23:49
ядро. Где оно находится и к чему оно, собственно, прилежит. Вот посмотрите, тут по центру всей этой замечательной
23:56
конструкции находится прозрачная перегородка.
24:01
Там есть некоторое количество нервных клеток и в ней тоже, но они нам не очень интересны для нашего сегодняшнего разговора. А вот прилежит к этой самой
24:08
прозрачной перегородке. Справа правое прилежащее ядро, а слева левое прилежащее ядро. И это важнейший элемент
24:16
системы вознаграждения. Если мы хотим научиться действовать так, чтобы получать от окружающей среды
24:22
желаемое, вкусняшку из холодильника, ээ социальное подкрепление для того, чтобы
24:28
мы кайфовали от социального взаимодействия, нам нужно активировать нейроны прилежащего ядра. Именно связка
24:36
этих нейронов с другими нейронами нашего мозга будет на самом деле в конечном счёте отвечать за то самое
24:41
обусловливание, за выработку тех самых рефлексов, которые помогают нам добиваться от
24:47
окружающей среды того, чего мы хотим. И вот об этом мы с вами поговорим после
24:53
перерыва. А пока отправляйтесь за позитивным подкреплением, кушайте, отдыхайте. Увидимся через 10 минут. До
25:01
встречи. Пока у моих школьников перемена, расскажу вам о тех лекциях, которые вы
Научные открытия
25:07
можете не просто смотреть в записи, что скучно, а можете участвовать в прямых эфирах, подключаясь к ним, задавая
25:13
вопросы и обсуждая самой темы, со мной темы, интересные лично вам. Вот, например, Альфреду Нобелю тут явно
25:20
непонятно, то ли интересно, то ли не интересно тема одной из следующих лекций, которую я прочту уже вот вот вот
25:27
вот прямо сейчас уже в это воскресенье, а, 9 ноября. Эта лекция будет посвящена
25:34
Нобелевской премии по физиологии, медицине, которую вручили в этом году. А вручили её за довольно выдающуюся штуку,
25:40
за то, каким образом наша иммунная система различает своих и чужих, усиливая реакции на чужих, на
25:47
проникновение чужеродных тел в наш организм и ослабляя реакции на свои клетки или даже на те чужеродные,
25:54
которые нам с точки зрения нашего иммунитета чем-то полезны. Этот механизм называется иммунная периферическая
26:00
толерантность. Именно за неё выдали главную награду в науке в этом году. О
26:06
том, как она важна и чем она важна для медицины и для, в общем, жизни нас всех с вами здесь сейчас, я буду рассказывать
26:13
уже 9 ноября, и вы можете в этой лекции поучаствовать. Но, как вы видите, Альфред Нобель тут делает фейспалм, а
26:19
значит лекция посвящена не только нобелевской, но и шнобелевской премии. Премии, которую дают за открытие,
26:24
которые сначала заставляют улыбнуться и только потом задуматься о их важности. Это тоже выдающаяся премия, которую
26:31
часто вручают нобелевские лауреаты предыдущих лет. А часто разные учёные сначала получают Шнобелевку, а через
26:37
пару лет и настоящую Нобелевку за свои открытия. И об этом всём речь пойдёт на
26:45
лекции, которая пройдёт онлайн на сайте центра Архе, замечательном российском
26:50
сайте, посвящённом популяризации науки. в это воскресенье в 8:00 вечера по
26:56
Москве или, соответственно, в 6:00 вечера по Европе, в 9:00 вечера по Тбилиси и так далее.
27:02
Но это не единственный способ посмотреть на то, как устроена современная наука.
27:08
Если Нобель-шнобель посвящён в первую очередь иммунной системе, то вы тут видите замечательный весёлый нейрончик,
27:14
который выделяет нейромедиаторы по всему нашему мозгу. А всё потому, что я провожу не только онлайн-лекции, но и
27:20
очные лекции. И если вы или ваши знакомые живут в Белграде, то ноября в
27:27
понедельник в 7:00 вечера по Белграду, по европейскому времени я расскажу про
27:32
то, как работает сознание, каким образом наш мозг может, казалось бы, такими
27:37
простыми неремедиаторными системами выстраивать причинно-следственные связи,
27:43
которые приводят наш человеческий мозг к, в том числе, созданию современной науки, к получению Нобелевских премий.
27:50
Ну а ещё через пару дней, 12 ноября, в среду, в 7:00 вечера по в 6:00 вечера по
28:00
европейскому времени, в 8:00 вечера по аа московскому времени, снова
28:06
онлайн-лекции, снова вместе с центром Архя, но на этот раз посвящённая непроверенным временем премиям,
28:13
непроверенным временем открытиям, а тому, что находится на самом краю современной науки, посвящённую тем
28:20
прорывом, которые биологи с моей точки зрения совершили в октябре этого года,
28:25
буквально в прошедшем месяце. Вместе с центром Арфея мы отбираем новости, которые, на наш взгляд, переворачивают
28:31
наше представление о том, как устроена жизнь. Вводим их в широкий контекст и обсуждаем их вместе с вами.
28:38
Присоединяйтесь к онлайн-лекциям, приходите, приезжайте и зовите знакомых на очные лекции. Буду очень рад вас всех
28:46
увидеть. Ну и финальное. Если вам не хватает моих лекций, а вы хотите читать меня и
28:52
текстом тоже, то у меня есть для вас вот этот QR-код. Он ведёт на Telegram канал, который называется Мозг ведёт, в котором
28:58
я сообщаю биологичею информацию, рассказываю биологические классные истории гораздо чаще, чем читаю
29:05
онлайн-лекции или даже очные лекции. Подписывайтесь на него, буду рад вас видеть и там тоже. А мы возвращаемся к
29:12
лекции. Итак, мы с вами договорились, что сегодняшняя вторая половина разговора посвящена тому, как мы,
Прилежащее ядро
29:19
собственно, достигаем некоторых внешних целей. Каким образом имплицитная память устроена на уровне выработки, в том
29:27
числе тех рефлекторных типов поведения, которые помогают нам как-то двигаться
29:32
вперёд, достигать морковки и всё в этом духе. И мы сказали, что в этом, в этой
29:38
самой системе наблюдается значительная активность той самой замечательной
29:44
олимпической структуры, которая называется прилежащее ядро. И вот если мы заменим морковку на человеческий
29:50
мозг, мы на самом деле поймём примерную суть работы. Вот это самое прилежащее ядро тут зелёненьким замечательно на
29:56
схемке показано, и это ровно то, что нами на самом деле двигает вперёд. Эволюция придумала грандиозную вещь.
30:03
Она, разумеется, не дала нашему какому-то там сознанию на откуп -э
30:09
продумывать, что мы хотим от этой самой жизни делать. Нет, эволюция поступила
30:14
умнее. Она заставила нас получать некоторое удовольствие от тех действий,
30:20
которые выгодны нашим генам. И, соответственно, если мы посмотрим, в каких ситуациях система вознаграждения,
30:25
в каких ситуациях это самое прилежащее ядро активирован активируется сильнее всего, заставляя нас именно этих внешних
30:33
целей достигать, мы увидим, что это те самые цели, которые наиболее важны для эволюции. То есть, как вы думаете,
30:39
максимальная активность в какой ситуации наблюдается?
30:46
Оставление потомств или Да, абсолютно верно. Да. Всё, что направлено на распространение этих генов
30:52
направо и налево. Ровно так. То есть размножение, ухаживание и ведущее за ним, соответственно, размножение, заботы
30:59
о потомстве вызывает максимальную активность этого самого прилежащего ядра из всех возможных. Ну а на втором месте,
31:06
разумеется, еда, потому что размножиться это, конечно, хорошо, но было бы недурно до этого дожить. А, и, соответственно,
31:12
для того, чтобы мы могли для этого дожить, прилежащее ядро активируется каждый раз, когда мы движемся в сторону
31:17
какой-нибудь там вкусняшки. Но при этом мы-то с вами — это не просто какие-то непонятные там, не знаю кто,
31:25
землеройки. Мы с вами точно социальные животные. И нам, соответственно, для того, чтобы выживать, очень важно
31:31
грамотно выстраивать собственное социальное окружение. И приятном социальном взаимодействии прилежащее
31:37
ядро тоже активируются на третьей, пожалуй, по степени мощности. И это на
31:43
самом деле касается не только просоциального поведения, которое от
31:48
которого мы получаем массу удовольствия, общаясь с приятными людьми. Это касается и социального наказания. Если кто-то по
31:54
отношению к нам повёл себя нехорошо, мы получим некоторое дофаминовую мотивацию
32:00
от того, что, соответственно, мы его накажем. Скажем, какой он нехороший. написам в тапке или сделаем что-нибудь
32:06
вот в этом вот духе. Это тоже элемент поведения, это тоже элемент системы вознаграждения. И при этих амбивалентных
32:14
социальных реакциях прилежащие ядро, безусловно, будет активироваться. Ну и, разумеется, там дальше уже сюда
32:20
тут появляются всякие исключительно человеческие штуки типа эстетического удовольствия, а которые тоже,
32:25
разумеется, как бы не могут работать без этой самой системы. Ну, просто потому, что система мотивации так устроена.
32:33
Чтобы легче было понять суть работы этого ядра, давайте посмотрим на то, что произойдёт, если у человека нету
32:39
пролежащего ядра, так же, как и у Генри Молисона, нету гипокампа. Ну, разумеется, обычно ээ нейробиологи не
32:46
вырезают никому придлежащее ядра просто так, но могут, например, блокировать его, просто временно отключать работу
32:53
его нейронов без каких-либо тяжёлых последствий. И тогда человек от каждого своего действия будет испытывать не
32:59
мотивацию на то, чтобы повторить это действие, потому что оно принесло результат, а испытывать отвращение. Я
33:05
схватил морковку и испытываю разочарование, испытываю отвращение и больше не буду хватать этой
33:11
самой морковки, потому что прилежащее ядро не отреагировало так, как я ожидал.
33:17
Почувствуйте, какие тут, видимо, должны быть петли обратных связей, когда
33:23
система мотивации, пролежащее ядро, заставляет нас что-то сделать, а потом всё-таки отслеживает результат и смотрит
33:31
на то, собственно, как бы доставил нам это удовольствие, не доставил нам это удовольствие. Хм, нету активности прилежащего ядра, не будем снова
33:38
повторять это действие. Есть активность прилежащего ядра. Снова так поступим, потому что это то действие, которое
33:44
принесло нам награду, связанную с размножением, с едой или социальностью.
33:49
Вот такая на самом способом блокируют. А блокирует есть несколько способов. Ну
33:54
то есть на мышках мы можем прямо буквально химически блокировать, выделяя тормозные нейромедиаторы. Обычно это
34:01
блокирует просто, э, с помощью а локального отключения работы целых
34:08
структур в нашем мозге. Есть совершенно любопытные технологии, которые позволяют
34:13
резко поднять активность клеток просто внешним воздействием и тут же, соответственно, их выключить. И вот
34:19
такие способы вполне себе используются просто на людях. Они безвредны, они безопасны. Это используется постоянно,
34:25
а, в рамках такой вот стимуляции подавляющей. И человек на на некоторое время после этой этого действия как бы
34:33
становится таким без мотивации. Во время действия, во время этого действия он испытывает отвращение от
34:39
любых, соответственно, своих действий, пока мы на него воздействуем. А не перейдёт он больше на это исследование
34:46
ещё раз, потому что испытал большое-большое разочарование э от своего нахождения в этом исследовании.
34:52
То есть это же, то есть ты после этого можешь при этом, ну, во-первых,
34:57
переустроиться. То есть ты же понимаешь, что на самом деле как бы тебе неплохо от того, что ты морковку взял. Ты бы то при
35:05
этом ты помнишь, как это всё было просто. То есть просто как ты ощущаешь себя, зная, что как бы с тобой это
35:10
делают, по сути, знаешь, что это так сработает, как бы.
35:15
Ну, ну то есть Угу. Ну, слушай, то есть просто крыски полят, что вот если, например, ей вот
35:22
запретят, то у неё будет как бы отвращение и всё. А вот как бы если ты знаешь, что это будет делать, ты можешь
35:28
как бы, ну, типа осознавать, что это не так. Ну, как бы можешь можешь можешь. Смотри, и на самом
35:34
деле ты легко можешь вспомнить такие события, которые с тобой происходили, хотя тебя в томографа никто не помещал.
35:41
Аа представь себе ситуацию, в которой ты знаешь, что тебе нужно это делать, но у
35:46
тебя не получается. И вот это вот как бы разочарование от того, что я делаю, делаю, долблюсь
35:53
головой стенку, а это контрольное по алгебре не пишется. А это вот это вот ощущение, когда уже просто выкручено всё
36:00
на максималках. Ты это делаешь, а, блин, всё равно не получается, и ты уже ничего
36:05
не хочешь делать. Это вот это вот чувство. Ты всё ещё понимаешь, что, вообще-то, это нужно и полезно и хорошо.
36:10
Но оно не работает, оно не результат не достигается. Вот ощущается это именно
36:16
так. Вот так работает, когда ты совершил поведение, а прилежащее дро не активировалось. Ты вроде бы подвинулся в
36:23
сторону цели, но прилежащее дро не активировалось. Вот так это чувствуется изнутри. Вот такая штука.
Положительное и отрицательное подкрепление
36:32
Давайте посмотрим на работу этой самой системы в контексте разного размера
36:39
получения награды и в контексте социального поведения. Вот посмотрите на
36:45
этих двух капуцинах в известном эксперименте Франца Деваля. Что делал Франц Деваль? Он обучал капацинов, что в
36:51
ответ на вот такой вот жест просьбы экспериментатора, нужно принести ему
36:58
камушек, и за это ты получишь вкусненький, очень приятненький огурец, что, в общем, как бы, конечно, водичка,
37:05
но в целом тоже какая какая-никакая еда. Аа и, э, капуцины, как вы сейчас
37:11
увидите, замечательным, чудесным образом обучаются это делать. И вот, собственно,
37:17
посмотрите, что происходит. Мы протягиваем руку одному из капуцинов. Капуцин сейчас принесёт камушек, вы это
37:23
увидите на видео. И, соответственно, разумеется, будет доволен абсолютно своей жизнью. А вот он съел, видите, э
37:31
огурец и доволен. У него выделился дофамин в прилирающем ядре, потому что он получил еду. Очень здорово. А вот
37:38
посмотрите, второй капуцин принёс и получил за это, видели, виноградинку
37:44
первый принёс и снова получил огурец. Опа.
37:50
Что произошло? Снова смотрите, второй капуцин приносит нам камушек и получает
37:56
за это снова виноградинку.
38:01
Первый это видит, конечно, попытается повторить. Всё-таки ещё он ещё не окончательно разочаровался в жизни и но
38:08
снова получит огурец и снова откажется от награды. Вот это довольно поразительная штука.
38:15
Что в этот момент происходит в мозгах у этих двух замечательных капуцинов? Капуцин, который внезапно вместо огурца
38:22
получил виноград, счастлив до безобразия. Пик дофамина в прилежащем
38:30
ядре, а именно дофамин является тем нейромедиатором, который активирует прилежащее ядро. в этот момент
38:36
подскакивает просто до небес, потому что одно дело привычная награда, там пролежащей ядро едва дёрнется, а вот
38:43
награда выше ожидаемой — это кайф. Значит, мы что-то сейчас сделали такое,
38:49
что позволило нам получить аж целую виноградину. Очень круто. Понятно, что
38:54
этот реальный второй капуцин не сделал ничего такого, чтобы получить не огурец. Это экспериментаторы нагло ему выдали
39:00
этот самый виноград. Но в реальной жизни так не бывает. В реальной жизни, если тебе вдруг насталась дограда побольше, значит, наверное, ты что-то сделал для
39:07
того, чтобы это получить. И это что-то надо повторять. Для этого надо активировать прилежащее ядро, чтобы нам захотелось повторять поведение. И это,
39:14
собственно, делает дофамин. Ну что происходит с первым капуцином? Он увидел, что, вообще-то говоря, можно
39:21
получить виноградину. Мы не будем предполагать, что он там как-то завидует второму капуцину или что
39:27
это там какое-то такое социальное недовольство. Нет, совершенно не обязательно. Он просто увидел, что можно
39:33
получить виноград. И он на это, вообще-то говоря, наверное, теперь рассчитывает. Он совершает
39:38
действие, чтобы получить этот самый виноград, но получает снова огурец. Но
39:44
ожидал-то он получить виноград. А раз он ожидал получить виноград, а получил огурец, то уровень дофамина в его
39:52
прилежащем ядре будет падать, а не расти. И он будет этот самый огурец
39:57
воспринимать не как награду, а как наказание. И он будет отказываться от этого самого огурца, швырять его в
40:03
экспериментатора. Потому что, в смысле, потому что я, вообще-то, ожидал виноград получить. Я же видел, что это возможно.
40:09
Почему мне не достался виноград? Обратите внимание, как прилежащее ядро умеет тонко работать с тем, что мы
40:18
ощущаем наградой. Нас полностью устраивал огурец до этого эксперимента, не было вообще никаких проблем.
40:25
Но теперь мы настроились на виноград. И то, что для нас когда-то было наградой, оказалось наказанием, хотя только что
40:33
всё было в порядке. Мы были абсолютно удовлетворены жизнью. И это очень важное
40:38
отличие того, что мы сейчас понимаем под обусловливанием от того, что Павлов в начале прошлого века под ним понимал.
40:46
Награда — это не просто какая-то вкусняшка. Награда — это то, что соответствует или превышает наше
40:52
ожидание. А если это не доходит до наших ожиданий, то ни фига это не ощущается как награда,
40:59
а ощущается как отрицательное подкрепление. Мы от него даже вот отказаться можем. Хотя, казалось бы, это
41:05
что-то приятное. Вот такая вот поразительная штука.
41:10
Таким образом, на самом деле, дофаминовая система, влияя на прилежащее ядро, делает две очень хитрые вещи.
41:17
В тот момент, когда вам дали награду привычную, да, едваедвае едва
41:23
подскакивает, и вы привычным образом совершаете привычное поведение. Вам дают виноград, всё взлетает наверх. Если вам
41:30
дадут виноград второй раз, всё тоже взлетит наверх. Третий уже не так взлетит. Четвёртый уже не так взлетит.
41:36
На десятый раз дефаминь привыкнет, а, к винограду и будет, соответственно, уже
41:42
нормально на него реагировать без зрязких пиков. Так, собственно, работает система привыкания к хорошему. Точно так
41:49
же работает система привыкания к плохому. Нам дали огурец вместо винограда. Дофамин в прилежащем ядре
41:55
упал. Прилежащее ядро не активировалось. Отвращение, разочарование. Уйди, мерзкий
42:01
огурец, от меня. Но постепенно далее второй раз огурец, третий огурец,
42:06
десятый огурец. Постепенно к этому мы тоже привыкнем. К плохому дофаминовая
42:11
система точно так же привыкает, как к хорошему. И на самом деле всё тут вернётся на круги своя. Рано или поздно
42:16
он перестанет вышвыривать огурец, а вполне себе снова вернётся к тому, что, ну, видимо, как бы не судьба. Видимо,
42:22
мне в этой жизни достаются только огурцы и ничего больше. Вот такая вот
42:27
удивительная внутренняя система ощущений того, что является наградой, а что является
42:34
наказанием. Давайте посмотрим на то, как это влияние
Вентральная область покрышки
42:39
на прилежащее ядро умеет так, собственно, тонко настраиваться, чтобы ощущение награды запускало
42:47
поведение не исходя из размера награды, а исходя из наших ожиданий от будущего.
42:53
Для этого надо, собственно, посмотреть не на прилежащее дро как как таковое, а
42:58
на ту структуру в нашем мозге, которая посылает дофаминовые сигналы в прилежащие дро. И эта структура
43:05
находится вот здесь вот, в среднем мозге человека, в среднем мозге капуцина с
43:10
предыдущего видео, в среднем мозге крыски и так далее. Возьмём ствол мозга человека. Напомню, что ствол — это то,
43:17
что находится в глубине, на чём лежит шапочка и собственно корабльших полушарий. И берём среднюю часть ствола,
43:22
которая так и называется средний мозг. И вот срез среднего мозга выглядит вот таким вот образом. Тут человечек устал,
43:28
лёг на животик, потому что, э, 10 утра и лежит на этом самом животике в 10:00
43:34
утра субботы. И, соответственно, вот тут мы видим верхнюю часть, а, или, по-умному дорзальную часть среднего
43:40
мозга и брюшную часть среднего мозга, то есть вентральную, вот эту вот нижнюю часть среднего мозга. Что мы видим на
43:46
этом самом свете? Вот здесь вот находится замечательная дырка. Это прямо
43:52
дырка буквально. Она заполнена жидкостью. Это так называемый Сильвив водопровод.
43:57
по нему ликвор двигается там из центра спинного мозга в головной обратный и, в общем, вымывает всякую гадость из
44:06
нашего головного и спинного мозга. Над
44:11
Сильвием водопроводом находятся вот такие вот чудесные бугорки или холмики. Вот конкретно это
44:18
зрительный бугор. Кроме зрительных бугров бывают ещё там слуховые, например, бугры. Они образуют структуру,
44:24
которая называется четверохолмия, и она находится где-то вот как бы в задней спинной части этого самого среднего
44:30
мозга. Эти холмики — это совершенно удивительная штука. В них есть нейроны, которые умеют детектировать новизну.
44:37
Именно они умеют реагировать на то, что внезапно вокруг вас происходит. На вас внезапно вылетел хищник из кустов. Это
44:44
вот, собственно, четверохолми узнают и передадут эту информацию в лимбическую систему. На вас вылетел случайно
44:50
виноград из кустов вместо огурца. Это обратит внимание четверохолмия и передадут сигнал в дофаминовую систему.
44:56
Это в этом смысле не часть лимбической системы, но очень важный вход тоже в неё. И вот крыша таким образом, то есть
45:05
то, что находится сверху этого самого среднего мозга, она и состоит из этих самых зрительных бугров с нейронами
45:11
детекции навизны. Но если есть крыша, то под ней будет находиться удивительная
45:19
структура, которая называется покрышка. И вот покрышката нас сегодня с вами
45:24
интересует в первую очередь, потому что, да, вот это вот тоже важная часть,
45:30
которая называется не ножка мы жичка, не смотрите, это я тут опечатался, это ножка мозга, разумеется, мычок, мягко
45:36
скажем, не там. Мычок — это часть заднего мозга, а мы тут говорим о среднем мозге- это ножки мозга. Но нас с
45:42
вами интересует покрышка. И посмотрите, вот тут вот есть какая-то такая странная аббревиатура ВТА. Ну, — это тегментум
45:51
area, то есть область покрышки полатыни. Ну, а V — это вентрал, вентральная
45:58
область покрышки. Вентральное то, что на брюшной стороне находится. Мы же лежим на животе здесь, да? И вот на брюшной
46:03
стороне покрышки находится вентральная область покрышки. И вот именно она
46:09
является ключевой частью дофаминовой системы. Именно вот эти вот нейроны
46:15
вентральной области покрышки среднего мозга и синтезируют существенную часть дофамина нашего мозга. Итак, что они
46:24
делают? Задача этих самых дофаминовых нейронов среднего мозга собрать со всего
46:31
мозга информацию о, собственно, возможности получить награду. В том числе информация сюда придёт из четверо
46:37
холми о том, что мы внезапно увидели, но и из разных других отделов мозга тоже туда будет собираться информация.
46:45
Из четверохолме о навизне из прифронтальной коры о каких-то тех
46:50
целях, которые мы хотим достигнуть, о каких-то наших идеях и так далее. Ну и из любых других областей мозга сюда тоже
46:57
обязательно будут входы. Это такая важная информационная воронка. Итак, нейроны ВТА немножечко обучились
47:05
на наших желаниях, обращают внимание на нови навизну и так далее. А дальше их
47:11
задача, собственно, взять дофамин и плюнуть им в прилежащее ядро, чтобы
47:17
увеличить вероятность совершения того поведения, которое будет соответствовать, собственно, к некоторым
47:23
установленным целям. Плюёмся дофамином в прилежащее ядро для того, чтобы повторять то поведение,
47:29
которое приводит к насде, которой мы ожидали. Если нас устраивает
47:35
огурец, то огурец. Если огурец нас перестал устраивать, потому что мы заметили четырохолмем, что можно
47:42
получать виноград, то прифронтальная кора изменила некоторые наши цели. И таким образом мы
47:48
будем плеваться дофамином в прилежащее ядро только если мы получаем этот самый
47:54
виноград. А если не получаем, то плеваться дофамином не будем. И будем возмучаться и будем отказываться,
47:59
соответственно, от этой самой награды, считая её чем-то отвратительным.
48:04
Вот такая вот красота. Как это происходит?
Дофамин!
48:11
Вот смотрите. Берём дофаминовую систему, берём вентральную область покрышки и
48:18
плюёмся дофамином в прилежащее ядро, когда получаем награду. Вот этот вот график, он демонстрирует очень простую
48:24
штуку. Он демонстрирует уровень дофамина в прилежащем ядре. И вот, собственно, посмотрите, в тот момент, когда мы
48:31
получаем какую-то награду, виноград или огурец, если он нас устраивает, у
48:39
нас есть дофаминовый плевок из вентральной области покрышки в прилежащее дро. Вот этот вот небольшой
48:44
горбик тут есть. Но посмотрите, что находится перед ним. Это, собственно, условный сигнал, когда
48:51
крыски, например, нужно нажать на рычаг, чтобы получить награду. Ну или это вот такой вот сигнал, когда капуцину нужно
48:59
принести камушек вместо нажатия на рычаг, чтобы получить награду. И
49:04
обратите внимание на вот этот вот дофаминовый город. В этот момент вентральная область покрышки ещё
49:10
активнее, чем во время получения награды, и плюётся ещё большим количеством дофамина в прилежащее ядро.
49:17
Почему так? Потому что на самом деле дофаминовая система — это не система
49:22
удовольствия как такового. Удовольствие — это скорее там всякие эндорфинчики.
49:28
Дефамин — это то, что является системой мотивации. Это то, что запускает
49:33
поведение. И поэтому этот гор ответ на условный сигнал, когда включается лампочка и надо
49:40
дать лапку или надо нажать на рычаг или подаётся рука и надо принести камушек.
49:46
Это то, что будет запускать в этот момент поведения, приводить к нажатию на рычаг, приводить к добыванию камушка и
49:52
так далее. И так, собственно, и работает то самое оперантное обусловливание, когда есть
50:00
условный стимул, включение лампочки, вот этот вот жест принеси камушек или что-то
50:05
ещё в этом духе, в ответ на который нужно совершить некоторую операцию, в смысле действие какое-то. Не просто
50:11
слюной покапать, как у собачек Павлова, а прямо действие совершить, принести,
50:17
нажать, покрутиться вокруг своей оси, сделать сальто, не знаю, что поздороваться. всё, что угодно.
50:25
И обратите внимание, что этот тип обучения имплицитного возможен только
50:31
тогда, когда вот этот первый горбольше второго. Что будет, если нейробиологический дофамина будет больше
50:38
выделяться на награду, то есть в ответ на безусловный стимул, чем на сигнал,
50:44
который является условием, который является условным стимулом? Ну мы просто будем лежать и ждать вкусняшку и ничего
50:50
делать не будем. Дофамина здесь больше, потому что и удовольствия, и мотивации должно быть
50:56
больше от совершения действия, направленного на получение награды, чем от собственной награды. Когда наступит
51:04
Новый год и мы все побежим, значит, под ёлочку искать подарочки, гораздо больше
51:10
удовольствия, согласитесь, занимает процесс вот этого вот бежания, ожидания, поиска, чем, собственно, ту фигню,
51:16
которую вам в итоге подарят. Вот это вот предвкушение играет гораздо большую роль, потому что это то, что
51:23
заставляет вас действовать. Важно не получить награду, а что-то сделать, потому что в реальной жизни награды не
51:29
сыпятся из-под ёлочек сами по себе. Надо что-то делать несчастной крыске, несчастному капуцину, чтобы получить
51:35
виноградик. Вот так вот эта система работает. Разумеется, этого есть некоторая
51:41
обратная страна. Дофаминовая система работает очень быстро. гипокампу для
51:48
того, чтобы что-то запомнить. Там, помните, нейроны детекции повторения, бла-бла-бла, всё, что мы с вами на на
51:55
лекциях по нейроцитологии обсуждали, там глутомат, там очень долгое происходит обучение. Нам нужно повторять и
52:01
повторять и повторять информацию, чтобы её запомнить. Но дофабиновая система работает без
52:07
всякой детекции повторения. Это очень быстрое обучение с первого раза. Вам
52:12
достаточно один раз увидеть, что можно получить виноград, как вы уже тут же это запомните. Никакой детекции повторения,
52:19
очень быстрое обучение. Это приводит неизбежно к возникновению
52:25
неверных причинследственных связей. Это неизбежно приводит к тому, что время от времени вы увидели, что если, значит,
52:33
ответственно, не знаю, у вас упала на пол ложка, и тут вам мама, значит, принесла какую-то вкусняшку, вот,
52:40
значит, падение ложки это к дополнительной еде. А, хотя это случилось один раз и вообще ни о чём не
52:45
говорит, но ваша дофаминовая система уже это запомнила, уже это зафиксировала. Так возникают суеверия, типа, когда
52:52
нельзя переходить дорогу, ээ, если Чёрная кошка перешла её и так далее. Вот это вот всё абсолютное безобразие, да,
52:59
это быстрое дофаминовое обучение, которое работает буквально считанных раз. С одной, из двух попыток оно уже
53:06
работает. Аа оно помогает нам очень быстро подстраиваться подменяющуюся
53:12
среду, выискивать способы получать виноград вместо огурца и так далее. Но
53:18
оно же не даёт нам, соответственно, как-то критически подходить к окружающей
53:24
среде. Гиппокамп умеет перестраиваться, умеет забывать неактуальное, умеет
53:29
запоминать новое. То, что мы с вами подробно обсуждали в прошлый раз. Афамивая система не очень умеет. Она
53:35
увидела, что это привело к награде и качественно это запомнила. И мы будем это помнить, пока это не приведёт нас к
53:42
наказанию. Собака научилась давать лапку в ответ на соответствующую команду. И дальше можно о том, что вообще-то как бы
53:50
мы изначально тут её за это кормили вкусняшками, можно там раз в месяц про это вспоминать. То есть если вы вообще
53:56
не будете про это вспоминать совсем никогда, то всё-таки она это забудет и не будет вам давать лапку. Но достаточно
54:02
очень редких подкреплений, чтобы собака продолжала вам давать лап. Хотя награды
54:07
тут нету. Когда собака выполняет команды — это типичное суеверие. вы награду ей перестали давать, а она
54:14
всё ещё это делает, потому что вы когда-то несколько раз это сделали. Вот такая, на самом деле, ээ поведенческая
54:21
модель здесь работает в дофаминовой системе. А вот, собственно, как её изучали. Придумал, собственно, эту самую
54:28
систему изучения замечательный бихвиарист, а скиннер, который придумал
54:33
так называемые ящики скиннера, а в которых есть какие-то кнопочки, рычаги,
54:38
верёвочки. Вот если дёрнуть за правильную верёвочку, нажать на правильный рычаг, э то, соответственно,
54:44
получается награда. Вот так вот, собственно, Скиннер в прошлом веке изучал оперантное обусловливание. Ну, разумеется, делаем это обычно не на
54:51
детях, а на каких-нибудь голубях или на крысках. Но вот тут вот, собственно, его дочка, с которой он тоже, разумеется,
54:58
такие эксперименты не удержался, а проводил. И вот она училась дёргать за верёвочки, чтобы получать игрушки и
55:04
вкусняшки. При этом, разумеется, также как с голубями и крысами никто этому ребёнку не рассказывал, что дёрнешь за
55:09
эту верёвочку, получишь вкусняшку. Нет, ребёночек совершил случайные действия. В какой-то момент дёргание за правильную
55:16
верёвочку в правильном направлении приводило к тому, что он давал поиграть своей дочкой. И, разумеется, каждый раз
55:22
после этого, когда мы помещали дочку в эту самую, в этот самый ящик, она дёргалась за нужную верёвочку, так же
55:28
как крыса теперь обучалась нажимать на нужную клавишу, а капуцин научался э
55:34
выдавать там камушек. Вот такая вот довольно универсальная в итоге схемка.
55:41
А теперь посмотрите на этот совсем уж поразительный график. Мы немножко
55:47
поменяем наш эксперимент с рычагом и будем выдавать награды вкусняшки не в
55:53
100% случаях, а в 50% случаев. И тогда появится ещё и вот этот вот третий
56:00
средний горб дофамина, самый большой. Как вы думаете, зачем он нужен,
56:10
чтобы мы не забывали о том, ну, то есть у нас уже в дикой природе 100% награда
56:16
как бы не будет, но при этом действия, которые не будут вести, как бы ээ они нам важны, поэтому мы как бы будем их
56:23
заповедать как раз. И даже если нам не будет что-то даваться, мы всё равно будем это делать. Ну, как бы,
56:30
потому что шанс этого есть. Да. Да. Да, да, да, ровно так. Абсолютно верно. И именно такая история. И более
56:38
того, вот в этом эксперименте мы выдаём награду в 50% случаев по броску монетки.
56:44
Но в реальной жизни нам награда достаётся не по броску монетки. Мы всегда можем повлиять на вероятность
56:50
получения награды. Можно что-то сделать ещё, чтобы 50 превратить в 80, а лучше в
56:55

И это тоже система мотивации. Это то, что заставляет нас и помнить, что тут,
57:01
ты абсолютно прав, но и как-то видоизменять поведение, чтобы увеличить вероятность получения награды. Вот такое
57:07
вот обучение тоже работает. И, как вы видите, этот горб довольно большой при высокой неопределённости. То есть на
57:13
самом деле мы лучше учимся не когда мы получаем награду всегда, когда мы
57:18
получаем то получаем, то не получаем награду. В этот момент мы ищем, как улучшить своё поведение, и обучение
57:25
происходит лучше при такой вот непредсказуемой вполне себе ситуации.
57:30
Действительно, уровень дофамина подскакивает. Это то, что этологи, учёные, изучающие поведение, называют
57:37
апетентным поведением. В этот момент к рефлексу добавляется некоторая поисковая
57:42
вариабельность. Это и есть апетентное поведение, когда животное пытается что-то ещё сделать, чтобы получить,
57:49
чтобы найти награду с большей вероятностью. Раньше в этой норке всегда была награда, а теперь то есть, то нет.
57:55
Так, надо придумать, что, собственно, происходит. Как бы, что бы такое сюда кнорки подтащить, чтобы награду получать
58:01
с большей вероятностью, а, и, соответственно, с меньшей вероятностью встречать хищника в этой самой норке.
58:07
Это есть поисковое вариабельное апетентное поведение, которое тоже стимулируется дофаминовой системой.
58:13
А теперь вопрос на засыпку. Как думаете, что произойдёт, если награду мы будем выдавать не в 50% случаях, а в 75? Что
58:23
будет с горбом дофамина?
58:33
Тимур, не слышно тебя. Может, он понизится, типа будет меньше
58:42
стабильне, да? Потому что что нам, собственно-то, делать ещё как-то стараться, если скорее всего мы награду получим.
58:48
Но что произойдёт, если награду мы будем выдавать в ужасающих 25% случаев?
59:00
Всего это зависит от приоритетности. То есть, если у нас штука важная, то он
59:06
будет расти ещё больше, потому что нам А если эта штука, например, которая вызывает слабую дофавильную реакцию в
59:12
целом, то вы её, скорее всего, как бы он ещё понизится, потому что нам это не особо нужно.
59:18
Супер. Ровно так. То есть получается, что для средней награды, неважно, мы двигаемся в сторону 70% случаев или 25%
59:26
случаев, мы увеличиваем степень неопределённости, а мы наоборот уменьшаем степень неопределённости. В одном случае, скорее
59:32
всего, получим, в другой скорее не получим. Ну так и что стараться? И уровень дофамина падает. Но
59:38
действительно, есть же субъективное чувство ценности. Если мы очень хотим получить награду, а нам его не
59:43
достаётся, то первое время мы будем стараться ещё сильнее. Потом, конечно, мы всё-таки уберём этот горб, потому
59:50
что, ну, не получается и ладно. Но первое время действительно оно может расти. Полностью с тобой согласен. Ровно
59:56
так. А теперь давайте финальный раз поменяем этот эксперимент и посмотрим, что будет
1:00:01
происходить в ещё более наглых ситуациях. Представьте себе, что мы
1:00:07
подкрепление награду даём не сразу после нажатия на рычаг, как здесь, а через какое-то
1:00:14
время. Как думаете, что будет происходить с дофамином, если награда отложенная?
1:00:25
расти будет ещё больше будет ожидания. Да, абсолютно верно. Чтобы мы активно
1:00:31
ждали и никуда не уходили, ожидая этой самой награды, приплясывая вместе. Ну когда
1:00:37
уже нам скажут наши оценки? Ну когда уже нам достанется наша вкусняшка? Ну когда уже начнётся перемена и так далее, и так
1:00:43
далее, и так далее. Ровно так, да? Ой, так что-то опять всё зависло. Во,
1:00:49
развисло. Класс. Вот так вот это будет выглядеть, да? Вот он тоже будет длинный
1:00:55
этот самый средний горб активного ожидания, который будет поддерживать нашу мотивацию на постоянно работающем
1:01:01
уровне. Ровно так. Но при этом обратите внимание, что это же всё не просто какая-то абстрактная активность
1:01:08
прилежащего ядра. Мы в этот момент из вентральной области покрышки плюёмся туда дофамином. То есть мы тратим
1:01:14
ресурсы на это самое ожидание. Это означает, что рано или поздно то
1:01:21
количество ресурсов, которое мы потратим на синтез дофамина, на ожидание, превысит, возможно, размер награды. Ну и
1:01:27
желательно до этого момента, конечно, не доходить. Это то, что называется дофаминовым штрафом за задержку.
1:01:35
Тратим ресурсы на ожидание, значит, в какой-то момент мы ждать обязательно перестанем, чтобы всё-таки не потратить
1:01:41
ресурсов на ожидание больше, чем на получение от вкусняшки. И это является той самой точкой, когда мы меняем
1:01:48
поведенческую модель, когда мы столько уже ждём, что всё, хватит ждать, меняем
1:01:54
поведенческую модель, делаем что-то другое. Вот такая вот история. Так
1:01:59
меняются выученные типы поведения. Ну, а теперь давайте посмотрим на эту
Покрышка и наказание
1:02:07
историю не на уровне общего дофамина в пролежащем ядре, а посмотрим на неё с
1:02:13
точки зрения тех самых нейронов вентральной области покрышки, которые дофамином плюются в прилежащие, и
1:02:20
посмотрим, как они внутри этой самой системы работают. Вот посмотрите. Нижний график показывает усреднение по
1:02:27
семнадцати нейронам, который проявляет свою активность во вентральной области покрышки. Верхний график — это один
1:02:34
конкретный выделенный нейрон. И видно здесь по этим графикам, что эти самые
1:02:40
нейроны третьего типа вентральной области покрышки выделяют больше дофамина, тьфу, дофамина, в данном
1:02:47
случае не дофамина, как вы догадываетесь, но выделяют больше нейромедиатора и проявляют большую
1:02:52
активность. в ответ на пунишмент, в ответ на наказание, а в ответ на награду, наоборот, тут
1:02:58
скорее активность падает. Это нейроны, детектирующие отрицательное
1:03:04
подкрепление. Они обязательно есть в винтральной области покрышки. Разумеется, они не используют дофамин,
1:03:09
они используют гамк, гаммааминомасляную кислоту, главный тормозный медиатор мозга. Их задача не дать нам делать то
1:03:17
поведение, которое приводит к наказанию, к пунишменту. Соответственно, в ответ на негативный
1:03:23
стимул они усиливают активность, а в ответ на положительный, вот этот вот рыженький, на наоборот чёрненький,
1:03:29
серенький на наказание, они резко ослабляют свою активность, чтобы, соответственно, не тормозить поведение.
Позитивные ожидания
1:03:36
Но всё-таки хочется учиться в основном на позитивных опытах, на позитивном подкреплении, а не на негативном.
1:03:43
Поэтому давайте посмотрим на нейроны второго типа, которые устроены интереснее.
1:03:48
Посмотрите, что нейроны второго типа, в отличие от нейронов первого типа, умеют делать. Они находятся не в самой
1:03:55
вентральной области покрышки, а в так называемом хвосте. Да, у покрышки среднего мозга есть два хвоста.
1:04:02
Собственно, один у правой покрышки, другой у левой покрышки. Два хвоста. И вот нейроны хвоста умеют делать
1:04:09
удивительную штуку. Посмотрите на эти графики. А сереньким квадратом мы обозначаем,
1:04:15
собственно, стимул. Лампочка включается, рука протягивается и момент нажатия на
1:04:21
рычаг, момент предоставления камушка. Вот это серенький квадратик. И обратите
1:04:26
внимание, что активность этих самых нейронов второго типа, которые находятся в хвосте, они растут сразу в тот момент, когда мы
1:04:35
получаем сигнал о том, что можно начинать действие. В ответ на условный стимул, активность
1:04:41
этих клеток растёт, а потом держится держится всё время ожидания. и даже
1:04:46
какое-то время держится после получения награды. Вот тут вот
1:04:53
это не нейроны, запускающие поведения. Нейроны второго типа — это нейроны, кодирующие ожидания
1:05:00
о награде. Мы ожидаем получить от нашего действия виноград.
1:05:06
Фигак подняли активность и держим его долгое, долгое, долгое, долгое время.
1:05:11
Такой единый большой горбик. И это тоже недофамин.
1:05:18
Эти нейроны среднего мозга тоже выделяют недофамин, а совершенно другой
1:05:23
нейромедиатор. Они выделяют гамк в очередной раз тормозный нейромедиатор, гаммааминомасляную кислоту. И обратите
1:05:30
внимание, что чем выше уровень награды, тем выше график. Вот у нас средний
1:05:35
уровень награды, вот у нас высокий уровень награды. Это и есть те самые позитивные ожидания.
1:05:42
Более того, эти позитивные ожидания работают с таким суммирующим эффектом. Дело в том, что нейроны хвоста ВТА
1:05:48
связаны друг с другом теми самыми щелевидными контактами, которые мы с вами пару лекций назад уже обсуждали.
1:05:54
Там находятся не химические синапсы между ними, а электрические синапсы.
1:05:59
Один нейрон ожидания получил информацию о том, что о виноград, виноград, виноград, виноград и возбуждает соседние
1:06:06
нейроны напрямую сразу, очень быстро через электрические сигналы, без всяких нейромедиаторов.
1:06:12
Если кто-то из соседей получил тоже информацию об ожидании, он нас уже, в свою очередь возбудит, чтобы это
1:06:17
ожидание накапливалось, накапливалось, накапливалось, накапливалась, собиралась из любых источников. Поэтому тут такие
1:06:23
мощные горбы, потому что они суммируют все входящие сигналы о том, что мы ожидаем или не ожидаем получить.
1:06:30
Но напомню, что это тормозные нейроны.
1:06:35
Запомните эту мысль, она нам через пару слайдов очень пригодится.
1:06:40
Ожидание — это штука тормозных. Ну а вот, наконец-то, нейроны первого
Когда выделяется дофамин?
1:06:45
типа. И посмотрите на эти графики. Они очень, наконец-то, похожи на то, что мы с вами
1:06:53
только что рисовали на таких упрощённых схемках, на то, что происходит в прилежащем ядре. Вот нейроны первого
1:06:59
типа — это, наконец-то, дофаминовые нейроны, которые включаются в ответ на условный стимул и включаются в ответ на
1:07:07
безусловный стимул, а между ними пауза. Это самый важный и самый многочисленный
1:07:15
тип нейронов вентральной области покрышки среднего мозга. Их задача среагировать на условный стимул,
1:07:21
запустив поведение, и, соответственно, среагировать на награду, получив
1:07:26
удовольствие от неё. Но есть нюанс. Посмотрите, нижняя картинка — это усреднение по там с
1:07:34
каким-то там по со0ка нейронам. Верхняя картинка — это один конкретный нейрон.
1:07:40
Обратите внимание, что в среднем они реагируют и на условный стимул, и на безусловный, на награду. Но вот этот,
1:07:47
например, нейрон на награду уже не реагирует. Более того, со временем
1:07:54
эти 40 нейронов перейдут все вот в это состояние. Почему второй горб ниже первого?
1:08:01
Потому что нейроны потихонечку обучаются тому, что в ответ на неожиданный стимул
1:08:07
они получают ожидаемую награду и перестают на неё реагировать, чтобы безусловный стимул вызывал меньшее
1:08:15
удовольствие, меньшую мотивацию, чем условный, чтобы мы хотели что-то делать, чтобы получать награду. Вот так вот
1:08:22
ровно это и происходит, да. по мере обучения вот этот вот горб будет снижаться и будет переходить вот в это
1:08:28
вот верхнее привычное состояние. Таким образом, именно нейроны первого
1:08:33
типа, с одной стороны запускают поведение, выделяя дофамин в прилежащееро, а с другой стороны чутко смотрят на то,
1:08:42
был достигнут результат или не был достигнут результат. За счёт чего они это делают?
1:08:50
В чём разница между активностью нейронов первого типа и нейронов второго типа? Нейроны второго типа имели единый горб
1:08:57
вот такой вот. Давайте я его прямо даже нарисую, чтобы прямо как-то вы особенно поразились. Нейроны первого типа,
1:09:04
нейроны второго типа реагировали вот так, правильно?
1:09:10
А тут почему-то есть вот какая-то ямка посередине, как будто бы кто-то сдёрнул этот самый сигнал вниз.
1:09:16
И на самом деле мы знаем, кто сдёргивая этот самый сигнал вниз. Догадаетесь?
1:09:25
Как раз тормозные, да, как раз-таки тормозные нейроны второго типа. Ровно так. Смотрите, какая
Обучение дофаминовой системы
1:09:32
получается в итоге суть работы вентральной области покрышки. Вот
1:09:37
посмотрите, есть информационная воронка, получающая информация о стимулах, о том,
1:09:43
что нам надо сделать. Нам протянули руку. Ура! Надо действовать. Включили лампочку, позвонили в колокольчик, а поместили в
1:09:51
ящик скиннера, где есть какие-то верёвочки. Надо действовать. Здорово. Информация о стимулах собирается из
1:09:57
разных разных разных разных частей мозга, которые мы с вами не проходили по большей части, но ещё успеем пройти. Ну
1:10:04
то есть вот у нас есть, конечно, там какой-нибудь э гиппокамп, который тут, разумеется, присутствует, да, как важный
1:10:10
элемент лимбической системы. Вот из него есть вход. Есть вход из там параквидукулярного серого вещества
1:10:17
среднего мозга. Это тоже важный центр двигательной активности. Есть вход из
1:10:22
тех самых четверохолмий, вот они суперр каликул, зрительные бугры, которые мы с вами тоже в среднем мозге видели. Есть
1:10:29
из хабенула, из разных других систем вход, неважно. Он со всего мозга собирается сюда о том, что вот нам
1:10:35
сказали или мы увидели какую-то ситуацию, в которой можно потенциально получить награду. Активируем дофаминовые
1:10:41
нейроны, чтобы послать сигнал вот сюда вот в прилежащее ядро на то, чтобы что-то сделать или в прифронтальную
1:10:48
кору, чтобы не сделать, а подумать, неважно. А, в общем, посылаем сигнал на поведение.
1:10:55
Но одновременно есть информация и об ожиданиях тоже. И
1:11:01
это вот эта вот вторая воронка. Вот он хвост ВТА. Towta
1:11:10
с тормозными красненькими гамкаргическими нейронами, который собирает тоже со всего мозга, но
1:11:16
информацию не о ситуации, где можно получить награду, а информацию о том,
1:11:21
что вообще, какую мы награду тут ожидаем, исходя из прошлого опыта, исходя из наблюдения за нашим соседом
1:11:28
Капуцином, который получал виноград и так далее. И это тормозная связь.
1:11:35
Мы один раз совершили действие.
1:11:40
Один раз совершили действие и получили сигнал ниже ожидаемого.
1:11:47
И больше мы это действие совершать не будем или будем с меньшей вероятностью.
1:11:53
Если ожидания выше реальности,
1:11:59
мы прекратим совершать действия, потому что сигнал из хвоста ВТА окажется больше, чем наше желание как-то
1:12:07
действовать в ответ на стимул. Нам снова протягивают руку, но нам уже не хочется
1:12:14
давать камушек, потому что ожидание выше, чем то, что этот стимул нам
1:12:20
обещает. А обещает он нам скучный скучный скучный огурец.
1:12:25
Вот такая вот штука. Оказывается, что мотивация дофаминовая,
1:12:31
за которую отвечают вот эти вот самые нейроны ВТА первого типа, они запускают
1:12:36
поведение только, если реальность соответствует или превосходит ожиданиям.
1:12:42
Если ожидания, идущие из хвоста ВТА, перетормаживают, то дофамина не пойдёт.
1:12:49
ожидания были выше реальности, мы не выделим дофамин в прилежающее ядро и на
1:12:54
следующем витке поведения не будем его повторять. Это то, что позволяет, с одной стороны,
1:13:00
усиливать целенаправленное поведение, но с другой стороны делать это только в том случае, если цель достигается.
1:13:07
А если не достигается, то мы, собственно, будем менять поведение вместо того, чтобы бессмысленным образом
1:13:13
повторять то, что есть. Контакт. Супер. А теперь обратите внимание на
1:13:21
финальную часть этой схемки. Вот тут написано, что дофамин, собственно, может выделяться в прилежащее ядро,
1:13:29
а может в прифронтальную корову. И это любопытная дихотомия. В прилежащее ядро
1:13:35
дофамин выделяется по вот этому вот так называемому мезалимбическому
1:13:41
дофаминовому пути. Почему он так называется? Ну, не за, потому что средний мозг, да, ведь вентральная
1:13:47
область покрышки находится в среднем мозге. Мезоллимбический путь, потому что прилежащей ядро, часть лимбической
1:13:52
системы. Мезолимбический путь, но путь, идущий из вентральной области покрышки в
1:13:58
прифронтальную кору, заставляющую нас думать, это уже не лимбическая система,
1:14:03
это так называемый мезортикальный дофаминовый. Вот вентральная покрышка среднего мозга.
Префронтальная кора
1:14:10
И вот мы плюёмся в прифронтальную кору по мезортикальному пути. Механика его
1:14:16
работы очень похожа на мезолимбический путь, но только, разумеется, он заставляет нас не столько действовать, сколько думать. Он отвечает за
1:14:23
исполнительные функции, за то, чтобы мы на чём-то сосредоточились, на чём-то
1:14:29
обратили внимание. Внимательнее слушатели, например, мой рассказ, а не птичек за окном. Он отвечает за рабочую
1:14:35
память. Рабочая память — это то количество объектов, которые мы держим в своей голове прямо сейчас. Вот я,
1:14:42
например, прямо сейчас держу в голове свой рассказ, держу в голове выражение ваших лиц, на которые я смотрю, чтобы
1:14:47
понимать, насколько вообще в курсе происходящего. Если одновременно начну я ещё и прыгать во время этой своей
1:14:52
лекции, я буду держать в голове ещё и эти прыжки. Вот уже три элемента есть в моей рабочей памяти. Дальше что можно
1:14:58
жонглировать начать или что-нибудь в этом духе, но мне лень. А я думаю, что вы суть поняли и таким вот вполне себе
1:15:04
образом. Таким образом, прифронтальная кора под воздействием дофамина лучше
1:15:10
обращает внимание, лучше удерживает в голове важные вещи, но и лучше планирует, соответственно, те самые
1:15:17
цели, которые мы хотим достигать. Ведь из прифронтальной коры есть важный вход
1:15:22
обратно в средний мозг вентральной области покрышки, точнее в хвост вентральной области покрышки. О тех
1:15:28
целях, которые мы перед собой ставим и которые мы, собственно, дальше будем достигать уже мезолимпическим путём. Вот
1:15:35
такая вот история. Но бывают и тормозные связи, идущие из прифронтальной коры. Дело в том, что
1:15:41
прифронтальная кора умеет тормозить ненужные типы поведения. Мы связываемся с хвостом ВТА, показывая ожидания. И эти
1:15:50
ожидания могут быть на действия, могут быть на отсутствие действия. Тормозный контроль тут тоже обязательно будет
1:15:56
присутствовать. Ну, ярче всего демонстрирует, опять-таки важность уже этого мезокортикального
1:16:02
пути. Те люди, у которых дофамина в нём не хватает, тогда возникают так называемые
1:16:08
когнитивные симптомы, синдромы дефицита внимания и гиперактивности СДВГ. А у
1:16:14
людей с СДВГ очень часто действительно понижена способность концентрироваться на важных вещах, достигать поставленных
1:16:21
целей. Они довольно легко начинают совершать действия люди э из спектра СДВГ, но потом, соответственно, как-то
1:16:28
не доводят дела до конца. Ровно потому, что в этот самый вход планирования, контроля над поведением, внимание
1:16:34
рабочее, понимаете, дофамина не хватает. В мезолимбическом пути там всё замечательно с дофамином. Там как бы
1:16:40
совершать действия, направленные на получение награды здесь и сейчас, пожалуйста. А вот на планирование в
1:16:46
мезокортикальном пути это сложно. Вот настолько на самом деле этот путь важен, и такую роль он играет, в том
1:16:53
числе в обучении любому поведению, потому что, как я уже говорил, прифронтальная кора имеет и обратную
1:16:59
связь с хвостом ВТА для того, чтобы как-то координировать ожидания и соотносить их с новыми типами поведения.
1:17:07
Вот такая вот история. Контакт. Супер. Ну что, на сегодня всё. С
1:17:15
обучением оперантному обусловливанию мы закончили. Скажите мне, есть ли у вас
1:17:20
вопросы ко мне по сегодняшней лекции?
1:17:28
Ну, получается, нет. Получается, нет. Эх, ну вот больше бы, э, конечно, схемку вот
1:17:35
общую какую-то сделать со всеми подписями, потому что, например, вот на первом ресункции на вы просто объясняли,
1:17:42
я пытался зарисовывать, но напереди всё. Вот, например, вот это вот Гиппакам зарисовал, например,
1:17:49
поисковилка руда, например, всё вот это расположение Ага. ядер там не это. Ну, то есть како было
1:17:56
бы схемку сделать, тебе там показано было вот как, ну, то есть от чего идёт,
1:18:01
чему, что запускает и потом отправляется на обработку. Сейчас несколько тем было.
1:18:07
Давайте, не вопрос. Класс. Давайте нарисуем. Давайте вот прямо сейчас вот на этом мозге, на котором толком ничего не нарисовано, давайте на нём нарисуем.
1:18:14
Всё, что нам требуется для собственно нормального поведения. Ну, не всё, разумеется, поскольку олимпическая система и вообще наш мозг, там всё
1:18:20
связано со всем, дащ обычно двусторонними связями. Но мы сейчас с вами радикально всё упростим и посмотрим, как это работает. Итак,
1:18:27
представьте себе, что вы много раз совершали привычное поведение, получали
1:18:34
огурец. У вас есть некоторые ожидания о том, что происходит, но тут вы увидели
1:18:42
четверохолмием среднего мозга, что можно получить виноград. Давайте нарисуем эту самую
1:18:48
связку. Вот тут есть глазик. По зрительному нерву
1:18:55
сигнал пойдёт, пойдёт, пойдёт, пойдёт вот сюда.
1:19:01
Вот тут вот будет, собственно, средний мозг с холмиками. И тут будут находиться нейроны детекции навизны в
1:19:07
четверохолнях. Они обратят внимание на то, что есть некоторая новизна. Обратят внимание на то, что есть,
1:19:12
соответственно, этот самый виноград, и отправят сигналы вентральную область
1:19:17
покрышки вот сюда о том, что ого, да, тут есть виноград.
1:19:24
Что же, интересно такое можно сделать, чтобы получить этот самый виноград? Давайте мы по мезокрартикальному пути
1:19:32
подумаем и спланируем программу действий, чтобы получить виноград. Например, заставим себя вне внимательно
1:19:39
последить за вторым капуцином, что он такое делает, чтобы получить виноград. Отправляем дофамин в мезокортикальный
1:19:45
путь. Прифронтальная кора капуцина думает и внимательно следит, что мы такое делаем. Ага. Кажется, он не просто
1:19:51
даёт камушек, а сначала там, не знаю, подпрыгивает и только потом даёт камушек. Здорово. Давайте будем делать
1:19:58
так же. Как работает эта связка? Прифронтальная кора формирует ожидание от поведения,
1:20:04
формирует план и передаёт этот план тоже вентральную область покрышки,
1:20:12
в хвост вентральной области покрышки. Вентральная область покрышки для начала, исполняя, собственно, программу
1:20:19
действий, плюёт дофамином в прилежащее ядро. Прилежащее ядро у нас вот тут вот
1:20:25
находится. И вот мы сюда, соответственно, плюёмся. Давайте я дофамин наконец-то нарисую
1:20:31
каким-нибудь другим цветом. Давайте каким-нибудь, а, ну, собственно, вот синеньким нарисован уже дофамин. Вот
1:20:37
давайте снова синеньким нарисуем. Вот сюда вот так вот плюёмся дофамином в прилежащие игру.
1:20:45
Совершаем действие. Но тут ужас. Оказалось, что
1:20:50
разочарование. Нам снова дали огурец. И информация об огурце приходит в хвост
1:20:55
ВТА. О, ужас, какой кошмар. Снова такое поведение мы уже будем с меньшим
1:21:01
желанием совершать, потому что ожидание не соответствуют реальности.
1:21:07
Вот такая выходит схемка. На второй раз мы будем мы перестанем
1:21:12
плеваться дофамином в полежащее ядро и перестанем запускать поведение. Вот
1:21:17
такая история. Контакт. Супер. Ну что, тогда на сегодня всё. Рад
1:21:25
был с вами позаниматься. Увидимся через неделю. Всем пока.