«Крёстный отец» искусственного интеллекта Джеффри Хинтон рассказывает о создании моделей ИИ, будущем ИИ и его применении, а также говорит о сравнении искусственного и биологического интеллектов.
*Прямая ссылка на видео https://www.youtube.com/watch?v=C8jKnXa0B2I
*Пересказ видео сделала нейросеть https://www.perplexity.ai/
Пересказ видео
- Искусственный интеллект (ИИ) на цифровых компьютерах может превосходить биологический интеллект, так как копии знаний могут бесконечно передаваться между машинами, в отличие от человеческого мозга, который уникален и связан с конкретным телом.
- Цифровой интеллект бессмертен, так как знания можно перенести на другой компьютер; у биологического интеллекта знания умирают вместе с мозгом.
- Цифровой интеллект обладает лучшими алгоритмами обучения, например, обратным распространением ошибки, которые пока не удалось воспроизвести в биологии.
- Существуют две школы мышления в ИИ — символьный (логический) подход и нейросетевой, где последние лучше подходят для восприятия и управления движениями.
- Нейронные сети учатся путем настройки весов между нейронами, что позволяет эффективно распознавать образы и языковые конструкции.
- Прорыв в нейронных сетях произошел в 2012 году с использованием свёрточных сетей и мощных графических процессоров, что резко повысило качество распознавания изображений.
- Быстрый прогресс в области ИИ позволил улучшить машинный перевод и другие задачи за считанные годы.
- Большие языковые модели, например GPT-4, демонстрируют понимание и рассуждение на основе анализа контекста и статистики.
- ИИ уже сейчас существенно повышает эффективность работы в различных профессиональных областях, от написания текстов до программирования и медицины.
- Опасения связаны с тем, что ИИ может превзойти человека по интеллекту в ближайшие 5-20 лет, что требует серьезного контроля и регулирования.
- Для обеспечения безопасности развития ИИ необходимы международное сотрудничество и эмпирические исследования по контролю за технологиями.
- Крупные технологические компании частично обеспокоены безопасностью ИИ, но при этом заинтересованы в прибыли, поэтому важна роль государства в регулировании.
- Молодым исследователям рекомендуется заниматься вопросами безопасности и контролировать развитие ИИ, не забывая слушать интуицию и искать новые подходы.
Расшифровка видео
0:00
Недавно вы дали несколько интервью, в которых сказали, что искусственный интеллект, используемый чатботами и
0:06
другими генеративными и может быть более совершенным, чем биологический интеллект, которым мы обладаем. Можете
0:13
ли вы вкратце объяснить, почему вы пришли к такому выводу? В цифровом компьютере всё устроено так, что вы
0:19
можете точно указать, что нужно сделать, и он сделает именно то, что вы ему скажете. И даже когда он чему-то учится,
0:26
два разных цифровых компьютера могут делать одно и то же с одинаковыми
0:32
знаниями. Это значит, что вы можете создать 10 копий одних и тех же знаний,
0:37
запустить их на разных компьютерах, и когда одна копия чему-то научится, она сможет очень эффективно передать это
0:44
знание всем остальным копиям. Таким образом, у вас может быть 10
0:49
цифровых агентов своего рода коллективный разум, и они могут обмениваться знаниями очень эффективно,
0:55
просто передавая друг другу связи внутри нейронных сетей. Мы так не можем. Если
1:01
ты что-то узнаешь и хочешь мне рассказать, тебе придётся использовать предложения или картинки, и ты сможешь
1:07
передать только очень ограниченный объём информации. Поэтому тебе гораздо сложнее
1:14
рассказать мне о том, что ты узнал. чем этим цифровым интеллектом. И это делает их намного
1:21
лучше. Они могут научиться очень многому. Ты сказал, что цифровой интеллект бессмертен, а биологически
1:27
нет. Что ты имел в виду? Допустим, я узнаю о силе связи в нейронной сети,
1:33
которая моделируется на цифровых компьютерах. Если какой-то компьютер сломается, эти связи можно будет
1:39
использовать на другом компьютере.
1:48
И даже если все цифровые компьютеры сломаются, если ты сохранишь силу связи, ты сможешь просто создать другой
1:55
цифровой компьютер и использовать те же весы на другом компьютере. Но у нас знания, которые мы получаем, сила
2:01
связей, всё это зависит от нашего мозга. Каждый мозг немного отличается.
2:07
Нейроны в твоём мозгу тоже немного отличаются, и ты учишься, чтобы использовать все особенности своего
2:15
мозга. Поэтому, когда ты узнаешь о силе связей в своём мозгу, если ты расскажешь
2:20
мне об этом, мне это не поможет, потому что мой мозг другой. Таким образом, цифровые компьютеры бессмертны, потому
2:26
что ты можешь использовать те же знания на другом оборудовании. Мы бессмертны, потому что знания и оборудование
2:33
неразрывно связаны. Нельзя отделить силу связей от конкретного мозга, в котором они
2:39
работают. Поэтому, если мозг умрёт, знания тоже умрут.
2:44
Почему мы должны беспокоиться о том, что цифровой интеллект возьмёт верх над биологическим интеллектом? Потому что я
2:51
думаю, что гораздо лучше делиться тем, что изучено целой кучей различных цифровых агентов, у которых у всех
2:56
одинаковые весовые коэффициенты. И они просто делятся обновлениями весовых коэффициентов. И теперь они могут
3:02
изучать 10 разных предметов одновременно. Но я также думаю, что цифровой интеллект, вероятно, обладает
3:08
лучшим алгоритмом обучения, чем мозг. Все попытки найти алгоритм обучения в мозге, который работал бы так же хорошо,
3:14
как алгоритм обратного распространения информации в этих цифровых интеллектах, не увенчались успехом. До сих пор эти
3:20
попытки не увенчались успехом. Мы не нашли ничего, что могло бы масштабироваться также хорошо для очень больших систем, как алгоритм обратного
3:26
распространения информации. Поэтому я думаю, что у них есть два преимущества. У них, вероятно, лучший алгоритм
3:32
обучения, и они могут обмениваться знаниями гораздо эффективнее, чем биологический интеллект. В то время,
3:37
когда вы начали заниматься этой областью, существовало две школы мышления и машинного интеллекта:
3:43
мейнстрим и нейронные сети. Не могли бы вы описать разницу между этими двумя подходами? Я могу изобразить это в виде
3:50
карикатуры. Таким образом, существуют две разные модели того, что такое интеллект. И одна из них заключается в
3:56
том, что всё дело в рассуждениях. И способ, которым мы рассуждаем, заключается в использовании логики. Вот
4:02
в чём особенность людей и что нам следует делать, так это понимать, какую логику мы на самом деле
4:09
используем. И это также связано с идеей о том, что знания, которые вы храните,
4:15
являются символическими выражениями. Так что я могу сказать вам предложение, и вы каким-то образом
4:21
сохраните его, а затем сможете использовать для вывода других предложений.
4:27
Но то, что находится у вас в голове, немного похоже на предложения, только очищенные. Существует совершенно другая
4:33
модель интеллекта, которая заключается в том, что всё дело в изучении сил и связей в сети нейронов. И эта модель
4:40
хороша для таких вещей, как восприятие управление движениями, но не для рассуждений. Рассуждения появились
4:46
намного позже, и мы не очень хорошо с ними справляемся. Мы учимся этому только в достаточно зрелом возрасте. Таким
4:52
образом, рассуждение — это не очень хорошая модель биологического интеллекта. Биологический интеллект отвечает за такие вещи, как управление
4:59
своим телом и восприятие окружающего мира. Это была совершенно другая парадигма, и в ней было другое
5:05
представление о том, что находится у нас в голове, что это не набор символов, а просто сила
5:11
связи. В представлении о символьных и ключевым вопросом было: какова форма
5:16
этих символьных выражений и как с ними проводить рассуждение. Для представления нейронной сети ключевой вопрос был
5:23
совсем другим. Он звучал так: как научиться определять силу связей, чтобы можно было делать все эти удивительные
5:28
вещи. Поэтому обучение всегда было центральным элементом в представлении нейронной сети. Символисты же говорили,
5:34
что об обучении можно будет подумать позже. Сначала нужно понять, как представлено знание и как мы с ним
5:39
работаем. Это были совершенно разные подходы. Один вдохновлялся логикой, а другой биологией. Долгое время люди из
5:46
лагеря логиков считали, что вдохновляться биологией глупо.
5:51
Это было немного странно, ведь Ифон Неймон, и Тюринг считали, что нейронные сети — это способ создания интеллекта,
5:58
но, к сожалению, оба они умерли молодыми. Можете ли вы в общих чертах
6:03
описать, как работает нейронная сеть? Могу попробовать. Давайте начнём с
6:10
описания того, как она работает для распознавания объектов на изображениях. Давайте представим, что нам нужно
6:16
определить, есть ли на изображении птица. И предположим, что птица будет примерно в центре изображения, в
6:22
основном месте, на которое мы смотрим. И нам нужно ответить на вопрос: это птица или нет? Представьте себе изображение,
6:29
допустим, оно размером 100 на 100 пикселей. Это 10 чисел. Каждый пиксель
6:34
состоит из трёх цветов: рак, то есть 30 чисел. С точки зрения вычислительной
6:39
техники распознавание птицы на изображение заключается в том, чтобы взять 30 чисел и вывести одно число,
6:45
которое будет означать да или нет. То есть птица это или нет, можно написать стандартную компьютерную программу для
6:52
этого. И люди пытались сделать это много лет, но у них ничего не получалось. Например, они пытались это сделать 50
6:58
лет. Или можно создать многослойную нейронную сеть. Я расскажу вам, как
7:03
вручную создать нейронную сеть. Итак, у вас есть пиксели, это
7:09
будет нижний уровень. Затем у вас будет слой детекторов признаков. Типичный детектор
7:16
признаков может иметь большую положительную связь с вертикальным рядом пикселей и большую отрицательную связь с
7:23
соседним вертикальным рядом пикселей, а в других местах связи не
7:30
будет. Поэтому, если оба ряда пикселей яркие, он получит большой положительный
7:35
сигнал, но также и большой отрицательный сигнал, поэтому ничего не произойдёт. Но если эти пиксели яркие, то он получит
7:42
большой положительный сигнал, а эти пиксели не яркие. Поэтому они не будут его подавлять, и он будет очень
7:47
возбуждён, и они скажут: «Эй, я нашёл то, что мне нравится. Вот здесь светлые пиксели, а здесь тёмные. Это детектор
7:54
границ. Я только что рассказал вам, как вручную настроить его, используя положительные и отрицательные веса,
7:59
чтобы он мог обнаружить небольшой вертикальный край. Представьте, что у вас есть миллион таких детекторов,
8:05
которые обнаруживают разные края в разных местах изображения, под разными углами и в разных масштабах. Это будет
8:11
ваш первый слой детекторов. Теперь, если бы я настраивал его вручную, на втором слое детекторов я бы, возможно, сделал
8:18
детектор, который находит два края, которые соединяются под небольшим углом. Вот так он ищет этот край и этот край. И
8:26
если они оба активны одновременно, он скажет: «Эй, может быть, здесь клюв?»
8:31
Это может быть что угодно, но это может быть и клюв. У вас есть детектор, похожий на клюв.
8:37
На этом слое у вас также может быть детектор, который обнаруживает целую группу краёв, образующих круг. У вас
8:44
будут детекторы кругов и потенциальные детекторы клювов, а также множество других детекторов на этом слое. Но они
8:51
обнаруживают немного более сложные вещи. А на следующем слое у вас может быть что-то, что обнаруживает потенциальный
8:57
клюв в правильном пространственном соотношении с потенциальным кругом, потенциальным глазом. Так что это может
9:03
быть голова птицы. Это будет ваш третий
9:09
слой. И может быть, если на третьем слое у вас есть что-то, что обнаруживает ногу
9:15
птицы и крыло птицы, то на следующем слое у вас может быть детектор птицы.
9:20
Если бы несколько из этих функций были активны, например, вот здесь голова, здесь крыло, а здесь нога, то это,
9:26
скорее всего, была бы птица. Я рассказал тебе, как вручную настроить все эти функции, но у тебя бы никогда не
9:32
получилось сделать это хорошо. Поэтому вместо того, чтобы настраивать их вручную, мы можем попробовать научиться
9:40
этому. Я рассказал тебе, чему мы хотим научиться, а теперь расскажу, как мы это делаем. Сначала это кажется
9:47
странным. Вместо того, чтобы настраивать все параметры соединений, чтобы получить нужные детекторы, ты начинаешь с
9:54
произвольных значений, просто случайных чисел для всех соединений. Ты загружаешь изображение птицы, проходишь через слои
10:01
детекторов и получаешь совершенно случайный результат. Детектор птиц на выходе выдаёт
10:07
0,5. Это значит, что это птица. Он выдаст единицу, когда будет уверен, что это птица, и ноль, когда будет уверен,
10:13
что это не птица. Для меня он выдаст около 0,5. Теперь ты можешь задать следующий вопрос: как я могу изменить
10:20
все эти параметры соединений в сети? Вместо того, чтобы получить 0,5, что означает, что это птица,
10:27
предположим, что это птица и получим 0,51. Вопрос, который ты хочешь задать,
10:33
звучит так: «Как мне изменить параметры соединения, чтобы повысить вероятность того, что это птица?» Ты можешь понять
10:39
это, сравнив то, что у тебя получилось с тем, что ты хотел. Ты хотел единицу, а
10:45
получил 0,5. Ты берёшь эту разницу и отправляешь её обратно по сети, а затем используешь
10:52
некоторые математические вычисления, которые я не буду объяснять. И вы можете рассчитать для каждого отдельного
10:58
соединения в сети, насколько вы хотели бы увеличить или уменьшить его размер, чтобы с большей вероятностью сказать
11:04
птица. Затем вы слегка изменяете силу соединения в том направлении, чтобы я мог с большей вероятностью сказать:
11:10
«Птица». Затем вы показываете ему что-то, что не является птицей. И теперь вы собираетесь отрегулировать силу
11:15
соединения таким образом, чтобы с меньшей вероятностью можно было сказать, что это была птица. И вы просто продолжаете в том же духе с большим
11:21
количеством птиц и нептиц. И в конце концов вы обнаружите, что эта птица обнаружил все эти функции обнаружения.
11:28
Она обнаружит предметы, похожие на клюв, и предметы, похожие на меня, и предметы, которые обнаруживают ноги, крылья и всё
11:34
такое прочее. И если вы натренируете её на множестве различных объектов, например, на тысяче различных категорий
11:39
объектов, она обнаружит детекторы промежуточных признаков, которые очень хороши для распознавания всех много чего
11:45
ещё. Итак, волшебство заключается в том, что существует относительно простой алгоритм, называемый обратным
11:51
распространением, который принимает ошибку в выходных данных и отправляет эту ошибку обратно по сети и вычисляет
11:57
для всех соединений, как вы должны изменить их, чтобы улучшить поведение. А затем вы меняете их совсем чуть-чуть и
12:04
просто сохраняете. Приведу ещё один пример. И что удивительно, это действительно работает. В течение многих
12:10
лет люди думали, что это просто застрянет где-нибудь, но нет, это не так. На самом деле это работает очень
12:16
хорошо. Мне любопытно, как нейронные сети обрабатывают язык. Итак, теперь у
12:21
вас есть представление о том, как мы обучаем его распознавать птиц. Представьте, что мы берём
12:27
последовательность слов в качестве входных данных.
12:33
И первое, что мы сделаем — это преобразуем слово в вектор представления. Это небольшая группа
12:40
чисел, которая отражает смысл слова или должна отражать его смысл. И поэтому первый слой после слов
12:48
будет состоять из векторов представлений для каждого слова. Теперь у нас будет много слоёв векторов представлений. По
12:56
мере продвижения по сети мы будем улучшать векторы представления для каждого слова, потому что они будут
13:02
учитывать всё больше и больше контекстной информации. Допустим, в этом предложении
13:08
нет заглавных букв. Хорошо. Допустим, в этом предложении есть слово может. И оно использует некий
13:16
компромиссный вектор, который находится где-то посередине между вектором представлением, обозначающим
13:22
модальность, может, и вектором представлением, обозначающим месяц может. А затем на следующем слое оно
13:28
уточнит этот вектор. Оно сделает вектор немного лучше в зависимости от контекста, в котором оно находится, в
13:35
зависимости от соседних векторов представлений. Например, если рядом находится вектор представления для июня,
13:42
то оно сделает вектор для мая больше похожим на месяц и меньше похожим на
13:47
модальность. Но если есть вектор для слова дерево, то это будет больше похоже на модальное слово, а не на
13:54
существительное. И по мере того, как вы продвигаетесь по сети, она может уточнять эти векторы и делать их лучше и
14:01
лучше. Мы собираемся обучить её так. Мы будем подавать на вход цепочку слов.
14:10
И вот один из способов сделать это. Это не совсем то, что делается на самом деле, но так проще понять. Для
14:17
последнего слова мы просто вводим нейтральное слово, например, неизвестное, и у него будет очень
14:22
размытый вектор, который является средним значением всех векторов для всех слов. Она не знает. Верно? Теперь, когда
14:30
вы продвигаетесь по сети, на последнее слово будут влиять предыдущие слова.
14:37
И сначала оно будет очень размытым, но по мере прохождения через слои оно будет становиться всё более точным. И к концу
14:44
сети этот вектор может выглядеть как вектор для конкретного слова или для какой-то комбинации слов. Среднее
14:51
значение нескольких слов.
14:59
Вы обучаете сеть, говоря, что хотите, чтобы вектор последнего слова был похож на вектор для слова, которое на самом
15:05
деле было в
15:13
тексте. Итак, она предсказывает следующее слово. Она пытается превратить этот нейтральный вектор в вектор,
15:20
близкий к вектору для правильного слова, которое было в тексте.
15:28
Вы берёте ошибку, разницу между вектором в тексте и полученным вектором, и передаёте её обратно через
15:36
сеть. И это распространяется в обратном направлении по слоям, но распространяется от этого слова к
15:43
предыдущим, чтобы они оказали нужное влияние на это слово. Это алгоритм обратного
15:49
распространения, который учится предсказывать следующее слово. Так что, несмотря на некоторые теоретические
15:55
прорывы в этой области, долгое время эти нейронные сети не очень хорошо работали.
16:00
Почему так? Это было связано с несколькими причинами. Мы не очень хорошо их
16:06
инициализировали. То есть я сказал, что вы задаёте случайные весы, а потом всё учите. Но если вы не выберете правильные
16:13
случайные веса, то ничего не получится. Это была техническая причина, почему они не очень хорошо работали в глубоких
16:20
сетях с большим количеством слоёв детекторов-признаков. Но главная причина была в том, что у нас не хватало
16:26
вычислительной мощности и данных. Люди пытались обучать эти сети на относительно небольших наборах данных
16:32
без достаточной вычислительной мощности. В таких условиях другие методы работают лучше. Нейронные сети действительно
16:38
показывают себя во всей красе, когда у вас много данных и много вычислительной мощности. Тогда вы можете использовать
16:44
большую нейронную сеть. и она будет работать намного лучше, чем что-либо другое. Но в то время мы этого не
16:49
понимали. Мы иногда фантазировали. Предположим, у нас было бы больше данных и более мощный компьютер. Тогда всё
16:55
работало бы лучше. Но мы не понимали, насколько лучше. Поэтому в 1990 годах
17:00
это был относительно мёртвый период для нейронных сетей, потому что другие методы лучше работали с небольшими
17:05
задачами. И многие специалисты в области компьютерных наук отказались от нейронных сетей. В психологии они этого
17:12
не сделали, потому что хотели получить что-то похожее на мозг, а нейронные сети явно больше похожи на мозг, чем на
17:18
символьный искусственный интеллект. Но в области компьютерных наук нейронные сети приобрели дурную славу в девяностых
17:24
годах. Так что давайте перенесёмся в другое десятилетие, в двухсяные годы. Был ли для вас момент, когда стало ясно,
17:31
что подход, которого вы придерживались, был тем, который должен был
17:37
возобладать? Хорошо. В 2006 году мы выяснили, как намного лучше инициализировать веса с помощью обучения
17:44
без контроля, а затем обратное распространение работало намного лучше. Так что тогда было совершенно ясно, что
17:50
обратное распространение действительно будет работать очень хорошо. Но в 2009 году двое моих аспирантов Джордж Дали и
17:58
Абдулрахман Мухаммад создали гораздо лучший распознаватель речи. На самом деле немного лучший распознаватель речи,
18:05
но он был немного лучше, чем современный. искусство использования глубоких нейронных сетей. И тогда стало
18:11
совершенно ясно, что всё это куда-то девается. И все крупные речевые группы в течение следующих нескольких лет перешли
18:18
на использование нейронных сетей. А затем в 2012 году эти речевые функции
18:23
появились в Android, и внезапно Android догнал Siri. Это было так же хорошо, как и Сири с речью, потому что в нём
18:30
использовались нейронные сети. И в том же году два других моих аспиранта Илья Суцкого и Эл Крушевский создали
18:36
нейронную сеть, которая очень хорошо распознавала объекты и изображения. И это значительно превзошло
18:43
уровень техники. И поэтому я думаю, что именно эта комбинация уже работала для распознавания речи и уже была запущена в
18:50
производство. Этим занимаются крупные компании. Я не думаю, что общественность была очень хорошо осведомлена об этом,
18:56
но потом внезапно для компьютерного зрения это стало работать намного лучше, и это стало поворотным моментом. В 2012
19:03
году, когда мы с огромным отрывом выиграли конкурс ImageNet, мы допустили почти в два раза меньше ошибок, чем
19:08
другие методы. Это был общедоступный набор данных, но с закрытым тестовым набором, так что подтасовать результаты
19:15
было невозможно. Давайте сосредоточимся на 2012 годе, потому что вы сказали, что
19:20
это был действительно важный год. Можете вкратце рассказать, как работала
19:27
Алек? Насколько я понимаю, она была названа в честь вашего аспиранта. Её назвали в честь Алекса Крушевского,
19:33
потому что он её разработал. Он был гениальным программистом и заставил её работать. Илья тоже очень помог, но в
19:41
основном это была работа Алекса. Я объяснил вам, как работает обратное распространение, и рассказал, что у вас
19:47
есть слои детекторов признаков. Alexet была такой сетью, но с тысячей различных
19:52
классов объектов и примерно семью слоями детекторов
19:59
признаков. В ней также использовалось то, что разработал Енака, свёрточные
20:06
сети. Сейчас я попытаюсь объяснить, потому что это было очень
20:12
важно. Помните, я говорил, что можно создать детектор для птичьего клюва, проверив две линии вот такие.
20:20
Если вы видите эти два детектора признаков, то создаёте детектор клюва. Но это будет работать только для
20:26
определённого места. Верно? В свёрточной сети, когда вы создаёте детектор признаков для одного места, вы создаёте
20:33
такой же детектор для всех мест на изображении. Что теперь? Если во время
20:40
обучения его натренировать с помощью клюва здесь, и он действительно скажет, что для этого мне нужен детектор клюва,
20:46
то он выучит функцию, которая распознаёт этот клюв и автоматически сделает копии для всех остальных мест на изображении.
20:53
Так что если сейчас птица появится в другом месте, у неё будут специальные детекторы, чтобы распознать её. Таким
21:00
образом, идея заключается в том, что вы копируете детекторы признаков в каждое место. По сути, это свёрточная сеть, и
21:06
это позволяет гораздо лучше обобщать всю информацию по местоположению. Теперь он может справляться с изменением
21:13
местоположения объектов, потому что у него есть копии всех этих детекторов характеристик в каждом местоположении. А
21:19
что касается свёрточных сетей и нескольких слоёв объектов, то то, что сделал Алекс, было очень эффективно
21:25
запрограммировано на устройстве, называемом графическим процессором, которое было разработано для
21:31
компьютерной графики. Но это похоже на мини- суперкомпьютер. Он может выполнять
21:36
множество вычислений во множестве отдельных процессов одновременно. Таким образом, это позволило нам увеличить
21:42
производительность примерно в 30 раз по сравнению с обычным компьютером. А увеличение в 30 раз — это примерно на 10
21:48
лет вперёд в развитии компьютеров. Таким образом, внезапно мы можем совершить скачок на 10 лет в будущее с точки
21:54
зрения вычислительной мощности. Программировать эти графические процессоры было очень сложно. Алексу
22:00
удалось запрограммировать две из них на совместную работу, что оказалось ещё сложнее. И последним компонентом был
22:07
набор данных Им Дженнает. Итак, некто по имени Фей Фейлий и её коллеги собрали
22:13
большой набор изображений, а затем провели публичный конкурс, где у вас было около миллиона изображений с тысячи
22:19
различных предметов. Итак, у вас было около 1тыся примеров каждого вида объектов, и вам нужно было научиться
22:26
распознавать эти объекты. Затем в тестовом наборе были другие изображения, на которых тоже были эти объекты. Вам
22:32
нужно было обобщить их для разных изображений. И оказалось, что самая лучшая техника компьютерного зрения,
22:38
которая была изобретена до этого, давала около 25% ошибок, а у Алекса было 15%
22:45
ошибок. С тех пор этот показатель снизился до 3%. С тех пор он стал намного лучше, но это был огромный
22:52
скачок, и люди в области компьютерного зрения были очень удивлены. Большинство из них сказали: «Мы никогда не думали,
22:59
что это сработает, но это работает, так что мы будем делать это вместо того, что делали раньше». Так обычно поступают
23:06
учёные. Учёные обычно просто стареют, жалуясь на то, что новые разработки — это ерунда. Как бы вы описали темпы
23:12
инноваций в области Ии с того момента? Они становятся всё быстрее и быстрее.
23:18
Если бы вы спросили меня тогда, сколько времени понадобится, чтобы нейросети научились делать машины перевод лучше,
23:24
чем сейчас. Я бы сказал, лет 10, потому что машинный
23:29
перевод — это идеальная задача для тех, кто занимается обработкой строк символов. У вас есть строка символов на
23:36
одном языке, и вам нужно создать строку символов на другом языке. Символисты
23:41
думали, что внутри вы просто манипулируете строками для
23:47
этого. Люди, работающие с нейронными сетями, думали, что нужно взять эту последовательность символов,
23:53
преобразовать её в большие паттерны. нейронной активности, а затем снова преобразовать их в символы на выходе. Я
23:59
был очень удивлён, когда понадобилось всего несколько лет, чтобы машинный перевод стал хорошим. А ещё через год
24:05
или два Google начал его использовать, и качество машинного перевода значительно улучшилось. Например, на китайском
24:12
языке, это я помню по памяти, но был большой разрыв между качеством компьютерного и человеческого перевода,
24:18
и этот разрыв сократился вдвое за одну ночь. Кажется, это было на китайском, но на
24:25
многих языках стало намного лучше. С тех пор качество, конечно, значительно улучшилось, но к 2015 году он уже
24:33
работал довольно хорошо. Это меня действительно удивило. Потребовалось всего 3 года. Вы сказали, что были
24:40
удивлены темпами инноваций. Что вы подумали, когда впервые использовали большую языковую модель, такую как чат
24:46
ГПТ? Я просто поражён тем, насколько он хорош.
24:51
Он даёт очень связные ответы и может немного
24:56
рассуждать. Пока не очень глубоко, но со временем станет намного лучше. Например,
25:02
я задал ему вопрос. Это ГПТ-4. Я задал ему задачу, которую мне
25:07
дал один парень, занимающийся искусственным интеллектом, который думал, что он не сможет её решить. Я
25:13
усложнил задачу, но он всё равно смог её решить. Задача звучит так: «Комнаты в
25:18
моём доме либо белые, либо синие, либо
25:24
жёлтые». Жёлтая краска через год становится белой. Через 2 года я бы
25:29
хотел, чтобы все комнаты были белыми. Что мне делать? Обычный человек, скорее всего,
25:37
сказал бы, что нужно покрасить синие комнаты в белый цвет. ГПТ-4 сказал, что
25:42
нужно покрасить синие комнаты в жёлтый цвет. Но это тоже сработает, потому что жёлтый тоже со временем станет белым. Я
25:49
не понимаю, как это может произойти без понимания проблемы. Идея в том, что он просто предсказывает следующее слово и
25:56
использует статистику. В каком-то смысле это правда, но большинство людей понимают статистику не
26:03
так. Он анализирует данные, чтобы понять смысл предложения и использует смысл
26:09
предложения для предсказания следующего слова. Он действительно понимает, и это
26:17
шокирует. Вы удивились широкой реакцией общественности на чат
26:23
ГПТ. Учитывая, насколько хорошо он работает, реакция общественности не так уж удивительна. Но интересно то, что
26:30
большинство людей не говорят, что он не понимает. Они говорят: «Ого, он понял,
26:35
что я сказал и дал мне внятный ответ. Для чего я могу его использовать? И я
26:41
думаю, что большинство людей правы. И, конечно, его можно использовать для огромного количества вещей. Я знаю
26:47
человека, который отвечает на жалобы в службу здравоохранения. И раньше он тратил 25 минут на составление письма, в
26:55
котором излагал суть проблемы и так далее. Теперь он просто вводит проблему
27:00
в ГП-4 и тот пишет письмо. А потом он просто просматривает
27:06
письмо и решает, всё ли в порядке, и отправляет его. Теперь это занимает у него 5 минут, так что теперь он в пять
27:12
раз эффективнее. И это будет происходить повсюду. Например, так будет с помощниками юристов. Так уже происходит
27:19
с программистами. Программисты могут работать гораздо эффективнее, если им помогают такие вещи, как ГПТ-4, потому
27:26
что он знает, как программировать. И вы можете подумать, что он просто знает, как программировать, потому что видел
27:32
много программ. У меня есть бывший студент, очень умный и хороший программист. Он провёл
27:39
небольшой эксперимент. Его зовут Редфорд Нил. Он дал ГПТ4 определение нового
27:45
языка программирования с очень необычным
27:54
синтаксисом. Он просто описал этот язык программирования текстом для ГПТ4, а
27:59
потом дал ему программу и спросил, что она сделает. И ГПТ-4 ответил правильно.
28:05
То есть он понял определение нового языка программирования и понял, какие программы на этом языке будут работать.
28:12
И опять же, идея, что он просто предсказывает следующее слово в этом контексте не имеет смысла. Ему пришлось
28:18
понять, что происходит. Какие, по вашему мнению, самые многообещающие возможности
28:24
для и такого типа, когда речь идёт о пользе для общества? Трудно выбрать что-то одно,
28:31
потому что их очень много. Например, производительность любого вида деятельности, связанного с написанием
28:36
текста, значительно повысится. Есть много проблем с повышением производительности. В нашем
28:43
обществе это не всегда хорошо, потому что богатые могут стать ещё богаче, а бедные ещё беднее. Но в нормальном
28:50
обществе повышение производительности — это хорошо. Так что будут и такие вещи.
28:56
Это замечательно для прогнозирования. Он будет лучше предсказывать погоду. Люди пока не знают насколько, но он уже
29:03
гораздо лучше предсказывает наводнение. Он может предсказывать
29:08
землетрясение, может разрабатывать новые наноматериалы. Например, для солнечных батарей нужны новые наноматериалы или
29:16
для сверхпроводимости. Я не знаю, используется ли он для сверхпроводимости, но, возможно, используется. Это было бы полезно при
29:22
высоких температурах. Он отлично справляется с разработкой лекарств, то есть с поиском молекул, которые будут
29:29
связываться с другими молекулами. Deep Mind использовал его
29:35
для создания Alpha Fold. Это не чатбот, это просто глубокое
29:41
обучение. Но базовая технология глубокого обучения в значительной степени решила проблему определения
29:47
формы белка по последовательности его оснований.
29:55
А если вы знаете, какую форму он принимает, то знайте его функцию. Я думаю, что чатботы будут использоваться
30:02
повсюду. Мы также много говорили о здравоохранении. Я имею в виду, что мы говорили об открытии лекарств, но
30:09
здравоохранение — это ещё одна область, которая может принести реальную пользу. Да, как в интерпретации медицинских
30:15
снимков. Например, если вы делаете томографию, то в ней много информации, которая не используется. И большинство
30:22
врачей не знают, что это за информация. Нейросеть сможет извлечь гораздо больше информации из томографии, а также сможет
30:28
конкурировать с врачами в определении, какой у вас рак и насколько он вырос. Например, сейчас, когда врач говорит вам
30:35
размер опухоли, вы получаете число, например, 3 см, а месяц назад было 2
30:42
см. Это не очень полезная информация, если опухоль похожа на осьминога. Верно?
30:48
Нейронная сеть сможет гораздо лучше понять объём опухоли и то, как она
30:53
изменилась. Так что там будет просто потрясающе. И уже сейчас многие виды рака можно диагностировать с помощью
31:00
искусственного интеллекта, и это будет только улучшаться. Это будет очень полезно для диагностики заболеваний.
31:06
Сейчас в Северной Америке умирает много людей из-за того, что врачи неправильно ставят диагноз.
31:15
В Google разработали систему под названием MPM 2, которая умеет ставить диагнозы. И она уже сейчас лучше, чем
31:23
обычный врач. Я не совсем уверен в этом, потому что я больше не работаю в Google,
31:28
и это совсем недавно. Но она точно не уступает врачам
31:33
и будет становиться только лучше. Так что разве вам не хотелось бы иметь своего семейного врача?
31:41
Если у вас редкое заболевание, то ваш семейный врач уже сталкивался с сотнями случаев этого редкого заболевания, а
31:48
Palм 2 будет именно таким. В итоге диагностика будет намного
31:56
лучше. Звучит так, будто искусственный интеллект принесёт много пользы. Но вы
32:01
выразили обеспокоенность нынешними темпами инноваций. Почему? Хорошо. Вот
32:06
уже 50 лет я думал, что для того, чтобы цифровые модели стали лучше, нужно, чтобы они работали как
32:14
[музыка] мозг. Я продолжал изучать то, что делает мозг, а цифровые модели нет. Например,
32:21
быстрое изменение силы связи на временной основе. И это может улучшить цифровые модели.
32:29
И совсем недавно я понял, что поскольку у этих цифровых моделей есть своего рода коллективный разум, когда один агент
32:36
что-то узнает, все остальные агенты тоже это узнают, они уже могут быть лучше биологического интеллекта. Так что я,
32:43
можно сказать, полностью изменил своё мнение о том, что пройдёт много времени, прежде чем они смогут делать всё то, что
32:49
делает мозг. Пройдёт от 30 до 50 лет, прежде чем они превзойдут нас. И я так
32:54
думал до недавнего времени. Несколько месяцев назад я вдруг понял, что, возможно, они уже превосходят нас,
33:01
просто они меньше, и когда они вырастут, то станут умнее нас. И это было довольно пугающе. Это
33:08
было внезапное изменение мнения. И вместо 30-50 лет я подумал, что это
33:13
будет 5-20 лет. И теперь нам нужно серьёзно отнестись к тому, что мы будем
33:18
делать, когда эти штуки станут умнее нас. Это время огромной
33:24
неопределённости. Никто точно не знает, что произойдёт. Может быть, всё остановится и они не станут умнее нас.
33:31
Но я в это не верю. Я думаю, что они станут умнее нас. Но, возможно, когда они станут умнее нас, мы сможем сделать
33:38
так, чтобы они были доброжелательными и больше заботились о людях, чем о себе, в отличие от людей. Но, возможно, это не
33:45
так. И поэтому нам нужно начать серьёзно думать об этих проблемах. А я не эксперт
33:50
в этих вопросах. Я просто эксперт в алгоритмах обучения.
33:56
И я вдруг понял, что сверхразум может появиться довольно скоро. И я просто предупреждаю, чтобы
34:03
люди прислушались к экспертам, которые уже давно думают о том, как мы можем помешать им захватить
34:10
власть. Я хочу, чтобы политики слушали этих ребят. Они говорили: «Да, это
34:15
что-то из научной фантастики, и этого никогда не случится». Был ли какой-то конкретный момент, когда вы это поняли?
34:22
Вы сказали, что это произошло совсем недавно, когда вы изменили своё мнение об этом. Я разрабатывал алгоритмы
34:28
обучения для биологических систем, которые могли бы работать в биологической системе без обратного
34:35
распространения. И я не мог заставить их работать так же хорошо, как алгоритм обратного распространения, который мы
34:41
использовали в этих цифровых системах. Они работали для небольших сетей, но когда я увеличивал масштаб, цифровые
34:47
системы всегда масштабировались намного лучше, чем биологические. И вдруг я подумал, что, возможно, дело не во мне.
34:53
Возможно, мой алгоритм обучения был просто плохим, возможно, цифровые системы
35:00
просто лучше. И тогда я внезапно изменил своё мнение о том, когда у нас появится
35:06
сверхразум. Затем я поговорил с моими бывшими студентами и коллегами, и некоторые из
35:13
них посоветовали мне рассказать об этом публично. Не потому, что у меня были какие-то решения, которые я хотел бы
35:19
предложить. Нельзя просто сказать: «Жигайте меньше углерода, и всё будет хорошо». Но они подумали, что я хорошо
35:27
известен в этой области. И если я публично скажу, что сверхразум может появиться довольно скоро, политики могут
35:34
начать верить в это и серьёзно прислушаться к мнению исследователей, которые давно думают о том, как
35:39
предотвратить захват власти искусственным интеллектом.
35:45
С вашей точки зрения, какую роль могут сыграть правительство в том, чтобы помочь обеспечить ответственное развитие
35:54
и есть множество рисков, о которых много говорят, и я не особо хочу об этом
35:59
говорить. Например, что они отберут у нас работу и увеличат разрыв между богатыми и бедными. Они сделают так, что
36:06
мы не сможем отличить фейковые новости от настоящих. Они будут способствовать разделению общества на два враждующих
36:13
лагеря, которые не будут слушать друг друга и будут придерживаться противоположных взглядов. Они будут
36:18
создавать боевых роботов, которые предназначены для убийства людей. Все эти риски хорошо известны, и я о них не
36:24
говорю. Не то, чтобы я не считал их важными. Я думаю, что они, возможно, даже более актуальны, но о них говорят
36:30
многие. Риск, о котором я говорю, заключается в том, что эти технологии станут умнее нас и в конечном итоге
36:36
захватят власть. И для этого риска правительства могут что-то сделать, потому что никто этого не
36:42
хочет. Ну, если исключить эти сверхиинтеллектуальные системы, никто этого не хочет. И поэтому разные
36:49
правительства должны быть в состоянии договориться и работать вместе, чтобы предотвратить это, потому что это в их
36:58
интересах. Так было и раньше. Даже во время холодной войны США и Россия могли
37:03
работать вместе, чтобы предотвратить глобальную ядерную войну, потому что это было бы очень плохо для всех. И для этой
37:10
экзистенциальной угрозы должно быть возможно, чтобы все работали вместе, чтобы ограничить её, если это возможно.
37:17
Я не знаю, где это возможно предотвратить, но, по крайней мере, мы должны быть в состоянии добиться международного сотрудничества в борьбе с
37:23
этой конкретной угрозой, экзистенциальной угрозой захвата власти искусственным интеллектом. Я думаю, что
37:29
нужно сделать одну вещь. Где бы не разрабатывались эти технологии, особенно большие чатботы. Правительства должны
37:36
поощрять компании вкладывать много ресурсов в эксперименты, чтобы понять, как их контролировать. Поэтому нужно
37:42
смотреть, как эти технологии могут выйти из-под контроля и проводить эмпирические исследования, чтобы понять, как их
37:49
контролировать. Это единственный шанс, который у нас есть.
37:56
Пока они не стали сверхразумными, мы можем проводить эксперименты и смотреть, что пойдёт не так. Я твёрдо убеждён, что
38:03
нужны эмпирические данные. Нельзя, чтобы правила придумывали философы, политики и
38:10
законодатели. Нужно проводить исследования и смотреть, что идёт не так и как это можно контролировать. И это
38:17
могут сделать только разработчики. Поэтому, раз уж вы не можете остановить разработку, лучшее, что можно сделать —
38:25
это заставить правительство оказывать давление на эти компании, чтобы они вкладывали много ресурсов в эмпирические
38:31
исследования, как их контролировать, когда они не такие умные, как
38:37
мы. Какую роль, по вашему мнению, играют крупные технологические компании, где
38:42
происходит большая часть разработок? Стали бы они это делать без государственного регулирования? Многие
38:48
люди в крупных компаниях, которых я знаю, очень обеспокоены этим и вкладывают в это много
38:56
сил. Они очень этим озабочены, но у них есть обязательства перед акционерами, и
39:02
я думаю, что они хотят получать большую прибыль. И получение большой прибыли, особенно в краткосрочной перспективе, не
39:09
всегда сочетается с большими усилиями по обеспечению безопасности. Это можно наблюдать во
39:15
всех отраслях. В железнодорожной отрасли в США установка устройств безопасности, которые предупреждают о блокировке
39:22
колёс, стоит денег. И крупные железнодорожные компании предпочитают, чтобы происходили аварии, а не тратились
39:28
деньги на эти устройства. Google — большая компания, о которой я кое-что знаю, не совсем такой. Они понимают, что
39:34
если что-то пойдёт не так, это нанесёт огромный репутационный ущерб. Поэтому Google не стал выпускать этих чатботов.
39:41
Они остались в разработке. Компания не хотела, чтобы люди играли с ними. Они хотели использовать их для улучшения
39:48
результатов поиска или для заполнения вашего почтового ящика Gmail, но не для
39:53
того, чтобы люди играли с ними. И они могли бы продолжать так поступать, пока Open AI и Microsoft не выпустили их, и
40:01
тогда Google пришлось бы конкурировать. Но крупные компании очень заботятся о своей репутации и о том, чтобы не было
40:07
негативных последствий. Но, возможно, правительство могло бы заставить их больше беспокоиться об этой проблеме
40:13
безопасности, если бы они настояли на том, чтобы они уделили этому больше внимания. И есть ещё одна проблема.
40:20
Внутри компании очень сложно заставить людей работать над долгосрочными угрозами, потому что они получают
40:27
зарплату от компании. И это создаёт конфликт интересов. Это одна из причин,
40:32
по которой я ушёл из Google. Не потому, что Google сделал что-то не так, а потому, что я не хочу конфликта
40:40
интересов. Что крупные компании могли бы сделать, так это выделить больше денег на финансирование фондов, которые
40:47
занимаются этими вопросами. Например, Google вложил 300 млн долларов в фонд под названием Anроopic, который
40:54
занимается изучением этих технологий. Они могли бы вложить гораздо
41:00
больше денег. Мне интересно, какой совет вы бы дали или какие рекомендации вы бы дали другим исследователям в этой
41:06
области, которые только начинают работать в этой сфере и хотят убедиться, что они двигают науку вперёд, но делают
41:13
это ответственно. Ну, я бы посоветовал обратить внимание на то, сколько людей
41:20
работают над улучшением этих технологий и сколько людей работают над тем, чтобы они не вышли из-под контроля. И вы
41:26
увидите, что 99 человек работают над улучшением технологий, а один человек работает над тем, чтобы они не вышли
41:32
из-под контроля. Так где вы можете оказать наибольшее влияние? Вероятно, в том, чтобы не дать им выйти из-под
41:37
контроля. Итак, один совет. Другой совет — это мой общий совет молодым
41:43
исследователям. Ищите место, где, по вашему мнению, всё делают
41:50
неправильно. И доверяйте своей интуиции, пока не поймёте, почему она ошибается.
41:56
Доверяйте ей и работайте над альтернативами, когда думаете, что все остальные делают что-то
42:02
неправильно. Дело в том, что либо у вас хорошая интуиция, либо нет. Если у вас хорошая интуиция, вы должны
42:09
прислушиваться к ней и следовать ей, пока не поймёте, почему она ошибается. Если у вас плохая интуиция, то неважно,
42:16
что вы делаете, так что вы можете следовать своей интуиции.