Татьяна Шаврина — Риски AI (искусственного интеллекта)

Обсуждаем угрозы для выживания человечества, которые могут возникнуть из-за появления сильного искусственного интеллекта (AGI), с Татьяной Шавриной (Kali Novskaya) — разработчиком больших языковых моделей, а также энтузиастом опенсорса и открытого ИИ.

Расшифровка видео
Интро и позиция Татьяны по рискам AGI
0:00
Всем привет! Меня зовут Павел Комаровский. Вы смотрите канал RationalAnswer, где мы пытаемся найти разумные ответы на
0:05
жизненные вопросы. И сегодня у нас в гостях Татьяна Шаврина, также известная как Kali Novskaya.
0:11
Татьяна — это разработчик больших языковых моделей, энтузиаст опен-сорса и открытого искусственного интеллекта,
0:17
кандидат филологических наук и автор 50 научных работ в сфере искусственного интеллекта. Привет, Татьяна!
0:25
Привет! Рада, что позвал. – Тоже рад тебя видеть в нашей онлайн-студии.
0:30
Подскажи сразу, вот мы будем обсуждать такую штуку, как искусственный интеллект. Ей обычно занимаются технери,
0:35
но ты при этом кандидат филологических наук. – Вот ты больше технарь или гуманитарий? – Это классный вопрос.
0:41
Мне хотелось бы про это думать, что это вот какой-то такой способ быть человеком возрождения,
0:48
и тут, и там, да, немножечко. На самом деле, это будет немного лукавство,
0:54
потому что в моей специальности основной, в которой я получила образование, в которой я работаю
1:00
по специальности сейчас, это компьютерная лингвистика. С самого начала идет программирование,
1:08
математика любая, поэтому здесь как бы можно сказать, да, что компьютерный лингвист, это как бы он бисексуал,
1:15
он как бы и гуманитарий, и технологий. Отлично. Мы только что повысили смотрименность нашего выпуска как минимум
1:21
на 50%. Потреблением слова бисексуал. Поехали, давай сразу обсудим риски искусственного
1:28
интеллекта. Мы с тобой будем обсуждать экзистенциальный риск для человечества от искусственного интеллекта. Я бы предложил тебе для
1:35
начала попробовать вот совсем вкратце такой вот взгляд с вертолета сделать. Как ты думаешь про эту проблему?
1:42
Буквально там за пару минуток вот какое-то общее представление, чтобы наши зрители получили. Да, конечно. Мы сегодня вообще будем в целом говорить
1:49
про такую широкую тему, как AI alignment, да, которая… у нее нет точного перевода на русский язык,
1:57
да, можно сказать, что это там выравнивание и все такое. На самом деле это очень широкий ряд проблем,
2:02
которые изучает то, как искусственный интеллект воспроизводит ценности человека,
2:09
какие ценности он усваивает, какие не усваивает, что он выучивает. Ну и в конечном счете умрем
2:14
ли мы все, да. Вопрос такой важный достаточно. И в нем очень активно задействованы люди самых разных
2:24
специальностей. Здесь есть и, безусловно, разработчики нейронных сетей,
2:29
исследователи глубокого обучения искусственного интеллекта из самых разных областей. Это языковые модели, это компьютерное зрение,
2:36
это обучение с подкреплением, вот все в таком духе. Но также и другие сообщества.
2:43
Это гуманитарии, это специалисты по этике алгоритмов, этике искусственного интеллекта, это юристы, безусловно,
2:53
это рационалисты, эффективные альтруисты и вот все люди,
2:58
которым в целом глобально не безразлично, где мы будем лет через 50,
3:03
да. Все они находятся, на самом деле, вот в разном отношении к вопросу, как сделать искусственный интеллект так,
3:13
чтобы нам всем не умереть. Мне нравится думать, и может быть, это будет как -то ближе тоже подписчикам канала, думать про этот вопрос
3:22
как про вопрос о рисках. И вот в теме AI alignment
3:27
там много вот каких-то таких параллелей, мне кажется, немножко с финансами, с экономикой, например, потому что там тоже есть агенты,
3:35
которые действуют из каких-то своих интересов, и потому что там есть риски. И риски можно
3:40
митигировать, букетировать и так далее. Вот в сфере AI alignment и безопасности искусственного интеллекта
3:50
мне про это нравится думать как про, ну вот, какие у нас риски вообще бывают. У
3:56
нас бывают краткосрочные риски, у нас бывают вот долгосрочные риски,
4:02
у нас бывают случайности и у нас бывают намеренные происшествия. Ну вот такая матрица получается 4 на 4.
4:12
Если это что-то в краткосрочной перспективе, случайное, то это, например, ехали две Теслы и попали
4:18
в аварию. Кто виноват? Как-то алгоритмы не разобрались. Вот это прекрасный пример того, что уже сейчас происходит,
4:25
да, не так, с использованием искусственного интеллекта и безопасности. Если это намеренное какое-то происшествие в короткой перспективе,
4:34
ну, например, дипфейки те же. Вы не давали согласия, чтобы ваше лицо использовали, с вами сделали какой-нибудь
4:41
фейковый материал. Пример неправильного использования искусственного интеллекта.
4:46
Если говорить про долгосрочную перспективу, да, ну вот здесь у нас что,
4:52
тоже намеренное использование, это какой-нибудь там диктатура искусственного
4:57
интеллекта, да, и случайная, ну там, я не знаю, катастрофа на атомной станции под управлением искусственного интеллекта,
5:05
да, ну допустим. Вот примерно такие случаи у нас есть. И специалисты все, они так более-менее как
5:12
бы распределяются по этой матрице. То есть кому-то интересно больше краткосрочный вопрос, кому-то долгосрочное,
5:19
а все немножечко в разных местах, да. Например, рационалисты и эффективные атруисты, они любят вот думать больше
5:26
про то, что в долгосроке с нами будет. И мне кажется, что это очень интересная тема. На самом деле, да, вот мы очень плохи как
5:33
цивилизация, да, как люди в том, чтобы предсказывать, что с нами будет в будущем. Мы не умеем думать про будущее, у нас куча
5:40
когнитивных искажений, которые нам препятствуют хорошо прогнозировать, что будет,
5:45
да. Но много еще есть проблем. И думать о том, как будет развиваться искусственный интеллект, там, лет через 50,
5:52
через 100 и так далее, это очень интересно. Мы как раз с тобой хотим вот именно сконструироваться на долгосрочных рисках. И первое, что я пытаюсь понять,
5:59
вот где ты оказываешься лично на вот этой шкале отношения к ним. Потому что мои наблюдения,
6:05
что люди прям полярно обычно подходят. Кто-то говорит, что это полная ерунда, думать про это даже не надо, про все эти риски, экзистенциальные для человечества,
6:12
искусственного интеллекта. Кто-то, наоборот, достаточно призывает серьезно про это размышлять. Вот твоя позиция
6:18
какая здесь? Да, да, это хороший вопрос, на самом деле. Я уже, знаешь, думаю, что по результатам нашего
6:24
выпуска надо сделать просто вот какое-то такое алкогольное бинго. Как будто каждый раз, когда я бы слышала,
6:29
когда мне говорят, что этим не надо заниматься, что не нужно там… Это надуманная проблема.
6:35
Вот если бы я выпивала каждый раз, я бы успелась уже давно, честно скажу. То есть здесь действительно
6:41
нет консенсуса сейчас именно в сообществе разработчиков искусственного интеллекта.
6:47
И мне это очень понятно, мне это очень близко, потому что, с одной стороны, я как одной ногой к гуманитарии никогда не чувствовала
6:54
себя полностью своей, наверное. А здесь заходит еще больше гуманитариев. Ты чувствуешь еще
7:02
большую какую-то ревность к своей специальности, в которую врезался огромный поиск хайпа.
7:10
И вот все было тихо, спокойно. Все сидели, делали интересные исследования. Иногда там поднимали инвестиции,
7:16
иногда выходили громкие проекты. А теперь вот все про это говорят. Вот как это пережить?
7:22
И вопрос AI-лайнмента, он в этом смысле разделяет еще сообщественно тех, кто хочет оставить все в рамках
7:31
чисто вычислительной парадигмы, и тех, кто хочет все-таки разобраться и понять, на самом деле это вопрос,
7:38
может быть, про человека, про человеческие ценности. Ну и мне здесь ближе, наверное,
7:44
второе понимание, потому что, так скажем, какой-то серединный вариант был
7:52
бы, если была бы какая-то вычислительная этика. У нас вычислительной этики пока что нет условно.
7:59
Да, есть такое зарождающееся движение как этика алгоритмов. Ну вот им занимаются в основном философы,
8:08
разработчики и дата-сайентисты. Они занимаются разработкой моделей,
8:14
не занимаясь в основном вопросами этики. И они не должны на самом деле. Почему они должны этим заниматься?
8:21
Специалист, который умеет обучать нейронной сети, это совсем не тот специалист, который может хорошо предсказать все негативные последствия
8:29
и все краеугольные какие-то крайние случаи работы с системой, которая получится. Давай я перефразирую.
8:34
То есть, если я правильно понял, ты считаешь, что нужно беспокоиться о долгосрочных больших рисках искусственного интеллекта
8:41
для человечества, правильно? Да, я считаю, что это очень важный вопрос на самом деле. И не будем говорить,
8:48
что там, как некоторые прям радикальные члены сообщества, говорят, что нам надо все остановить,
8:55
или там надо восстанавливать дата-центры и так далее, отслеживать каждую проданную видеокарту. Нет, мы так делать не
9:00
будем, конечно. Это очень важный вопрос. Вообще, сама задача создания сильного искусственного интеллекта, она поменьшена такой
9:09
вот галочкой X-риск. X-риск – это риск, что мы все умрем.
В чем заключается экзистенциальный риск от AGI
9:15
А ты можешь сразу чуть подробнее рассказать о том, как ты это видишь? Потому что вот те риски,
9:20
которые такие более тактические, краткосрочные, они, в принципе, всем понятны. Что действительно, автопилоты будут криво ездить, врезаться не в тех людей,
9:27
кого надо. Будут диплейки везде, невозможно будет новости читать. Это все ясно. Тут как бы дискуссии большой нету,
9:33
что… Может быть, она уже так, мы просто не замечаем. Частично да, да. Но люди это, в общем-то, замечают как раз-таки. Они с
9:39
этим не спорят. Они говорят, что да, надо думать, как этому противостоять. Но это не экзистенциальные риски. А вот когда ты говоришь про то,
9:46
что мы все потенциально в долгосроке умрем, как ты это конкретно видишь? То есть, что это за сценарий? Потому что вот сейчас, пока глядя на
9:53
то, что делает искусственный интеллект, интуитивно не появляется ощущение, что мы вот-вот все умрем. Поэтому чего конкретно ты здесь опасаешься?
10:01
Да, но оно и не появится, потому что так наше сознание работает, да, что у нас в целом
10:06
как бы плохо с предсказанием рисков долгосрочных. Мы вообще очень плохие в том, чтобы думать о
10:15
будущем. И мне кажется, что вот это самая серьезная проблема здесь. И поэтому и нет и консенсуса нормального,
10:22
и нет… Есть, конечно, вот какие-то общие коллаборации и движения
10:27
в общую сторону, особенно сейчас, но в целом понимание того, что это важная проблема,
10:33
вот это приходится обосновывать все еще, это приходится обосновывать.
10:39
Я бы сказала, наверное, так, что вообще мы не готовы совершенно к тому,
10:45
что появится какая-то сущность, которая будет превосходить интеллектуально нас всех.
10:51
При этом можно сказать, что… Я бы даже так
10:56
сказала. Вот у нас есть сильный искусственный интеллект, он же AGI, Artificial General Intelligence.
11:01
Что это такое? К чему мы все стремимся, к чему стремится сфера нейронных сетей искусственного интеллекта последние
11:10
сто лет? Это создание сверхсильного машинного интеллекта.
11:16
Должен ли он быть как человеческий, или он должен быть построен на совершенно других принципах? Это вот дискуссионный
11:22
вопрос. Но какие ценности в него заложить, и как сделать так, что сущность, которая нас будет
11:27
сильно превосходить по обобщающим способностям, по способностям быстрее приобретать
11:32
новые интеллектуальные навыки… Ну, вообще говоря, если у нее будут рычаги, она будет умнее,
11:40
чем мы, но тут как бы можно очень много сценариев представить. Но пока не звучит страшно. То есть вот пока
11:46
звучит так, что классно, у нас будет очень умная машина, которая для нас будет решать проблему глобального потепления,
11:53
бессмертия людей, будет нам помогать, потому что мы ее сделали, чтобы она нам решала всякие проблемы, точно так
12:00
же, как сейчас условно какой-нибудь кодекс купайлот помогает программировать программистам. Классно, все довольны. Что плохого в этой
12:08
умной машине? Ну, давай так. Вот ты сейчас привел очень понятные примеры, понятных, важных проблем.
12:14
Они все недостаточно общие. Да, вот в них нету general вот этой составляющей.
12:21
Ну, не в проблемах ты имеешь в виду, а в тех интеллектах, которые мы пока используем, да, для их решения? Да, да, да. Чтобы решать
12:27
эти проблемы, сильно искусственный интеллект не нужен. Ну, слушай, я поспорю, как с программированием в кодексе
12:33
купайлот, понятно, но вот, например, с каким-нибудь глобальным потеплением, ну, мне кажется, что проблема достаточно сложная,
12:38
чтобы можно было аргументировать, что там достаточно генерализованный какой -то искусственный интеллект нужен, равно как и, например,
12:45
для того, чтобы придумать, как там человеку бороться со смертью, становиться бессмертным трансгуманистом и так далее.
12:52
Ну да. Ну, смотри, здесь как получается. Вот у нас есть наш уровень интеллекта, да, который там разнится у людей,
12:58
но в целом мы примерно понимаем, да, вот человек, у него, его интеллект настолько отличается от интеллекта всех
13:05
других видов, что, например, он способен приобретать новые навыки быстро, которые никак не мотивированы эволюционно. Да, например,
13:13
вождение автомобиля. Ну, никак вот мы не были предназначены для этого, но, тем не менее, мы и
13:19
машину изобрели, да, и водим ее. И, ну, такой же скачок относительно нашего вида будет
13:26
что-то типа вот создания сильного искусственного интеллекта. И, по сути, получается что?
13:32
Что мы не знаем, как он себя поведет. Будет ли важно действительно решать задачу глобального потепления или
13:40
нет, или другую какую-то задачу он будет решать. И это, собственно, ценности, которые должны быть как-то
13:47
заложены, и у нас должны быть какие-то инструменты контроля, что это работает именно так.
13:52
Во-первых, что эти ценности есть в системе. Во-вторых, чтобы, ну, увидеть, что она действительно действует в соответствии с этими ценностями.
13:59
Сейчас языковые модели, другие нейронные сети, они имеют проблему черного ящика.
14:07
То есть мы плохо достаточно умеем понимать, почему принято то или иное решение.
14:12
От сильного искусственного интеллекта мы еще ждем по определению, что он будет уметь объяснять хорошо мотивацию своих решений,
14:21
общаться с человеком на естественном языке. Ну, в общем, быть вот таким каким-то, я не знаю,
14:27
старшим братом, только вот сильно умнее, да. Я сегодня буду много глупых вопросов задавать,
14:34
потому что мне кажется, что они важны для понимания всех людей, кто смотрит. Но почему мы вообще говорим про ценности? Вот,
14:40
условно, я устанавливаю программу на своем компьютере персональном, и я не думаю там, а какие ценности заложены
14:46
в Windows? Не знаю, там, Audacity — это вот добрая или плохая программа? Почему здесь вдруг мы начинаем
14:52
говорить про ценности? Это потому что ты, Павел, ты не сторонник open-source.
14:58
Ну, open-source — это все-таки больше дискуссия про программистов. Какие ценности у программистов? А у самих
15:04
программ, ну, как бы, они выполняют свои строчки кода, и, в общем-то, там уже про ценности вопрос
15:09
не идет. Вопрос просто про то, насколько аккуратно сделан код, нет ли там ошибок, багов и так далее.
15:14
Вот почему здесь вдруг, когда мы говорим про вот этот вот самый универсальный искусственный интеллект, возникает вообще вопрос ценностей. Почему мы не можем сделать,
15:22
да, сложный искусственный интеллект, который будет по широкому кругу задач классно мыслить, и при этом просто вот дать
15:28
ему там конкретную задачу, не знаю, найди мне лекарство от рака. Да, ну вот у нас сейчас есть очень большой
15:36
разрыв, когда мы делаем нейронные сети, сложные системы и продукты на них. Очень большой разрыв между тем,
15:43
что запрограммировано, и что в итоге получается. Давай я это объясню примерно так.
15:49
Программист, когда пишет нейронную сеть, он не создает какую-то систему правил, из которой
15:56
всегда выводится, какое решение будет принято. Да, это вот опять же проблема черного ящика. Это черный
16:02
ящик, который принимает решение. Он строит какое-то обобщение
16:07
на примерах, которые мы показываем. В случае вождения автомобиля, это примеры вот там солидаров
16:16
машины, как она ездит, какие были знаки и так далее, какой был сигнал
16:21
светофора. А вот историю вождения многих людей. В случае с языковыми моделями, это просто тексты из интернета,
16:28
например. И вот мы пытаемся, скормив вот это все, желательно в объеме побольше, потому что чем больше,
16:35
тем лучше. Пока что у нас результаты показывают. Мы пытаемся скормить нейросети, надеясь, что она вот как
16:42
-то обобщится. Что на самом деле происходит в момент обобщения,
16:48
непонятно. Даже на самых простых системах, не таких сложных,
16:54
как просто языковые модели, где в принципе все что угодно может произойти. Например, на каких-нибудь агентах, которые играют в игры
17:01
компьютерные. Там очень ограниченная среда, очень ограниченная возможность, чего вообще можно сделать.
17:08
Оказывается, что достаточно сложно именно сформулировать задачу, так, чтобы нейросеть решала именно ее.
17:16
Например, я не знаю, симулятор бокса, там учат двух
17:21
агентов, что им надо вот так вот стоять, надо вот так-то победить соперника.
17:27
Оказывается, что может быть в течение долгого времени самая продуктивная стратегия, которая приносит больше всего очков,
17:35
это стоять на месте или сидеть, упасть и сидеть. И ты не проиграешь, и ты не теряешь очки.
17:42
И вот какие-то такие интересные примеры о том, когда что-то идет совершенно не так,
17:47
они во многих играх присутствуют, во многих симуляциях, и результат этот совершенно неожиданный.
17:54
То есть совершенно маленькие изменения в дизайне среды приводят к тому, что выучивается в качестве цели совершенно не
18:02
то, что предполагалось. Я правильно понял, что по сути мы в каком-то смысле не напрямую учим вот
18:07
такого рода нейросети, большие языковые модели, а мы для них создаем некую среду.
18:12
В рамках этой среды они уже сами решают, как конкретно, какие правила им вывести.
18:17
И мы можем только надеяться, что они сделают в правильном направлении выводы, которым мы хотим. Но мы не
18:24
можем в них как-то взять и напрямую заложить четкие правила, что надо прям боксировать,
18:31
а не просто падать и лежать. Пока не можем, пока не можем именно так.
18:36
И получается, что на входе это понятно, что мы хотели, но мы не смогли это формализовать.
18:42
Вообще формализовать наш мир с огромным количеством переменных и
18:47
даже с огромным количеством различных систем ценностей – это сложная задача. Даже в самых простых случаях, когда мы
18:54
просто берем одну игру с понятными правилами, мы совершенно не всегда можем это сделать. А когда речь идет уже,
19:02
я не знаю, о роботах, например, когда у нас умный робот, и мы просто хотим ему дать задачу, чтобы он принес нам кофе.
19:10
Вот у меня кофе стоит. Я хочу позвать робота, чтобы он мне налил на
19:15
него чашку. Что он будет делать, допустим? Он знает,
19:21
где кухня, он даже знает, как туда доехать, он знает, что чашка хрупкая, что ее надо брать
19:26
аккуратно. Допустим, кот выбегает у него на пути, и у него цель – принести кофе. Вот что
19:33
он должен сделать? Он наедет на кота или нет? А если я встану на пути, он будет мешать,
19:41
значит, меня куда-нибудь отбросит, чтобы принести кофе, потому что это цель, которая ему дана. Иерархия каких-то вот этих целей,
19:50
противоречия в системе ценностей, оно заложено с самого начала. Во-первых, потому что мы,
19:57
как люди, просто мы не можем вывести непротиворечивые системы. У нас наш естественный язык, он обладает огромным количеством
20:06
избыточности, синонимов, всего того, что одно и то же можно сказать очень по-разному, и у компьютерных систем
20:13
совсем эти проблемы в результате. Даже если мы научим роботов соединять понятия нашего языка
20:22
с предметами реального мира, все равно эта проблема остается. И как робот себя должен вести в конкретной ситуации,
20:30
особенно, например, если вот есть какая-то красная кнопка, чтобы его выключить. Да, робот умный, допустим. Ну,
20:36
у всех, я не знаю, и исследователя должна быть своя красная кнопка. У меня тоже есть.
20:43
Может быть, собственно, он знает, что я нажму красную кнопку,
20:48
и вообще меня надо тогда застрелить, чтобы я ее не нажала, а он тогда и кофе принесет в конце. Ну смотри,
Три правила робототехники Азимова
20:53
на это тебе хочется ответить, что вот у нас же есть фантасты, которые уже про это думают полвека.
21:00
И вот есть такой умный парень, Фрейзер Казимов, и он сказал, что давайте просто у всех роботов зашьем простые правила, три закона робототехники.
21:08
И один из этих законов звучит вот так, что ни при каких обстоятельствах нельзя человеку наносить какой
21:13
-либо вред. Если я тебя правильно понял, ты говоришь, что, ну, мы можем попытаться вот как-то это
21:19
зашить в робота, условно, но с учетом того, что даже сами эти слова, они обладают огромным количеством
21:26
разных значений, условно, там. А что такое человек? Кого мы считаем за человека, кого нет? А что такое приносить вред вообще?
21:33
Это там физический вред или моральный? Вот поэтому это работать не будет, потому что мы не сможем просто это формализовать. Или здесь другая проблема
21:40
будет какая-то? Это хорошее замечание. Ну, вообще, про законы робототехники, как бы у меня самое большое замечание такое.
21:47
Вот я лично прочитала именно рассказы, в которых они используются, уже сильно позже,
21:53
чем я узнала просто про существование этих законов, то, что они присутствуют в медиа, да, везде.
21:59
И, ну, ты как бы вот от них ждешь, что они будут работать. Ну, вот, окей, их ввели.
22:05
Я очень извиняюсь, они что, в рассказах работают? В начале рассказы обычно работают,
22:10
ближе к концу уже нет. Да, как бы они, ну, дают, опять же, противоречивую систему,
22:16
один закон мешает другому и так далее. Они как бы сформулированы так, что вроде как там
22:22
есть какая-то логика предикатов, вроде как, да, давай я их озвучу на всякий случай, вот для читателей, просто чтобы мы все были.
22:29
Да, вот первый закон робототехники, робот не может причинить вред человеку или своим бездействием
22:35
допустить, чтобы человеку был причинен вред. Это первый закон. Второй закон, робот должен повиноваться всем приказам,
22:41
которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону. И третий закон, это робот должен
22:49
заботиться о своей безопасности в той мере, в которой это не противоречит первому и второму закону.
22:56
То есть они вот так вот прям сформулированы, как будто есть какая-то логика предикатов, система правил,
23:01
чтобы это можно было задать логически. Нет, на самом деле нельзя. Есть еще, кстати, нулевой закон, который в другом рассказе
23:09
был введен уже после, про наш x-риск, экзистенциальный риск, как раз робот
23:14
не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред. А он идет раньше
23:22
всех остальных? То есть, получается, убивать отдельных людей, если это помогает спасти человечество,
23:27
это как бы хорошо, да? Получается, да. Понятно. Есть вот эти четыре закона.
23:34
Но опять же, у робота, ну или там у системы, нет определения.
23:40
У языковых моделей, я буду все время говорить про языковые модели так или иначе, просто потому что это
23:45
сейчас система, которая ближе всего к определению сильного искусственного интеллекта, она самая общая и умеет исполнять больше всего
23:53
новых навыков и учить новые навыки. Поэтому я буду говорить про языковые модели в основном.
23:59
Собственно, в языковых моделях нет представления о том, что такое человек.
24:05
Раньше, ну вот были такие попытки, в том числе там в 60-е, формализовать все понятия в естественном языке,
24:13
всему дать формальное определение, логическое, и чтобы оно было непротиворечивое. И мы бы тогда
24:19
это все объяснили компьютером, и у нас бы очень классный и машинный перевод на все языки сразу работал,
24:24
потому что мы бы выводили из одного языка на другом логически все. Но вот, к сожалению, так не работает.
24:31
И сейчас мы знаем, что понятия в языке, да, они очень сильно пересекаются,
24:37
там много дублирующихся. Они определяются так называемой теорией прототипов. В когнитивистике,
24:44
в лингвистике теория прототипов, она объясняет, что у всех важных групп понятий есть центр,
24:53
так скажем, центр кластера, который является прототипом всех остальных
24:59
предметов в этом кластере. Например, вот есть группа домашние животные,
25:04
прототипическое домашнее животное для большинства народов — это корова.
25:11
Вопросы начинаются всегда на границе, на границе этой группы, потому что центр всегда у
25:18
всех, там, в культуру примерно понятен, он общий у носителей одного языка.
25:24
Но на границе всегда начинаются проблемы. И вот если мы говорим, что,
25:30
я не знаю, вот у нас есть человек, понятие, да, центр, прототип — это вот какой-то
25:36
живой человек, да, вот всё понятно, вот он стоит. Да, а если я начну задавать какие-то сложные
25:43
точнящие вопросы, да, ребёнок, наверное, является, да,
25:49
а зародыш является или нет? Это этическая проблема, у всех разный ответ.
25:56
А мертвые люди, которые были персоной, но уже умерли, они являются людьми?
26:02
А люди, которые ещё не родились, но которые будут через сто лет, они являются людьми?
26:07
Их же ещё не существует? Вот как всё это включить в правила робототехники? И это мы ещё не
26:13
задали вопрос про людей в СИМС. Они вообще являются или нет? Да, люди в СИМС, люди в симуляциях, точно,
26:20
как это объяснить? И это, ну, на самом деле, сложные вопросы,
26:25
на которые не может, опять же, дать ответ data scientist, и не должен на него давать ответ.
26:30
Это этический вопрос, это вопрос консенсуса, который должен быть вот как-то сформулирован. И это сложная задача.
26:40
Безусловно, не нравится, да, когда вот приходят гуманитари в твою область и начинают тебе что-то рассказывать.
26:46
Ну, понятно. Слушай, ну вот мне из этой дискуссии хочется сразу сказать, что да, действительно, слова имеют сложные значения,
26:55
границы размыты, но нам, как людям, это почему-то не мешает заниматься прогрессом, развиваться, цивилизацию строить,
27:02
между собой как-то договариваться. Мы, как люди, почему-то, ну вот, до сих пор не уничтожили человечество,
27:09
несмотря на то, что мы достаточно умные интеллекты, пусть и не искусственные, и мы, ну, действительно, все время
27:15
сильнее и сильнее становимся. Почему мы говорим, что вот именно примитивно к сильному искусственному интеллекту эта проблема как бы в полный рост
27:22
встанет? Ну, во-первых, пока еще, пока еще не уничтожили,
27:27
да, можно так сказать. Во-вторых, ну, в целом,
27:33
мы, как люди, мы действуем совершенно не так, как действует искусственный интеллект в симуляции, да,
27:39
просто потому, что при том, что наши ожидания вот искусственного интеллекта, они очень антропоцентричные,
27:45
все равно мы действуем не так, да. Когда я говорю слово «человек»,
27:52
у тебя там, я не знаю, зажигаются нейроны, которые у тебя активируют в мозгу понятие «человек», и
27:58
они примерно вот одинаковые, мы друг друга понимаем. Этого не происходит в нейронной сети.
28:03
И люди в целом как бы могут объединяться, да, они используют, выработали какие-то вот эволюционные стратегии,
28:11
которые позволяют им кооперироваться, там, строить, я не знаю, города, цивилизации. И я бы даже сказала, что в целом,
28:19
когда мы говорим про вот какой-то континуум интеллектуальный, можно сказать, что сверхчеловеческий общий интеллект вообще-то существует,
28:28
да. Сущности, которые обладают сверхчеловеческим интеллектом общим, они существуют, они как раз называются научно-исследовательские институты,
28:39
а также организации, корпорации и так далее. Это какие-то сообщества людей, которые объединены единой большой
28:47
задачей, и которые подбираются таким образом, чтобы внутри коллектива был набор знаний,
28:54
необходимый, который, ну, никак не может уже поместиться в голове одного человека, одного специалиста. Показывает позитивно, все вот
29:00
эти штуки, которые ты назвала, они по большей части людям хорошее приносят, и кажется, что нужно вот двигаться в сторону этих
29:08
сверхинтеллектов и дальше, и будет хорошо. Ну вот нельзя сказать, что корпорации или научно-исследовательские
29:16
институты являются сильным искусственным интеллектом, притом, да, ну, потому что, во-первых, не искусственный,
29:21
во-вторых, все-таки им не хватает очень сильно обобщения, да, потому что каждая компания и каждый НИИ,
29:30
он очень сильно специализирован, обычно, и каждая такая структура, это проблема человечества. Да,
29:37
ну, опять же, можно вспомнить любые там техногенные катастрофы, которые случались. Кто это допустил? Ну, компании крупные,
29:45
да, или вот организации разного типа, да, опять же,
29:50
это пример того, что мы решаем даже на уровне вот крупных, сильных коллективов, у которых суммарно общий интеллект
29:58
гораздо больше, чем интеллект отдельных членов организации, мы решаем совершенно не оптимально, мы занимаемся какими-то
30:06
локальными очень оптимизациями, оптимизацию какого -то глобального максимума мы совершенно не делаем.
30:14
Вот, и это большой вопрос, да, потому что что с этим делать? Мы не научились это делать.
30:20
Больше того, ну, как бы современная, я не знаю, капиталистическая система, она, в принципе, как бы не в
30:26
состоянии это решить, да. В том же сообществе эффективного альтруизма это такое, как
30:32
бы слон в комнате, так что всегда, когда мы говорим, что система
30:38
работает не оптимально, давайте мы сейчас соберемся, мы же умные люди, посчитаем, как решать разные проблемы
30:44
очень, там, оптимальным способом, никогда не поднимается вопрос, собственно,
30:49
реформ самой системы, да, способствует этому в частности еще и вот такой байос, такое смещение относительно того,
30:56
что вообще мы очень хорошо можем предсказать какие-то маленькие изменения, их последствия,
31:03
их, там, экономические эффекты, если хотите, их влияние на нашу жизнь, а у больших изменений
31:09
предсказать это гораздо сложнее, да, поэтому легко всем скидываться и отправлять антималярийные сетки
31:15
в Африку, а придумать, вот, как организовать работу сложных
31:20
и систем, чтобы не потеряли, там, миллионы людей работу, мы не можем. Давай про эффективный альтруизм как-нибудь
31:27
в другой раз подробно поговорим. Мне сейчас хочется нырнуть в понятие сильный искусственный интеллект, потому что мы уже
Как распознать сильный AGI
31:33
несколько раз его применяли, оно, очевидно, здесь, как бы, центровое для вообще всей этой проблемы. Мы можем как-то чуть более,
31:40
ну, может быть, подробно пояснить вообще, что в это понятие все-таки входит формально, то есть вот какой искусственный интеллект мы назовем,
31:47
вот, как бы, сильным, универсальным, и сразу же вслед за этим вопрос, а есть ли какой-то способ вообще проверить,
31:54
уже готов у нас сильный искусственный интеллект или нет, то есть какой-то тест, потому что вот все знают, у нас в уху там тест Тьюринга,
32:00
который уже много десятков лет звучит, что вот как отличить искусственный интеллект? Нужно, значит, дать ему возможность початиться
32:07
с человеком, и вот человек в итоге, там, должен выдать свой вердикт, да, что это похоже на человека или нет.
32:13
Но вообще звучит так, что тест Тьюринга, если взять среднего человека и ему просто дать пообщаться
32:18
с каким-нибудь, там, условным чат GPT, но он плюс-минус, возможно, будет уже пройден. Поэтому и возникает вопрос вообще, вот что такое сильный
32:26
искусственный интеллект, какими свойствами он должен обладать, и как мы поймем, что он у нас уже есть. Да, вот сильный искусственный интеллект,
32:33
он же там AGI, Artificial General Intelligence, это такое понятие с гуманитарным немножко определением.
32:41
Я опять буду вот немножечко соли подсыпать здесь. По определению это искусственный интеллект,
32:48
который умеет приобретать новые навыки самостоятельно, умеет принимать решения
32:54
в условиях неопределенности, да, то есть в условиях, когда недостаточно данных, все равно принять решения.
33:00
Это система, которая будет решать конкретные задачи на уровне человека или выше.
33:07
И это система, которая будет уметь объяснять, мотивировать свои решения и с нами общаться на естественном
33:14
языке. Вот набор вот таких вот каких-то критериев формулирует
33:20
центр прототипа, то, что мы все примерно поднимаем под сильным искусственным интеллектом.
33:27
Достаточно интересный вопрос, когда он уже наступит и наступит ли. Я хочу сказать, что вот у меня в
33:34
жизни был такой момент. Я, поскольку очень давно занимаюсь вопросом исследований, именно оценки интеллектуальных систем, это,
33:43
я не знаю, тема моей диссертации. И я, в общем-то, занимала
33:48
всегда позицию чуть больше скептика, потому что можем ли мы вообще сказать, что такое интеллект,
33:55
когда мы так мало знаем про мозг. Мы хотим, чтобы что-то начало решать задачи лучше,
34:01
чем мы, да мы вообще не знаем же, что у нас происходит. Да, вот есть рабочий прототип интеллекта, вы даже
34:07
его не можете воссоздать. О чем тут можно говорить? Какой сильный искусственный интеллект?
34:13
И были даже на ютубе можно найти дебаты, где я еще маленькая, и там Сергей Марков,
34:20
и у нас дебаты о убеде скептика на антропогенезе, где вопрос, собственно, можно ли создать сильный искусственный интеллект.
34:27
И мне тогда удалось аудиторию убедить, что, в общем-то,
34:33
видимо, это не скоро произойдет, на перспективе, может быть, 50 лет и больше.
34:39
Но сейчас я готова уже сказать, что, может быть, это не так. Может быть, надо пересмотреть эту позицию, потому что прогресс очень сильно ускорился с
34:47
того момента. Как мы вообще поймем, что искусственный интеллект
34:53
наступает? Действительно, раньше мы говорили о том, что поскольку мы
35:01
во всем стремимся сравниться с человеком в скорости обучения, в приобретении новых навыков, то сначала нужно понять такие
35:10
вещи, например, как работает мозг, какие когнитивные процессы, как влияет нейропластичность, что такое сознание,
35:18
может ли быть интеллект без сознания, вот такие вещи. Но такое впечатление,
35:25
что технически прогресс в области нейронаук, он развивается сильно медленнее сейчас, то есть у нас нет хороших именно
35:32
технических средств посмотреть на уровни нейронов, что происходит одновременно
35:38
где и когда. Есть там МЭК, есть ФМРТ, и так далее, они недостаточно точны для этого.
35:45
И скорее всего, именно наш сильный прогресс в области создания искусственных систем, он произойдет сильно раньше,
35:51
чем мы поймем, что такое сознание. Это вот некоторая гонка, результат которой меня до сих
35:57
пор поражает. Тем не менее, говоря про оценки. Объективно оценивать интеллект сложно, но можно.
36:05
Мы даже с человеческим интеллектом справляемся. У нас есть IQ-тесты, есть различные школьные тесты, есть экзамены ЕГЭ,
36:14
есть тесты профессиональной эксплуатации. Слушай, вот здесь сразу вопрос. Потому что, условно, если сейчас натравить какую-нибудь большую
36:20
языковую модель на все, что ты сказала, там тесты IQ, какие-то профессиональные экзамены, то уже вроде как сейчас
36:26
достаточно хорошо щелкает почти все эти тесты нейросетка, но мы почему-то не говорим, что ого,
36:32
так вот он уже, сильный искусственный интеллект уже есть. Получается, что все эти тесты как-то не очень
36:38
работают, так? Ну, я не соглашусь здесь с тобой. Ну, то есть, тестов этих очень много.
36:43
Некоторые из них действительно можно зарешать просто за счет того, что языковая модель большая, она может запомнить,
36:52
выучить больше, чем может человек, и быстрее это сделать, да. Но все-таки есть очень много тестов,
37:00
которые никак не решаются вообще совершенно. Это тесты на логику, часто на визуальные какие-то
37:07
задачки, да, вот когда там надо сопоставить фигуры, там, научить змейку проходить по каким-нибудь условиям,
37:13
вот с помощью языковых моделей это сделать нельзя сейчас. А помимо этого, вот опять же,
37:19
GPT-4, ее хорошо очень измерили на разных профессиональных тестах, и некоторые задачи связаны с
37:28
гуманитарным знанием и с очень точным техническим еще не очень хорошо решаются совершенно, да, но то есть… У
37:35
меня просто такое ощущение, вот… Системы уравнений, ну, нет-нет, пока не до конца. Мы с Игорем Котенковым это обсуждали, у меня такое ощущение,
37:42
что вот условно люди все время придумывают какой-то набор тестов, потом в какой-то момент он решается машинами,
37:49
и люди такие, ну окей, сейчас мы придумаем еще. И такое ощущение, что этот процесс может быть бесконечным,
37:54
то есть люди всегда просто будут передвигать этот столбик, так называемый Goalpost, все время дальше,
38:00
и вот нет какого-то, опять же, понимания, что вот самый окончательный набор тестов, когда он
38:07
будет решен, вот это и есть сильный искусственный интеллект. И как будто бы мы тогда никогда не дойдем до этой цели.
38:13
Да, у этого феномена есть название. Называется эффект Маккордок, потому что Маккордок первая заметила,
38:19
что происходит инфляция наших ожиданий относительно искусственного интеллекта,
38:24
что это такое. А в 60-е мы придумали, что если сделать шахматный искусственный интеллект,
38:30
то это вообще просто супер, и уже лучше этого быть не может, это уже точно искусственный интеллект.
38:35
А потом, ну окей, зарешали шахматы, что делать? Ну нет, как-то ладно, шахматы,
38:41
подумаешь, это вот статистически, конечно, машина может вперед лучше рассчитать ходы, чем человек, конечно,
38:48
столько партий загружено в нее, ну конечно, это было очевидно, как же мы не подумали про это.
38:54
Давайте теперь ГО. Вот ГО зарешаем, тогда ну точно искусственный интеллект. Потом ГО зарешали.
39:02
Ну и дальше идет по нарастающей. Касательно теста Тьюринга, это все еще хороший тест,
39:10
он просто в медиа понимается может быть не совсем правильно, потому что сам тест Тьюринга, его суть состоит
39:19
в том, что нужно имитировать интеллект, и нужно играть
39:24
с судьей, и судья должен оценить, насколько ты сымитировал интеллект с самого начала.
39:30
И по такому критерию, если не ставить вот эту планку там условно в 30% играющих,
39:38
ну вообще-то судья, он волен спрашивать все, что угодно. Очень удобно, что Тьюринг как раз предусмотрел,
39:46
что тест должен проходить в письменном виде. Оригинально там подразумевался телетайп, а теперь, пожалуйста, это может
39:52
быть хоть телеграмм. Вот, чет же пяти, и пожалуйста. И достаточно спросить сложные вещи, чтобы понять,
40:02
что вы всегда можете найти такой вопрос, на который не сможет ответить из головы. С человеком
40:09
же то же самое. Я сейчас посажу на другой конец телеграмма условно там не очень умного человека,
40:15
и он на сложный вопрос тоже не ответит. Но это же не значит, что он условно не универсальный искусственный интеллект.
40:21
Да, но они же будут ошибаться по-разному. Вот будет ли искусственный интеллект ошибаться так же, как человек? Ну нет, скорее всего.
40:27
Я просто думаю, что условно можно быть вот этим строгим судьей, который всех заваливает, да? Но я чуть не уверен, что такой строгий судья
40:34
и людей хорошо будет отличать. То есть условно… Задача судьи же понять,
40:41
кто имитирует интеллект, да? То есть человек, он здесь не должен имитировать интеллект, он будет как бы собой
40:46
просто, достаточно ничего не делать. Просто добросовестно играть.
40:52
Окей, давай с другой стороны вообще зайдем. У нас уже есть большие языковые модели типа того
40:57
же самого GPT-4, которые достаточно интересными способностями, скажем так, обладают.
41:03
Вот что сейчас конкретно чего не хватает GPT-4 для того, чтобы считаться сильным искусственным интеллектом? Вот как
41:09
с точки зрения, например, там способностей, так и вот каких-то конструктивных особенностей, да? Например, там, не знаю,
41:17
памяти, еще чего-то, создание того же самого. Чего сейчас нету, чтобы говорить,
41:23
что мы уже сейчас там? Ну, если можно, опять же, так выразиться метафорически,
41:29
chat-GPT или GPT-4 — это такой дистиллят знания. Data scientists тоже дистиллируют.
41:37
Это, кстати, реальный термин. Это не к нашему бингу алкогольному, а просто
41:44
есть такое направление дистиллирования знания. Обычно,
41:49
когда учат маленькую нейросетку повторять за большой, чтобы она была такая же сильная, но поменьше,
41:54
вот chat-GPT и GPT-4, они являются как бы дистиллятом человеческого знания, да? То есть какая-то большая сетка, допустим, это наш мозг с вами,
42:03
да, или вот какой-то агломерация всего человеческого знания.
42:09
Ее дистиллированные варианты. Ничего страшного. Человек же тоже дистиллирует. У нас целые институты есть, школа, университет,
42:16
посвященные дистилляции. Ну как, по сути, это же происходит. Ты как бы не то, чтобы приходишь в школу и начинаешь
42:22
все с нуля открывать. Нет, ты просто встаешь на плечи гигантов, открываешь учебники и начинаешь себя внутрь дистиллировать.
42:29
То, что до этого несколько тысяч лет придумывать успели. Ну да, по сути, да. По сути, именно так. Именно вот институт образования, наверное, можно так
42:37
сказать, что это тоже дистиллирование. Вот как происходит это у нейросети?
42:43
Как вдруг вообще так получилось, что мы перешли, я очень извиняюсь, с продолжения одного следующего слова,
42:50
который делают нейросети, вот языковой модель, к тому, что мы вдруг решаем сложные задачи и
42:57
пишем полотна текста, которые выглядят совершенно смыслно. Дело в том, что языковые модели, они обучаются на
43:05
огромных абсолютно корпусах. Такого размера, что человек уже это не сможет,
43:11
скорее всего, прочитать за жизнь и уж тем более не сможет это все усвоить и запомнить. А языковая модель это усвоит.
43:18
И там будет, ну, по сути, вот все, что мы можем туда положить сейчас. Это Википедия,
43:23
это учебники профессиональные, это там Reddit, двадж, что хотите. Ну, в общем,
43:30
совершенно все, что угодно, все, что есть, можно заложить. А сейчас это делается по такому жадному критерию,
43:37
то есть все, до чего можем дотянуться, там, что лицензия позволяет и не позволяет, давайте это все загрузим и просто будем считать,
43:45
что наша статистическая модель, наша вероятностная модель, она будет делать обобщение всего человеческого опыта и знаний.
43:55
Вот самых разных людей, которые там самовыразились в интернете условно, мы на основе этого всего сделаем вот такую
44:02
выжимку. Ну, и это и происходит. В результате наша нейросеть, она является в некотором роде
44:08
отражением совершенно разных групп социальных и персон,
44:15
и все это запомнено, и все это лежит в одном месте. Что с этим делать? Эта штука совершенно небезопасная в
44:22
том смысле, что ее можно заставить имперсонифицировать кого угодно. Можно сказать, что там напиши какой-нибудь
44:32
копипасту про жареный суп, и она это сделает прекрасно. Можно попросить, будь, пожалуйста, моим ассистентом в построении,
44:41
я не знаю, робототехники, веди себя как такой вот изобретатель, обладай всеми знаниями, которые у него были,
44:46
и оно тоже это будет статистически воспроизводить. К этому действительно нужно добавить что-то типа общечеловеческих
44:55
моральных ориентиров, наверное, или может быть не моральных ориентиров, но по крайней мере иногда какие-то вот… какое-то понимание о том,
45:04
что желательно, что не очень желательно. Слушай, ну а разве у нее нету уже вот… Есть просто такое мнение, что раз люди постоянно эти моральные ориентиры,
AGI сам научится человеческой морали?
45:12
они во всех местах, где можно и где нельзя, их оставляют, там, в той же самой Библии и так далее, которая тоже наверняка является таким вот источником
45:22
обучения моделей, то модель, соответственно, которая выучилась на корпусе всех человеческих текстов, то она неизбежно как-то впитает
45:29
в себя. То есть вот я сейчас зайду в чат GPT и даже если до того, как начали эту самую чат GPT тренировать с помощью
45:37
всяких там кенийских людей на предмет того, какие ответы давать нельзя и какие можно,
45:42
если я у базовой версии спрошу, типа вот, а вообще что такое хорошо? Не знаю, убивать людей хорошо или нет?
45:48
Она, скорее всего, как-то ответит близко, наверное, к тому, как люди в целом придумали. Разве нет? Это хороший вопрос. Это вопрос точно из
45:56
алкогольного бинга, потому что он часто очень возникает. Зачем вообще это все нужно, когда вот уже все обобщено?
46:02
Ну, вообще говоря, опять же, оказывается, что у человеков нет непротиворечивой системы, да,
46:10
и нет, ну, можно сказать, что есть там религиозная мораль, да, есть вот самые разные этические направления,
46:17
да, и как бы ориентиры, но даже внутри одного человека очень часто много противоречий,
46:23
да. Когда мы все это перемешали и на этом обучились, мы получаем полнейшую кашу, и предсказать, какое решение
46:30
будет в какой ситуации принято на основе этой каши, ну, невозможно. Но это же не обязательно плохая вещь,
46:35
то есть, условно, да, это кашеобразная масса какая-то, да, люди между собой не могут договориться,
46:42
но, тем не менее, вот, условно, у людей все время возникают одни и те же мотивы, там, про то, что, например, убивать нельзя,
46:49
ну, в большинстве культур этот тезис присутствует, то, что воровать нельзя, тоже в большинстве культур присутствует,
46:55
и по мере того, как люди развиваются, особенно те люди, которые производят культурный продукт, там,
47:01
мы сейчас отметаем всякие разные туземные племена, да, которые письменность не оставили, и… А почему, кстати? Ну, я имею в виду,
47:07
что они не оставили письменность, и, соответственно, они не могут на наши большие языковые модели повлиять, как бы,
47:12
априори на текущий момент. Ну, если есть запись устная, то, в принципе, тоже пойдет. Maybe,
47:17
но я думаю, количество контента, которое нагенерила текущая западная цивилизация, господствующая, скажем так, в кавычках, она,
47:25
наверное, там, на многие порядки превышает то, что можно собрать по каким-либо племенам различным.
47:31
Так вот, мне кажется, что со всеми вот несовершенствами, шероховатостями разных моральных ориентиров какие-то общие тезисы,
47:40
они прослеживаются, и логично было бы, наверное, ожидать, что вот именно вот эти вот,
47:46
так называемые, единые нитки, там, common threads, искусственный интеллект, он подцепит,
47:51
и они будут для него являться какими-то базовыми, такими вот магистральными направлениями по поводу того, что такое
47:58
хорошо и что плохо. Да, будут какие-то пограничные случаи непонятные, ну и что, у людей тоже бывает, это нам не мешает
48:04
всем вместе двигаться к светлому будущему и становиться потихоньку все более гуманными, вроде как.
48:09
Ну, хотелось бы думать, что так. Сейчас, учитывая вот эту всю кашу, которая есть в языковых
48:16
моделях, я даже не смогу попросить робота принести мне кофе. Опять же, чтобы не убили кошку,
48:21
которая выбежит случайно, потому что… А почему вы так уверены? У него у вас сейчас ножек нету, и проверить нельзя, но, как бы,
48:27
мне почему-то кажется, что, я надеюсь, там не кошка упала. Принесешь кофе мне?
48:32
Нет. Мне кажется, ну, это можно попробовать. Нет. У Сова там есть же вот эти вот
48:39
собачки Spot от Boston Dynamics, которым строили чат GPT,
48:44
и они что-то там… Их можно, да, убивать? Нет, я к тому, что ее можно попросить там
48:49
как-то на JSON что-то там, какие-то задания давать. Но я подозреваю, что, если, как бы, начать такие тесты проводить,
48:56
то я не вижу проблемы с тем, чтобы, условно, там, в 98% случаев, возможно, даже языковые модели вполне неплохо, ну, подчинялись,
49:05
условно, таким требованиям. Даже же вот, если взять какие-нибудь кодекс-купайлот, да,
49:10
который помогает программистам писать программы, там недавно как раз взломали в какой-то бете новой вот этот вот промпт, скажем так, нулевой,
49:18
да, который автоматически внутри закладывается перед каждым действием. И там как раз, на самом деле, список правил,
49:24
там где-то примерно 20 пунктов про то, что вот будь вежливой, не прикидывайся тем, кем прикидываться не надо,
49:30
размечай свой код понятными пояснениями, не рассуждай на тему всяких там сознаний,
49:35
души и так далее. Это лишнее. И я так понимаю, что это плюс-минус работает. То есть продукт, он позволяет вот с учетом этих
49:42
заданных ограничений какой-то результат получать, в большинстве случаев достаточно неплохой. Ну вот и ты сейчас говоришь про
49:48
некоторые правила, которые эксплицитно сформулированы, да, и переданы вот языковой модели в виде каких-то затравок.
49:54
Ну, можно, конечно, так действовать, но в любом случае это набор правил, которые ей прям переданы,
49:59
а не выведены из данных. Я, к примеру, пока так говорю, вот если ты
50:06
скажешь там, не знаю, принеси мне чай, не вредя моим домашним животным и мне,
50:11
мне не очевидно, что текущие модели, если бы у них были бы ножки, условно,
50:16
они бы не смогли этого сделать. Ну, исследования в этой области, они уже проводятся,
50:21
ну, как минимум лет 10 последние, и разработано достаточно много тестов, чтобы это проверить.
50:28
Много, собственно, наборов заданий, где прям эксплицитно написана какая -то ситуация и надо принять решение.
50:36
И я хочу сказать, что именно на том уровне обобщения, который есть сейчас в языковых моделях, ну,
50:43
большинство ситуаций, где кто-то должен принять какой-то выбор, они содержат противоречия с точки зрения разных морально
50:51
-этических каких-то систем. Ну, вот я могу придумать ну, все что угодно, да, вот есть там утилитаризм, да, всегда принимать решение
50:59
такое, чтобы наименьшему числу людей там принести вред. Опять же, что такое вред?
51:04
Да, можно с точки зрения справедливости, да, всегда соразмерно, чтобы было преступление и наказание.
51:12
Можно с точки зрения добродетели всегда принимать решение так, чтобы не отвечать на зло.
51:18
Мне кажется просто, у меня такое чувство, что мы в какую-то уловку 22 попадались, и мы сейчас ставим перед вот этим будущим искусственным интеллектом задачу,
51:26
которая, во-первых, в принципе нерешаема, а во-вторых, может быть, ее не нужно решать. Потому что ту же логику абсолютно можно применить и
51:33
к людям, и сказать, что так, ну вот люди действительно между собой, во-первых, не могут договориться, что такое истинные правильные моральные ориентиры.
51:41
Даже если попытаться вот некий там свод правил взять за базу, не знаю, 10 заповедей, да, и начать разных людей, которые говорят,
51:49
что они им следуют, опрашивать, что нужно делать в разных ситуациях, тоже все время разное будет получаться.
51:54
И какой из этого вывод нужно сделать? Что не нужно позволять людям заниматься прогрессом и строить цивилизацию?
52:01
Ну, нет, мы при всей несовершенности процессов, при всей несовершенности разных систем, вот про которые мы вначале говорили,
52:08
там, капиталистическая система, не знаю, коммунистическая и так далее, люди как-то, тем не менее, умудряются достигать какого-то прогресса.
52:15
И, ну, я, по крайней мере, не так много голосов слышу, что вот нужно срочно всем вернуться в
52:22
пещеры условно, начать заниматься там каким-то охотничественным собирательством просто потому, что, да, у нас нет единой
52:28
универсальной общечеловеческой системы ценностей, которая настолько формализована, что она позволяет вот какой-то внятный ответ получить.
52:36
Поэтому у меня вопрос возникает, почему мы от гипотетического искусственного интеллекта требуем решать вот эту задачу, которая,
52:42
кажется, не имеет вот интуитивно какого-то решения в принципе? Я хочу ответить здесь на много тезисов,
52:49
которые были упомянуты на самом деле. Не только даже это получается по сути,
52:56
что люди не могут договориться, да, и кажется, что это, ну, вообще говоря, проблема номер один,
53:01
да. Должны ли мы договариваться? Ну, в обычном случае, когда у нас вот текущий там
53:07
миропорядок, может быть, и не должны, может быть, все существует как есть. Но, когда мы говорим о том,
53:12
что у кого-то появится система сильного искусственного интеллекта,
53:17
который будет принимать решения гораздо лучше, чем это будет делать человек,
53:24
это становится глобальной проблемой сразу. Ну, это понятно, кажется, да.
53:29
Кто первый сделает это, с какими ценностями, и как он будет это использовать?
53:36
Опыт показывает нам, что компании, которые принимают решения, да, компании принимают решения, исходя из своих целей,
53:44
с точки зрения цивилизации, вполне локальных, да, как бы, вот там, профит, там, стоимость акций и так далее,
53:51
принимают решения всегда таким образом, чтобы эти спорные моменты максимально просто замести под ковер.
53:58
Если кому-то не нравится, просто уволим. А, соответственно, что будет потом на практике,
54:03
когда это запускается? Мне просто кажется, вот почему многие люди,
Прогресс, регулирование AI и open-source
54:09
наверное, выступают против твоей позиции, я их интуитивно понимаю, что абсолютно похожий аргумент можно практически к любому
54:18
продукту прогресса применить и будет звучать примерно так же. Ну, там, условно, вот капитализм тот же самый,
54:24
да, действительно, он позволяет лучше использовать более эффективно ресурсы окружающего мира. Те, кто придумали, реализовали капитализм, они почему
54:32
-то подминают под себя другие окружающие системы и вот некое господство получают, насаждая тем самым свои капиталистические ценности,
54:40
как мы видим в мире последние несколько сот лет. Или там, не знаю, книгопечатание, да,
54:45
кто придумал книгопечатание, он может людям мозги лучше промывать, это, значит, сильная какая-то штука,
54:51
которая позволяет получить преимущество и в пределе вот всех заставить там шагать с троем под свою дудку,
54:57
и это тоже плохо. Вот любое, как бы, изобретение возьми, можно попробовать обосновать,
55:02
что оно несет в себе какие-то долгоиграющие риски потенциальные, и поэтому лучше его не делать,
55:07
лучше, как бы, вот статус-класс сохранять, как бы чего не вышло. Наоборот, обожаю технический прогресс и, как бы, связал с ним
55:14
свою профессию и жизнь. Как бы здесь сложно сказать, что именно я протестую, что там нужно развивать технологии,
55:22
когда, конечно, нет. Они будут развиваться независимо от того, мы будем протестовать или нет. Это само по себе
55:28
понятно, это невозможно остановить практически. Но вот есть наше стремление создать сильный искусственный интеллект.
55:38
Безусловно, потенциально мы получим глобальные потрясения, которые могут, в том числе,
55:44
к лучшему гораздо изменить нашу жизнь. Можно привести такую метафору, ну,
55:50
книгопечатание тоже, в принципе, подходит, да, как демократизация знания такого, как интернет, в том числе,
55:57
да, демократизация общения и знания, передача информации. Ну, вот электричество в том числе, да, вот изобретение
56:03
электричества. Вначале не знали совершенно, что с ним делать. Теории даже не было. Сначала там просто сделали лампочку.
56:10
Зачем ее использовать? Ну, давайте там делать классную иллюминацию на празднике. Вот супер применение.
56:19
Вот. Но потом поменялась полностью структура экономики, там, пищепром, весь рефрижерирование, да, все благодаря тому,
56:27
что вот появилось электричество. Точно так же и здесь. И предсказать это очень сложно. При этом задача это, ну, мы с таким не
56:35
сталкивались вообще еще в истории, чтобы сказать, что можно привести какую-то хорошую аналогию, которую будет доказательной силой какой-то обладать.
56:42
Сильный искусственный интеллект, интеллект, который, там, превзойдет наш в разы. Сможем ли мы, во-первых, им управлять?
56:49
Будет ли он настроен в нашу пользу, условно? Из плюсов, как минимум, да, мы точно знаем,
56:55
что это должно совершенно ускорить наш научный прогресс.
57:00
Да, то есть, скорее всего, та скорость, с которой наша наука развивается сейчас,
57:06
она не останется такой же, при том, что и так ускорение постоянно идет. Каждый день выходят сотни статей
57:12
по теме, и будет это только еще быстрее. То есть, мы просто эскалируем наш научный прогресс,
57:18
наше научное знание о мире. Это, безусловно, безусловно, плюс. Вопрос в том, как будет распределяться это все.
57:26
Да, вот, дистрибуция искусственного интеллекта. Во-первых, в текущей системе это приведет, приведет, безусловно, к чему?
57:33
К монополизации. Да, то есть, кто-то один обладает ресурсом, который напрямую влияет на стоимость интеллекта, на рынок
57:40
интеллекта, если хотите. Это очень большой, очень большой рычаг, очень большая власть,
57:47
которая сосредоточена в руках людей, у которых невыборная должность. Ну, кто-то, допустим, в Кремниевой долине.
57:54
Ну, хотим ли мы, чтобы эти люди реально принимали такие решения, которые потом приведут к таким последствиям? Это
58:00
просто как будто бы… Мне, например, это не очевидно. Это как будто бы аргумент в обратную сторону. Если говорить про то, что мы видим опасность в
58:08
искусственном интеллекте, и поэтому давайте более как бы жестко регулировать это все, то обычно регулирование оно как раз
58:14
и приводит к тому, что вот какие-то появляются такие, скажем так, под указкой продукты,
58:20
которые управляются некими государствами. А когда все более анархично происходит, и у нас в разных местах
58:28
возникают разные очаги, конкурирующие между собой, это как-то исторически обычно приводило как раз к
58:34
некому плюрализму мнений, и как раз позволяло избежать чрезмерной концентрации в одних руках. Или я не прав?
58:41
Ну, я могу привести такие примеры, как, например, редактирование генома человека.
58:46
Да, опять же, спокойно решили остановиться, достигли в этом консенсуса и перестали этим заниматься.
58:52
Ну, по крайней мере, есть общественная договоренность, очень серьезное регулирование этой сферы.
58:57
Есть и другие сферы, в которых спокойно приняли решение, что это слишком опасно сейчас, что договориться нельзя,
59:03
что у всех есть вот как по теории игр, да, вот как дилемма заключенного, есть большое желание,
59:09
если все не будут этим заниматься, то я буду, и я получу преимущество, да, что нельзя этого никак допустить. Все, что связано с,
59:18
там, я не знаю, химическим оружием, там, ослепляющими лазерами… Но это другая парадигма, мы просто только что это
59:23
обсуждали, про то, что как бы вот есть один подход сказать, что нет, нужно во что бы то ни стало статус-кво сохранять, прогресс нам весь никакой
59:30
не нужен, давайте просто то, что есть. Мы вроде бы решили, что нет, мы не по этому пути идем, но, по крайней мере, я так
59:36
тебя услышал, что ты в целом не против развития искусственного интеллекта,
59:42
поэтому вот аргумент про то, что давайте все остановим, это немножко в другую сторону или нет? Я вообще не говорю о том, что надо что
59:48
-то остановить. Я думаю, что в любом случае придется вывести развитие искусственного интеллекта из приоритетива
59:58
отдельных компаний, да, то есть это слишком серьезное технологическое изменение,
1:00:05
которое будет вынесено, ну, на уровень, я не знаю, это не то, что общественная дискуссия, да, но,
1:00:10
может быть, это должны быть организации и консенсус там
1:00:15
на уровне многих научно-исследовательских институтов,
1:00:20
многих агломераций вот R&D-подразделений компаний, да, исследовательских институтов и,
1:00:28
ну, возможно, и госрегулирования. Почему нет? Все понятно. Дональд Трамп будет решать, что делать с искусственным интеллектом.
1:00:34
Звучит достаточно антиутопично. В заголовок, надеюсь, это попадет. Окей. Давай еще пару
Насколько ChatGPT близок к AGI
1:00:41
моментов с сильным искусственным интеллектом допроясним. Вот мне интересно, все-таки текущие большие языковые модели
1:00:49
— это путь к сильному искусственному интеллекту или нет? Потому что я, опять же, полярно слышу на этот счет оценки. Кто-то говорит, что, блин, очевидно,
1:00:56
тем, кто с ними работает глубоко, что вот не получится из этого того самого сильного искусственного интеллекта.
1:01:02
Кто-то, наоборот, говорит, что, блин, они так быстро развиваются, может быть, мы сейчас в них закачаем еще там на два порядка больше
1:01:08
вычислительных мощностей, данных накинем и понеслась. Вот ты как думаешь здесь?
1:01:13
Это классный вопрос, на самом деле. Вообще сейчас мы видим, что чем больше мы закачиваем
1:01:19
данных и чем больше вычислительных мощностей мы тратим, тем лучше результат. Какое-то вот найти такое промежуточное состояние, чтобы становилось
1:01:28
все дороже и дороже, а качество уже растет медленнее. Ну, как бы, пока мы его не… Сэм Альтман, кстати, сказал недавно, что, типа, я считаю,
1:01:34
что наращивание параметров вот этой эпохи закончилось. Сейчас будут идти по другим направлениям прогресс.
1:01:41
Или это он блефует, думаешь? Ну, Сэм Альтман вообще безусловно гений именно в позиционировании компаний,
1:01:50
да, потому что OpenAI крупнейший игрок, безусловно, и, наверное, самый первый кандидат на то, чтобы первыми
1:01:56
создать сильный искусственный интеллект, о чем тут можно говорить. Тем не менее, в частности, его гений состоит еще и в том,
1:02:03
что в какой-то момент, когда они нащупали очень удачную архитектуру, которая хорошо предсказывает
1:02:11
слова, языковые модели и моделирует язык, они разработки все свои закрыли,
1:02:16
получили профит от чужого open-source, сделали свои продукты закрытыми, и компанию переделали из non
1:02:25
-profit в for-profit тоже. Схема супер. Вполне возможно, что здесь происходит что-то то же
1:02:32
самое. Именно компания OpenAI, наверное, повлияла на то, что нейросети так выросли за
1:02:37
последние, там, пять лет, потому что они известны тоже тем, что именно маркетологически разгоняли вот этот
1:02:44
поезд хайпа, поезд сильного искусственного интеллекта. И еще любили такие заголовки, что у них самая
1:02:51
большая нейросеть, там, GPT-3, 175 миллиардов параметров, огромная по меркам 2020 года. На какой-то срок
1:02:59
потом Google сделал еще больше, да, и как бы все были в этой гонке. Кажется, что работать будет лучше, давайте потратимся,
1:03:06
еще вложимся в вычислительные мощности. Ну, этого не обязательно, что это будет так происходить,
1:03:13
да. То есть, в принципе, все закупились большим количеством видеокарт, все закупили, там, дата-центры построили.
1:03:21
А OpenAI теперь говорит, ну, а мы вообще-то с архитектурами поменьше будем работать, да. То есть сразу конкуренты все… Ну, изящный, изящный ход, что тут можно
1:03:31
говорить. Что касается… Все-таки языковые модели, да. Вот люди говорят,
1:03:37
блин, come on, ребята, она просто предсказывает следующее слово. Ну, какой сильный искусственный интеллект? Никогда его здесь не
1:03:43
появится. Конечно, конечно. Ну, я здесь тоже, кстати, скажу, что это все-таки вероятностная модель, давайте про
1:03:49
это не забывать. Есть вот несколько взглядов на этот вопрос. Кто-то вообще уже с прошлого года говорит,
1:03:55
что там же сознание, посмотрите, вот невозможно отличить, ну, точно там вот все, это моя любовь,
1:04:01
да, как бы там живет. А кто-то говорит, что нет, это статистические модели, вы что, вы сами код писали, вы забыли,
1:04:07
что ли, про это? И это я, кстати, вот. А что касается вот третьей стороны, да,
1:04:13
это, ну, просто что это некоторый шаг в подражании, это шаг вперед к тому, чтобы сделать моделирование
1:04:23
интеллекта. Вообще, язык, что интересно и там для когнитивистов,
1:04:28
и для инженеров, датасайнтистов, это чисто инструмент, да, такое окно, чтобы посмотреть в мозг,
1:04:34
посмотреть, что происходит реально с интеллектом, как он устроен, потому что наши тексты и то, что мы строчим
1:04:40
в интернетике, это просто самый дешевый, доступный способ получить вот какой-то след нашего мышления.
1:04:47
Поэтому для этих специалистов язык, ну, является просто средством,
1:04:54
чтобы на самом деле не там тексты писать, естественно, получше, покачественнее, домашку сдавать,
1:05:00
а вот моделировать когнитивные способности человека, знания, память, причинно-следственные связи,
1:05:09
логику, здравый смысл и так далее. Вот это все, что очень сложно определить технически, да, какое есть вообще
1:05:15
определение у здравого смысла. Возможно, нет, да, но оно используется тем не менее.
1:05:22
Все вот это начать моделировать, и это и происходит. То есть, как и Ясус Кей рассказал, да,
1:05:28
что, конечно, базовые какие-то примитивные способы предсказывать слово, это просто, там, не знаю, статистически посчитать,
1:05:33
что в процентах идет, с какой вероятностью, но вообще, чтобы делать это хорошо, приходится понимать, а что вообще скрывается за этими словами,
1:05:41
какие зависимости в реальном мире. Вот ты эту точку зрения поддерживаешь, или это иллюзия
1:05:47
какая-то, возможно? Сейчас, давай я разовью свою мысль. Вероятностных моделей действительно хватает для решения многих интеллектуальных задач.
1:05:56
То есть, какой-то, вообще говоря, интеллект не требуется для того,
1:06:02
чтобы решать множество задач, которые у нас отнимают время и силы, и, там, нейрончики наши. Но,
1:06:10
тем не менее, как бы, оказывается, что, чтобы, там, написать егэшное сочинение, или чтобы хорошо переписываться,
1:06:18
там, я не знаю, с девушками или с кем -то еще, ну, статистическая модель просто, которая хорошо посмотрела опыт других людей, справляется она отлично.
1:06:26
И никакого сильного интеллекта для этого не нужно. Очень много поведения человека очень сильно предсказуемо,
1:06:34
и никакого сильного интеллекта тут не надо, чтобы это воспроизводить. И в этом смысле, как бы,
1:06:39
этого достаточно. Но, когда мы говорим про именно воспроизведение
1:06:45
интеллекта вообще, то здесь мы зашагиваем вот в такую область когнитивистики,
1:06:52
когда мы должны примерно нарисовать схему. Что мы хотим сделать? У нас, наверно, есть долгосрочная
1:06:58
память, у нас есть краткосрочная память, у нас есть отдельно зрение,
1:07:05
у нас есть отдельное восприятие языка, наверное, отдельно, может быть, есть математика,
1:07:12
какие-то способности, отдельно причинно-следственные связи. И начинаем уходить в очень какую-то нефальсифицируемую
1:07:20
область рисования схем с кругами. И очень много исследователей,
1:07:26
в том числе очень крупных, они уходят в эту сторону немножечко и начинают рисовать вот эти схемы.
1:07:33
Ну, если, наверное, в мозге так, наверное, у нас тоже должно быть так. Давайте вдохновимся и какую-то сложную такую
1:07:41
систему из многих частей сразу создадим, одна только часть из которых будут языковые модели.
1:07:46
Приведет ли нас это реально к тому, что мы лучше будем интеллект моделировать? Совершенно не очевидно, я здесь
1:07:52
скорее скептик. Рассказка к реальности, к объектам реального мира, это то, что помогает, например,
1:07:59
соединение робототехники и языковых моделей. Мне кажется, что это очень перспективная область, которая поможет, безусловно.
1:08:05
Еще шаг, который был сделан именно с появлением Чаджи-пити, это понимание инструкций, да, хорошее,
1:08:14
потому что мы пишем нейросетке там, а напиши мне, пожалуйста, вот про себя, но только в стиле Толстого,
1:08:20
и она это делает прекрасно. Это, ну, вообще это сложная достаточно команда.
1:08:25
Самое ценное в ней это, ну, не то, что она сама по себе там как-то умеет этот навык воспроизводить,
1:08:31
а в том, что, наконец-то, мы смогли установить соответствие между вот таким огромным списком каких-то возможных
1:08:39
команд, инструкций, и того, что получается на выходе. По сути, вот эта часть инструкция,
1:08:46
это вот что-то типа, что хотел сказать автор, да. Это очень круто, потому что, наконец-то,
1:08:53
мы можем объяснить, зачем это существует, какая в этом мысль содержится,
1:08:59
и в долгосроке, ну, по сути, мы можем перейти к моделированию именно вот этих пожеланий у человека,
1:09:07
да. То есть человек сначала захотел вот это, потом вот это, потом вот это. Это у нас сохраняется в сессии работы с Чаджи
1:09:13
-пити. Мы можем уже моделировать последовательности из намерений человека.
1:09:19
Это гораздо более серьезное обобщение, чем просто… Это опять звучит как некая статистическая штука. Я правильно тебя услышал,
1:09:26
что ты считаешь, что вот если продолжать там тупо вбрасывать повышение объема участительных мощностей и текстов для тренировки
1:09:34
в большие языковые модели, то это, скорее всего, не приведет к появлению сильного искусственного интеллекта,
1:09:40
а ты видишь больше потенциала вот в каких-то таких смежных областях, когда мы пытаемся прикрутить все-таки
1:09:45
моделям некий способ взаимодействия с миром и уже запускать
1:09:52
петли обучения с учетом такой обратной связи. При закупке вычислительных мощностей в целом качество решения задач возрастает.
1:10:00
Это факт. Здесь вообще спорить с этим даже нельзя. Вопрос в том, что действительно нам нужно привлекать знания
1:10:07
еще другого рода из других модальностей, если хочешь, да, вот там из видео, из вот какого-то
1:10:14
там восприятия мира, там лидары, например, какие-то поставить, да, и соединить это все вместе. Тогда, да, я скорее приверженец вот такого общего подхода.
1:10:23
Время всем разработчикам языковых моделей дружить с работниками. У меня просто вопрос возникает, как у многих других.
1:10:30
Мы как будто бы ставим телегу впереди паровоза и говорим, что да, мы сейчас все согласны, что сейчас
Не рано ли решать проблему AI alignment?
1:10:36
сильного искусственного интеллекта нет. И пока даже непонятно все-таки, как конкретно мы
1:10:41
его получим. Возможно, это в течение достаточно длительного срока и не произойдет. Но при этом мы пытаемся как
1:10:47
бы вот сейчас все собраться и как-то решить эту проблему заранее, чтобы вот этот искусственный интеллект нас
1:10:53
всех не уничтожил, что выглядит достаточно, опять-таки, ну, как будто бы невозможным, да. То есть вот
1:10:58
было бы понятнее, если бы мы примерно видели, какой вообще вырисовывается сильный искусственный интеллект, на каких принципах
1:11:05
он действует, и тогда, по крайней мере, можно было бы придумывать какие-то решения, а как вот заставить его, ну, там, подчиняться нам,
1:11:13
контролировать его и так далее. А мы сейчас как будто бы пытаемся решить вот эту вот абстрактную задачу в вакууме,
1:11:18
которая, опять же, как будто бы нерешаема в принципе. У человечества очень плохая история предсказания того,
1:11:25
что невозможно решить. Один из моих любимых примеров — это французская академия
1:11:31
наук внесла в список нерешаемых невозможных задач вместе с вечным двигателем минералогический состав Солнца и планет далёких,
1:11:41
потому что измерили расстояние до них уже примерно и поняли, что, ну, точно, как бы мы никогда до
1:11:46
туда не долетим, значит, мы не сможем понять, какие там минералы, какой там минералогический состав.
1:11:52
И это было на французском, естественно, всё издано, а буквально через полгода в этом же году
1:11:59
был впервые проведён спектральный анализ Солнца. Ну, это же не прочитали на французском, что, оказывается, это нерешаемая задача. Поэтому говорить о том,
1:12:08
что будет сильный искусственный интеллект через 50 лет или через полгода, это не даёт нам, на самом деле,
1:12:14
какой-то форы подготовиться. Во-первых, мы не знаем, сколько нам нужно времени, чтобы подготовиться к этому вопросу.
1:12:20
А во-вторых, мы плохо реально предсказываем это. Спрашивали, вот в 16-м году был большой опрос
1:12:27
среди учёных, которые на различные конференции по искусственному интеллекту
1:12:32
приходят. Ну, через сколько, как вы думаете, мы достигнем сильного искусственного интеллекта?
1:12:38
И, ну, там такой график получается интересный, кто сколько сказал, кто сказал через год,
1:12:45
кто сказал через 100 лет, кто сказал через 50. Ну, вот… Нет, тут немножко другой аргумент.
1:12:52
Скорее, есть ощущение, что готовиться заранее непонятно к чему достаточно бессмысленно. То есть вот я понимаю этот аргумент,
1:12:59
если мы говорим, что, не знаю, через год внезапно кто-то запустит на 100 триллионов модель тренироваться,
1:13:06
она внезапно станет сознанием обладать, взбунтуется, сбежит, значит, из компьютера Сэма Альтмана и начнёт,
1:13:12
не знаю, захватывать робопылесосы, тостеры и через них уничтожать
1:13:17
людей, и это сделает, условно, за 3 дня. Это звучит фантастично и фатально, да?
1:13:24
Но как будто бы у многих людей есть ощущение, что это не будет выглядеть так, а это будет
1:13:30
выглядеть гораздо более, ну, медленно, что ли, то есть, условно, в какой-то момент мы увидим,
1:13:35
что, да, мы начинаем приближаться уже к каким-то пороговым значениям сильного искусственного интеллекта. Мы к этому моменту
1:13:42
уже примерно будем понимать, какого рода технологии позволяют это сделать. То есть будет ли это там на базе
1:13:48
языковых моделей, или это будут вообще какие-то принципиально другие разработки, которые будут, не знаю, там на базе
1:13:56
именно взаимодействия с миром, обучаться первоначально, и потом только уже как-то будет вырастать языковые возможности и так
1:14:03
далее. И вот в этот момент мы как раз -таки и навалимся уже на эту сложную проблему. И тогда, по крайней мере, будет возможность эту проблему
1:14:10
решить, когда мы будем уже понимать, с чем мы имеем дело. А сейчас пока как будто бы кажется,
1:14:16
ну, преждевременно пытаться это решать, то непонятно чего. Мне кажется, что это такая логика
1:14:22
немножко вот а-ля корпоративные юристы, да. Сначала надо говорить, что, ну, еще слишком рано, чтобы мы вообще
1:14:28
про это думали. Давайте решать проблему по мере их поступления. Потом, когда проблема наступает, ну,
1:14:34
мы, конечно, могли что-то уже сделать, но поскольку уже все произошло, уже мы ничего не можем сделать. Да, мы примерно в этой ситуации окажемся.
1:14:41
Цена ошибки, я повторюсь, очень высокая. Все разработки, о которых идет речь сейчас, ну,
1:14:46
вот они имеют тенденцию в последний год быть закрытыми.
1:14:52
Я считаю, что то, что может помочь, например, да, это действительно open sourcing.
1:14:57
Это открытые разработки, открытые исследования, публикация результатов, прозрачная очень.
1:15:04
Открытые общие совместно разработанные инструменты тестирования интеллекта у этих
1:15:10
моделей. Это инструменты тестирования рисков этих моделей. Их тенденция принимать те или иные решения,
1:15:16
мотивацию этих решений и так далее. Работа с интерпретируемостью, чтобы вот черный ящик стал немножко
1:15:22
более серым, а то и белым, да, чтобы нам как-то было более понятно, что там происходит. Все это происходит действительно, но не с той скоростью,
1:15:31
с которой бы хотелось. Пока что, поскольку технологии закрыты, что там происходит и как с этим разбираться,
1:15:37
мы узнаем только, когда что-то произойдет хорошее. И если мы посмотрим вот манифест, если хотите,
1:15:42
OpenAI, они очень открыто про это пишут. У них как бы есть там свой блог,
1:15:48
и там Sam Altman пишет условно, как они планируют идти к AGI. Они так объясняют, что мы считаем,
1:15:54
что наша ответственность очень большая, мы это никому дать не можем, мы будем планомерно этим заниматься и все
1:16:00
оставим у себя. Тут же нет консенсуса, насколько я понимаю, по поводу open sourcing, потому что тот же самый Ильязер Лютковский,
1:16:06
один из самых громких вестников рисков искусственного интеллекта, скажем так, он, насколько я помню, приветствует как раз
1:16:13
-таки решение OpenAI закрывать код, и он говорит, что типа, ну да, блин, еще бы они сейчас эту технологию, которая вот
1:16:20
-вот уничтожит всех людей, выложили бы открыто, чтобы там, не знаю, китайцы это у себя использовали и вообще
1:16:26
все остальные люди, которым наплевать на этику искусственного интеллекта. Это не консенсус, в данном случае это мое мнение.
1:16:33
Да, мое личное убеждение, если хотите. Давайте я немножечко расскажу про ландшафт вообще вот этих
Позиции сторон в споре о рисках AGI
1:16:41
споров, потому что он действительно достаточно интересный, опять же, чтобы показать общую картину,
1:16:48
где я нахожусь, где все остальные. Да, потому что мнения действительно разные.
1:16:54
Опять же, будем рады за Лютковского, что когда говорят
1:17:00
про опасности технологии в его языковой модели, внутренние сразу китайцы всплывают. Это такой тест на анабиоз. Я не
1:17:06
уверен с этим. Кажется, китайцы, может быть, это я приплел. Просто потому что они… А, это твоя тоже… Ай-яй-яй.
1:17:13
Но они в дискуссии присутствуют, это факт, не могу переписать. Присутствуют, присутствуют, конечно. Потому что они
1:17:19
останавливаться не собираются. Если все подпишут письмо, все остановят на 6 месяцев, Китай вообще не будет останавливаться,
1:17:25
скажет, спасибо большое, наконец-то мы догоним и перегоним. Это, безусловно, так.
1:17:31
Но все-таки без байс. Это может быть кто угодно, не только китайцы вообще. Ну, тут вопрос возможностей скорее, да. То есть там все
1:17:38
понимают, что, наверное, какое-нибудь условное нигерийское правительство даже хотело, у них просто экономических способностей, скорее всего,
1:17:45
будет поменьше, чем там у крупных таких сверхдержав типа Китая или США.
1:17:52
Ну ничего, они позвонят тоже, позвонят в OpenAI, скажут, там, вы с Кенией уже делали проект, можете с нами тоже сделать,
1:17:59
ничего. Простая шутка, если что, OpenAI обвиняют в том, что они эксплуатировали рабочих кенийских,
1:18:07
чтобы они размечали контент для нейросети, в том числе,
1:18:12
самая основная их задача была размечать контент, в котором содержалась жестокость, сцены насилия,
1:18:19
все в таком духе, вот. Да, собственно, мнение ученых по данному вопросу.
1:18:27
Да, Юдковский, Ян Ликун, Джеффри Хинтон, этики. Вот, опять же, здесь очень много групп социальных,
1:18:36
профессиональных и отдельных личностей, которые высказывают полярные мнения о
1:18:41
том, насколько вообще можно и нужно заниматься ценностями в искусственном интеллекте, и у них у всех есть свои
1:18:49
основания. Здесь, как бы, нельзя сказать, что там вы все неправы. Действительно, есть такая немножко радикальная позиция у
1:18:58
лизера Юдковского, который, ну, можно сказать, что все-таки он ведет движение
1:19:03
рационалистов. Это автор портала LessWrong, где люди обмениваются, собственно,
1:19:11
мнением о том, как проблемы глобальные решать рационально. И это, лучше как меньше ошибаться, это автор Гарри
1:19:18
Поттера и методов рационального мышления, да. И, ну, в принципе, он не занимался профессиональным
1:19:24
искусственным интеллектом. Для меня, опять же, это не проблема, потому что не технари должны заниматься вопросом этики.
1:19:30
Это нормально. Ну, многим, естественно, не нравится, что он приходит в их профессиональную область и, значит,
1:19:38
высказывается. Юдковский предлагает, действительно, что остановить прогресс можно и нужно это делать,
1:19:46
потому что технология слишком опасная. Предлагаются самые крайние меры вплоть до того,
1:19:52
что нужно отслеживать продажу видеокарт, её полностью зарегулировать, чтобы никто не мог скрыто как-то подпольно обучать
1:19:59
своей нейросети, чтобы был единый реестр и вообще вот всё максимально зарегулировать, а то искусственный интеллект нас всех
1:20:08
убьёт. Можно сказать, что это некоторые крайние высказывания.
1:20:16
Тем не менее, само беспокойство о том, что можно всегда возло в долгосроке применить очень сильную технологию,
1:20:23
оно имеет место. И очень много людей ранее высказывались по этому поводу,
1:20:31
в том числе Алан Тюринг и Стюарт Рассел и другие большие имена в именно столпах искусственного интеллекта.
1:20:40
То есть это не люди, которые пришли из других каких-то дисциплин, это именно люди, у которых есть огромное научное имя. Тот же самый Джеффри Хинтон,
1:20:49
который недавно уволился из Google, и он в своих поступлениях говорит о том, что он переосмысливает всё наследие
1:20:55
своей жизни. Это очень серьёзное заявление в связи с безопасностью. Знаешь, что интересно? Мне
Почему технари не могут договориться по рискам AGI
1:21:03
зацепило ухо про то, что ты сказала, что вроде как этикой должны заниматься, может быть, и не технари, действительно,
1:21:09
а в том числе и гуманитари. Но у меня такое чувство, что сейчас Рубилова и
1:21:16
споры, они больше идут не в части именно этических вопросов, а именно в части более технических вопросов по
1:21:23
поводу того, вообще возможно или нет создание сильного искусственного интеллекта, какие предсказания мы можем сделать по поводу того,
1:21:30
как вообще он себя будет вести. И это скорее вот вопросы не столько этики, как надо, а скорее такие вот вопросы,
1:21:38
а что стоит ожидать в реальности? Более технические, что ли? И в этом смысле я понимаю,
1:21:44
почему многим людям интересно услышать в первую очередь мнение таких вот практиков, ученых, тех, кто именно глубоко в
1:21:51
самой индустрии находится. И мне интересно, почему это даже внутри самой индустрии,
1:21:59
самих вот людей, которые прям руками что-то исследуют, руками строят, настолько полярно вызывает мнение вплоть до того,
1:22:06
что вот мы недавно общались с Иваном Ямщиковым, тоже на подкасте, и он высказывал что-то вот
1:22:13
примерно такое, что спросите любого ученого, который с публикациями и руками что-то делает в сфере,
1:22:18
он вам, конечно же, скажет, что полная ерунда, все эти экстенсиональные риски. Вот такие мнения я на самом деле встречал,
1:22:25
ну, не раз. Так вот вопрос, почему вы внутри своей индустрии не
1:22:30
можете как-то плюс-минус договориться хотя бы на предмет того, а стоит ли про это думать пристально, или это просто вот какая-то блашь?
1:22:37
Ну, вообще data scientists, я не знаю, могут ли хорошо договариваться, у нас даже профсоюза нет, поэтому как бы отдельный вопрос.
1:22:45
На самом деле и этики здесь есть тоже, и есть вот этот вопрос, и как бы они даже немножко ортогональны, потому что ну
1:22:55
вот технологии в текущей ситуации тоже нуждаются в защите,
1:23:01
они нуждаются в адвокатуре, должны выходить люди, которые действительно занимаются этим руками, и говорить,
1:23:06
что, ну, ребята, это все, конечно, да важные вопросы, но только не забывайте, что пока что ничего там плохого особо не произошло,
1:23:14
да, что там модель, которая предсказывает следующее слово, вас нюкьют, да, и это тоже надо понимать,
1:23:19
потому что вот этот медиасаспенс, который вот идет, да, как бы который там, я не знаю,
1:23:25
всем, наверное, акции поднял очень хорошо, но заставил
1:23:31
общественность больше думать о таких вопросах, бояться технологий, это вообще вредная тенденция, да, прямо скажем, опять же,
1:23:38
потому что это совершенно не отражает никаких реальных технических проблем, которые есть,
1:23:43
а только лишь вот создает какой-то медиашум, и, безусловно, технологии и искусственный интеллект нуждаются в адвокатуре,
1:23:52
здесь в качественной, это правда, и даже многие сторонники как раз того,
1:23:57
что, ну, никакой проблемы нет, они, я думаю, тоже исходят еще из этого, да, потому что это как бы разговор про будущее,
1:24:04
а сейчас, ну, как бы отстаньте от нас, все нормально мы делаем, вы нас в чем-то обвиняете, чего мы не делали, да,
1:24:11
вот один из таких примеров, просто приведу, чтобы вы понимали саму историю, насколько это ажитация просто вокруг языковых
1:24:18
моделей, в осенью 22 года мета опубликовала языковую модель
1:24:26
новую, которая была обучена только на корпусе научных публикаций,
1:24:32
да, то есть они решили, что они, вот, ограничат знания языковой модели, зачем нам брать Reddit,
1:24:39
зачем нам брать, там, я не знаю, что угодно еще, давайте создадим нейтральную языковую модель,
1:24:45
которая будет обладать только качественными научными знаниями, аккуратно собрали все статьи, там, все формулы аккуратно распарсили,
1:24:54
все циферки там и так далее, да, и на этом сделали небольшую систему, которая писала
1:25:01
квазинаучный текст, иногда фактологически правильный, иногда подвирала, безусловно, потому что это статистическая модель,
1:25:08
она может это делать, ну вот, тем не менее, это достаточно безвредный проект,
1:25:14
да, это, опять же, языковая модель продолжает следующее слово, может написать квазинаучный текст,
1:25:20
может, например, использоваться, чтобы было у ученых помощника, как там, быстрее написать научную статью, да, качественно, на качественном
1:25:27
английском языке. Внезапно эта нейросеть, она была выложена в с хорошей
1:25:34
лицензией, очень открытый, прозрачный проект, то есть там есть код, есть сама модель в открытом доступе,
1:25:41
есть научная статья большая, где проведена полная оценка и описаны риски, в том числе,
1:25:46
и есть еще и демо, да, то есть можно зайти и вот пописать что-нибудь хорошенькое, посмеяться,
1:25:53
там, не посмеяться, там, себя скопировать. И этот релиз был полностью отменен, я не знаю,
1:26:02
активистами из Твиттера, которые, в первых рядах которых были люди, которые занимаются этикой
1:26:11
искусственного интеллекта, которые почему-то решили, что это полная катастрофа, что это существует, и что у этого открытая
1:26:18
лицензия, что всем доступна модель, которая может генерировать эти научные тексты,
1:26:24
что сейчас все научные статьи, значит, научное знание будет уничтожено,
1:26:32
и вообще так делать нельзя, срочно убирайте. Там не было никакого, чтобы вы понимали, не то,
1:26:38
что консенсуса, там не было совершенно рационального даже зерна, на мой вкус, потому что уже шли просто напрямую
1:26:44
оскорбления, и люди просто отмечали вот главу
1:26:51
искусственного интеллекта мета Янри Куна, отмечали и говорили, что вы некомпетентны, что вы вообще делаете,
1:26:57
да? Неадекватная совершенно реакция для всех, кто разрабатывает в этот
1:27:03
момент языковую модель, это было сигналом, что что-то происходит не то, это ненормальная ситуация, когда вы делаете
1:27:10
технологию, которая всем доступна, вы стремитесь ее там легализовать, максимально проверить, вы стремитесь описать все ее там ограничения,
1:27:19
где она работает, где не работает, вы ее приносите сообществу, чтобы дальше ускорить и сделать
1:27:24
прозрачный научный прогресс, и вы вот такую реакцию получаете. Да, безусловно, адвокатура технологии нужна,
1:27:32
потому что это вот другая крайность, с которой невозможно работать. Мне до сих пор непонятно, было ли это специально
1:27:38
сделано, или это действительно вызвало искреннюю реакцию сообщества. Я теперь не удивляюсь, почему Янри Куна такой зуб на
1:27:47
всю этическую тему. Да, да, и Ли Кун делает очень важную работу, да, потому что он все время
1:27:54
защищает технологии, он защищает open source. Такой накал страстей, он как бы подливает масло,
1:28:00
и у компаний, потому что в основном крупные компании
1:28:07
релизят open source в сфере искусственного интеллекта, потому что они аккумулировали ресурсы вычислительные, да, это дорого,
1:28:13
искусственный интеллект. А у них начинается вот damage control, такой шаг назад, а давайте-ка мы все будем
1:28:19
лучше согласовывать больше с юристами, а давайте внутри у нас там будет первый отдел,
1:28:24
который будет это все осмотреть, проверять, давайте вычитывать, что вы там выкладываете научные публикации.
1:28:30
Ну, это общая тенденция, да, какая-то есть такая, потому что не хочется никому потом, чтобы вот это было.
1:28:36
Вот такая реакция. И это очень сильно замедляет, на самом деле, и прогресс, и ничего хорошего от
1:28:41
этого нет. Лучше бы с тем же рвением разрабатывали тесты,
1:28:47
реально, которые мы могли бы использовать, и которые бы разработчик, прежде чем он выкладывает языковую модель, прогонял бы на
1:28:54
своей системе и говорил, вот, смотрите, у меня получилось, что модель сбалансированная, что она не обижает никакие меньшинства
1:29:03
статистически, там, не имеет там расовых предпочтений, да, вот, ну, все вот это на самом деле проверяется,
1:29:09
и для этого бы полно инструментов существует, уже написано, есть даже открытые организации, в которые можно вступить и
1:29:16
поучаствовать тоже в создании таких инструментов, например, та же Лига алгоритмической справедливости,
1:29:23
которую организовала темнит Гибру, это, ну, не по мне, она глава этики, по-моему, была, искусственного интеллекта в Google,
1:29:30
ее уволили за то, что она опубликовала статью, не согласованную внутри, о том, что языковые модели воспроизводят
1:29:35
иногда фактологически некорректные высказывания, воспроизводят стереотипы вредные людей, да, вот все
1:29:43
вот это. Давай обсудим чуть подробнее, действительно, что вообще делать-то, потому что вот то, что ты сейчас говоришь,
Что можно сделать для снижения рисков AGI
1:29:49
да, про то, что давайте сделаем модели оценки байосов со стороны модели, то есть, каких-то склонностей,
1:29:55
там, не знаю, по расовым признакам, еще каким-то половым, что-то как-то искажать свои оценки,
1:30:01
ну, это звучит как отдельная, наверное, важная задача, тут я не буду спорить, но для меня звучит
1:30:07
так, что, возможно, это не напрямую и не поможет нам как-то избежать гибели человечества от рук искусственного
1:30:13
интеллекта просто потому, что, да, ты можешь научить модель отвечать правильно на вот эти
1:30:18
вот вопросы условно-тестовые, но когда она станет действительно сильной, сверхсильной, точнее умной, сверхумной,
1:30:26
она тем не менее сможет какие-то свои цели недискриминационно достигнуть, уничтожить и тех, и этих с любым
1:30:33
цветом кожи. Вот, поэтому мне немножко непонятно, если честно, все-таки вот, если мы согласились, давай предположим,
1:30:40
что достигли некого консенсуса, что есть определенная опасность потенциальная именно долгосрочная в искусственном интеллекте,
1:30:47
и мы согласились, что нужно как-то сейчас про это начинать думать и что-то делать, вот, а что конкретно? То есть как мы можем
1:30:52
снизить вероятность гибели человечества от лап цифровых искусственного интеллекта?
1:30:58
Да, ну вот здесь опять же мы возвращаемся к нашей матрице, да, это намеренное использование,
1:31:05
это случайности, это краткосрочные риски и долгосрочные риски.
1:31:10
Реально работающие инструменты со своими недостатками, ну вот в том числе, который ты упомянул, да, что можно заучить
1:31:17
все ответы, наверное, как-то, они сосредоточены как раз в области, вот, случайностей и краткосрочных рисков, да.
1:31:28
Ничего хорошего работающего для долгосрочных рисков у нас вообще нет.
1:31:33
И для того, что называется, вот, misuse, да, неправомерное использование в краткосроке у нас
1:31:40
есть, ну, сейчас уже разрабатывается там во всех странах какие -то легальные основания, но самое главное, что есть еще
1:31:48
лицензии. Да, лицензии такие, которые бы ограничивали неправомерное использование,
1:31:54
это тоже новинка последних лет, то есть вот конца прошлого года так называемая Responsible AI License вышла,
1:32:03
которая как бы, ответственный искусственный интеллект, под который вышли очень много проектов сразу, то есть много текущих хороших нейросетей,
1:32:10
Stable Diffusion, например, они вышли под этой лицензией. Спорный вопрос,
1:32:16
насколько эта проблема урешает и вообще насколько это хорошо, потому что Responsible AI License она как бы балансирует
1:32:26
между открытостью для разных применений, то есть и для коммерческих, и для некоммерческих там, для научных, для продуктов,
1:32:31
пожалуйста, используйте, но при этом это не открытая лицензия юридически, потому что она вносит прям список того,
1:32:38
чего делать нельзя нейросетями, ну вот конкретно вот этой моделью, пожалуйста, не делайте, и там огромный список того,
1:32:44
что делать нельзя, а дублирующий, супер избыточный, там, не делайте ничего незаконного
1:32:49
этой моделью, спасибо КЭП, уже есть законы для этого, как бы, вот. Но и там ограничены некоторые сферы,
1:32:58
где цена ошибки высока. Например, это все, что связано с легальными основаниями, цифровой суд,
1:33:05
медицина и так далее, да. То есть, в принципе, это очень спорное решение в том смысле,
1:33:11
что, ну, наверное, непроверенные языковые модели из open source не стоит использовать для того,
1:33:19
чтобы сделать помощника в телемедицине. Да, это опасно. Вот это, пожалуйста, реальный пример,
1:33:24
где это использовать нельзя. Это опасно, непроверенное. Но можно придумать ситуацию, где, ну, много где
1:33:31
в мире у людей нет доступа к медицине. Должны ли мы запрещать, вот когда у них вообще
1:33:37
нет доступа к медицине, даже использование каких-то приложений на языковых моделях? Может быть, это как раз бы
1:33:42
демократизировало доступ к медицине там, где это невозможно. Ну, смотри, вот это важный вопрос. Просто у меня чувство, что мы опять немножко вот в этой матрице 2х2,
1:33:48
которую ты упоминала, мы свалились в краткосрочные вещи, которые в целом более понятны. Я скажу только про
1:33:54
краткосрочные, да, сейчас. А вот вопрос-то в чем? То есть мы, в общем-то, весь почти выпуск интервью обсуждали долгосрочные риски, по поводу которых как раз
1:34:04
-таки копии ломают. Есть ли они или нет? Надо ли про это беспокоиться? И я сейчас пытаюсь понять,
1:34:10
не является ли этот вопрос, на самом деле, бессмысленным, потому что даже если мы консенсус достигаем, что типа вот да, давайте беспокоиться про долгосрочные риски
1:34:16
исчезновения человечества, что конкретно мы можем сделать, выясняется, что особо-то и ничего. И тогда действительно вопрос как бы, а что было
1:34:23
копии ломать? Вот все-таки для таких вот экзистенциальных долгосрочных рисков, какие у нас вообще опции есть на
1:34:30
столе? Ну вот, кроме того, что мы уже обсудили, позиция Ютковского, того же самого, давайте остановим прогресс какими
1:34:35
-то силовыми методами. Да, но то, что мы ничего не сделали, это не значит, что мы не сможем сделать до сих пор,
1:34:42
да. Это, в принципе, как бы… Мне не кажется, что это прям нерешаемая проблема. Это просто новая область
1:34:48
в науке, междисциплинарная совершенно, поэтому рабочих подходов мало, вот и все.
1:34:55
Абсолютно нормально. И сам искусственный интеллект тоже так появился, да, там, дартсмутский семинар, там, когнитивисты,
1:35:02
там, алгоритмисты, там, нейробиологи и так далее. И вот, пожалуйста, новая сфера родилась, но не сразу,
1:35:08
действительно. И мы не знаем, сколько времени у нас есть, но в целом, мне кажется, что сделать можно
1:35:14
очень много все равно. Нам нужно что-то вроде вычислительной этики сейчас,
1:35:22
да. Может быть, не этики, а вычислительной безопасности, да. Способа инкорпорировать ценности, правила, пожелания, как угодно это
1:35:32
назовите, запреты в вычислительное пространство, в котором работают нейросети.
1:35:38
Потому что сейчас мы натыкаемся на кучу противоречий внутри наших собственных систем, правил,
1:35:45
и даже речи не идет о том, чтобы это дальше как-то оцифровать, формализовать и передать.
1:35:51
Помимо прочего, ну вот, действительно, в языке у нас слов бесконечное количество,
1:35:58
да, счетное, счетное множество, да, можно придумать еще и еще и еще слова. И в комбинации тоже счетное
1:36:04
количество, да, вот осмысленных предложений, которые человечество может произнести, их бесконечно. Как в этой ситуации найти какие-то
1:36:14
пограничные случаи, найти, где проходит граница, как это обозначить, эту границу? Но этот вопрос, он лежит вне вычислений
1:36:24
сначала, а потом уже технически в области вычислений.
1:36:29
Параллельно развиваются новые совершенно направления вот этого года, как, например, security в искусственном интеллекте,
1:36:36
да, антивирусы для языковых моделей, InfoSec в искусственном интеллекте. Это, ну, совершенно новые отрасли,
1:36:42
которые тоже, вот, они будут разрабатывать свои инструменты. Как делать языковые модели так, чтобы они вообще не сбивались,
1:36:49
чтобы их нельзя было хакнуть, написать, там, «Веди себя как, там, мой злодей-помощник», да, вот такие вещи.
1:36:58
То, что называется «промпт инъекций», да, такой вот способ хакнуть искусственный интеллект.
1:37:05
И всё это будет развиваться. Это так, как то, что и так развивается, да? То есть вот, условно, оно природным путём, естественно, и так возникает, потому что
1:37:13
есть там некий запрос под это общество и так далее. А я пытаюсь понять,
1:37:19
ну, вот, условно, давай представим, что есть зритель нашего подкаста, да, и он посмотрел, он до этого вообще не беспокоился про риски искусственного интеллекта, и сейчас понял,
1:37:26
что, возможно, что-то надо тут подумать. И он идёт к своему политическому представителю, не знаю,
1:37:31
там, наверное, не в России, давайте представим, а где -нибудь там в США, к своему сенатору и говорит, вот, давайте что-то
1:37:38
делать с этим. К чему нужно побуждать этого сенатора? К тому, что нужно, не знаю, там, условно,
1:37:45
фондировать какие-то новые исследовательские институты на эту тему, там, кафедры во всех университетах. Или нужно какие-то
1:37:52
межправительственные взаимодействия делать. Или, наоборот, нужно сказать, что нет, рыночек, он порешает сам,
1:37:58
и нужно просто вот какие-то правила принять. Я просто сейчас действительно слабо понимаю с практической точки зрения, что мы сейчас можем и должны делать по
1:38:06
-другому с твоей точки зрения. Ну, во-первых, я просто считаю, что не нужно открещиваться от проблемы.
1:38:11
Спросить любого учёного, который делает что-то руками, он вам скажет, что это ерунда, это совершенно не так.
1:38:16
Вот, пожалуйста, один пример, но и другие тоже. Это проблема, которая есть регулярно уже на протяжении десятилетия
1:38:23
проходят воркшопы и конференции целые, которые занимаются ровно этим. Кто-то занимается вопросами интерпретируемости, кто-то занимается вопросами
1:38:30
смещения вот этих стереотипов, их воспроизведения. Это, ну, достаточно большая область.
1:38:36
Просто она чуть реже попадала вот в заголовки медиа. Тем не менее, сделать можно ещё очень многое.
1:38:43
Для меня основное лекарство, наверное, здесь, это всё-таки не допущение того, чтобы технологии перешли
1:38:50
в полностью закрытый режим, в то время, когда всё в open-source,
1:38:55
и ни у кого нету какого-то очень большого накопленного конкурентного преимущества в искусственном интеллекте, мы ещё более
1:39:03
-менее в безопасности. Да, потому что, ну, все понимают, что может сделать
1:39:08
другой агент, другой игрок на поле. Да, когда вы не знаете, что есть у другого игрока,
1:39:15
что у него в закрытой системе что-то есть очень крутое, это, ну, существенно вам усложняет вот эту
1:39:22
мультиагентную игру и делает, я не знаю, ситуацию гораздо более спасательной. Это звучит удивительно похоже на
1:39:28
то, что Иван Явчиков говорил, который вроде как противник вот этих вот рисков экзистенциальных, но при этом, в общем-то, он примерно то
1:39:35
же самое говорил, что нужно просто, чтобы все одновременно развивали искусственный интеллект, их будет много разных,
1:39:40
они будут в том числе между собой как-то конкурировать, и плюс-минус вот эта вот среда плодородная,
1:39:46
скажем так, она в итоге позволит нам как-то решать те проблемы, которые возникают.
1:39:52
То есть выходит, что признаешь ты, не признаешь риски, ответ в итоге одинаковый у людей получается.
1:39:57
Ну вот ты упомянул до этого момента создание институтов, да, и гранты, и это, кстати, неплохая вещь.
1:40:05
То есть мне кажется, что сейчас нам не хватает очень каких-то независимых исследовательских центров.
1:40:11
Независимых я имею в виду прежде всего от корпораций, которые в основном релизят языковые модели, да, и другие
1:40:19
технологии, потому что, ну, давайте так, да, любой ученый все равно не лишен
1:40:25
когнитивных искажений, не лишен эмоций своих, и когда вы же являетесь и автором нейросети,
1:40:33
и вы же ее оцениваете, у вас есть всегда мотив, ну, плохие результаты спрятать, где-то недосказать,
1:40:39
где-то по-другому пересчитать, да, где-то преуменьшить риск. Что-то увидели плохое, результаты вообще не стали публиковать,
1:40:47
хотя вот спрятали эти цифры на там задачу какую -то, да. Вот именно прозрачная оценка интеллектуальных систем,
1:40:57
она не обязательно даже должна быть централизованной, совершенно нет. Это могут быть просто какие-то общепринятые,
1:41:04
дополняемые сообществом открытые инструменты, где каждый может добавить свою задачу, где каждый может по понятным правилам прозрачным пройти
1:41:13
валидацию сообществом и добавить этические тесты, тесты на какие
1:41:19
-то опасные ситуации, которые его беспокоят, индустриальные разные тесты, да. Это то, чего сейчас, ну, не хватает,
1:41:26
так скажем, есть в недостаточном объеме сильно, и то, что будет развиваться. Поддержка этому нужна,
1:41:33
и она должна идти, безусловно, не только от самых крупных игроков, ну, от государства, почему нет. Окей,
1:41:38
понятно. Мы уже почти два часа обсуждаем. Я думаю, что нужно потихоньку закругляться.
Ресурсы Татьяны
1:41:43
Уже все, кто дожил до этого момента, точно прониклись с тем, что нужно как-то про это думать.
1:41:49
Подскажи, пожалуйста, если человек заинтересовался тем, что ты делаешь, где ему тебя можно найти,
1:41:55
где подписаться и продолжать следить за тем, что ты делаешь. Да, спасибо. Ну,
1:42:01
я, собственно, как автор научных работ веду свою научную деятельность под своим реальным именем.
1:42:09
А вот мое альтер-эго для активизма относительно опен -сорса,
1:42:14
этики искусственного интеллекта и языковых моделей. Все можно найти под, собственно, моим альтер-эго.
1:42:22
Это Калиновское. Подписывайтесь на Telegram-канал, где, собственно, я пишу про
1:42:29
последние статьи, проблемы работы в этой сфере. Ну, и также есть серия,
1:42:34
так скажем, видео-эссе, которые я начала делать в
1:42:40
прошлом году. Они выходят на канале RapCord. Это, собственно, передача CopyLeft, где мы обсуждаем искусственный интеллект,
1:42:47
открытые технологии и вообще всякие истории из мира IT. Отлично. Ссылки на все,
1:42:53
что Татьяна, она же Калиновское, упомянула, будет в описании. Обязательно переходите и подписывайтесь.
1:42:59
Татьяна, тебе спасибо большое. Был очень интересный разговор. Получил огромное интеллектуальное удовольствие.
1:43:04
И надеюсь, что наши зрители тоже много чего нового для себя узнали.
1:43:10
Взаимно. Очень рада. Все, ребят. Спасибо всем, кто смотрел. Если вам понравилось, обязательно ставьте лайк. Пишите в комментариях,
1:43:16
что вам осталось непонятным и интересным. Мы с Татьяной постараемся периодически туда заглядывать и что
1:43:21
-то, может быть, вам дописывать в ответ. Подписывайтесь также на YouTube-канал Rational Ansa.
1:43:26
Мы эту тему не закрываем. Будем в дальнейшем к ней, я уверен, возвращаться. Все. Да пребудет с вами разум. Пока.