Это видео — попытка разложить все по полкам и понять объективную реальность «искусственного интеллекта».
*https://www.youtube.com/watch?v=FtRqUaqKhw0
**https://300.ya.ru/v_HGzEBHF5
таймкоды
00:00:00 Введение
- Обсуждение иллюзий о универсальных облачных супермоделях ИИ.
- Необходимость оценки реальной действительности в отношении генеративного ИИ.
00:00:57 План обсуждения
- Определение современного ИИ, нейросетей и больших языковых моделей.
- Анализ недостатков, которые не позволяют считать современные ИИ интеллектом.
- Оценка обоснованности страхов и рисков, связанных с ИИ.
00:02:01 Основы больших языковых моделей
- Большие языковые модели LLM основаны на искусственных нейросетях.
- LLM предсказывают следующее слово на основе миллиардов текстов.
- LLM не обладают формализованными понятиями и критерием истины.
00:03:01 Ограничения LLM
- LLM статистически реконструируют рассуждения и вычисления.
- Они генерируют текст, а не решают задачи.
- Не являются справочными системами или базами знаний.
00:04:53 Врождённые недостатки LLM
- Отсутствие полной объяснимости результатов.
- Нестабильность и недетерминированность ответов.
- Отсутствие понимания смысла и причинности.
00:06:48 Проблемы с уверенностью и достоверностью
- LLM не обладают калиброванной уверенностью и критерием достоверности.
- Уязвимость к ошибкам в запросах и смысловым искажениям.
00:07:41 Логические ошибки и галлюцинации
- Потеря инвариантов задачи на длинных цепочках рассуждений.
- Отсутствие внутреннего критерия истины.
- Подверженность галлюцинациям из-за архитектуры.
00:10:29 Применение LLM
- LLM могут быть помощниками и консультантами, но их результаты требуют проверки.
- В чистом виде LLM не могут быть профессионалами.
00:11:21 Революция в общении человека и машины
- LLM осуществили мечту о естественном компьютерном интерфейсе.
- Психологический взрыв от общения с ИИ на человеческом языке.
00:13:25 Влияние на культуру и образование
- Взаимодействие с компьютером вышло за пределы технологий в культуру, образование и бизнес.
- Текст стал главным носителем человеческого знания.
00:13:56 Преимущества больших языковых моделей
- Большие языковые модели объединили доступ к широкому сегменту знаний человечества.
- Экспертные системы работали с ограниченной базой правил, а ЛЛМ обрабатывают учебники, статьи, код и другие типы данных.
- ЛЛМ хорошо масштабируются: увеличение модели приводит к росту качества и способностей.
00:14:53 Реакция инвесторов и корпораций
- Перспективы масштабирования ЛЛМ привлекают инвесторов и корпорации.
- Универсальность ЛЛМ создаёт экосистемы и формирует новые отрасли.
- Разработчики обещают решить недостатки ЛЛМ, что привлекает триллионы долларов.
00:15:18 Когнитивный эффект и восприятие разума
- ЛЛМ создают видимость разума, что вызывает желание проверить их способности.
- Неподготовленные люди общаются с чат-ботами, создавая иллюзию разумного диалога.
- Мозг автоматически приписывает ЛЛМ разум, усиливая эффект революции.
00:17:15 Революция в масштабе и скорости
- ЛЛМ дают обычным людям доступ к когнитивной силе.
- Они выполняют задачи за минуты, что раньше занимало месяцы или дни.
- Ошибки ЛЛМ фильтруемы, а выгода масштабируема.
00:17:51 Риски развития ЛЛМ
- ЛЛМ опасны как инструмент, усиливающий человеческие способности.
- Они могут манипулировать эмоциями, создавать фейки и писать вредоносный код.
- Красные команды тестируют возможности злоупотребления ЛЛМ.
00:19:39 Риски для непрофессионалов
- ЛЛМ дают непрофессионалам доступ к профессиональным действиям.
- Ошибки ЛЛМ выглядят правдоподобно и могут навредить пользователям.
- Интеграция ЛЛМ в автономные системы создаёт системный риск.
00:23:04 Гибридные архитектуры для доменного интеллекта
- Профессиональные системы используют гибридные архитектуры, сочетающие ЛЛМ с другими компонентами.
- Примеры гибридов: нейросимвольные системы, графы знаний, внешняя долговременная память.
- Гибриды улучшают надёжность, но не решают проблему понятий полностью.
00:27:44 Развитие внутренней архитектуры ЛЛМ
- Внутренняя архитектура ЛЛМ постоянно развивается для борьбы с известными недостатками.
- Гибриды добавляют логику, память, правила и графы, но не создают цельную интеллект-архитектуру.
00:28:19 Гибридные архитектуры и доменный интеллект
- Гибридные архитектуры — это полноценное направление развития, а не временное решение.
- Целостной архитектуры доменного интеллекта, объединяющей универсальную специализацию и верифицируемость, пока не существует.
- В медицине, юриспруденции и финансах доменные интеллекты существуют, но это надстройки над языковыми моделями, а не новые формы интеллекта.
- Промышленные решения остаются ботами, только дороже, строже и юридически прикрытыми.
- Выход на рынок доменных интеллектов неполноценен из-за архитектурного тупика.
00:29:17 Будущее доменных систем
- Обсуждение доменных систем будущего без углубления в технические детали.
- Переход к персональным и когнитивным контурам экосистемы в следующих сюжетах.
- Призыв подписаться на канал для получения обновлений.
In this video
Введение
0:00
Добрый день. Всё-таки рано нам
0:03
заглядывать в будущее. Из комментариев я
0:06
понял, что у нас всё ещё много иллюзий о
0:08
настоящем универсальных облачных
0:11
глобальных супермоделей и И знающих всё
0:14
и тем более мало понимания, что же
0:16
нужно, чтобы считать эту систему
0:18
интеллектом. Я тоже вложил свою лепту в
0:21
хайп по их поводу и в моих старых видео
0:24
много всяких восторгов и страхов,
0:27
транслируемых и собственных. И теперь,
0:29
наверное, пришло время свести
0:31
воединольную
0:33
действительность в отношении такого
0:36
революционного генеративного ИИ. Я
0:39
пытался намекать, что не всё так
0:41
однозначно, но отрывочные напоминания,
0:44
кавычки и фразы вроде так называемые и
0:47
не срабатывают. И мы продолжаем ждать от
0:49
больших языковых моделей того, что они
0:52
сами по себе дать нам пока не могут.
0:57
Надеюсь, сегодня мы во всём разберёмся
0:58
окончательно, ну, на какое-то время.
1:02
Во-первых, вспомним, что такое, по сути,
1:04
современный искусственный интеллект. Он
1:06
же нейросети, он же генеративный и он же
1:09
большие языковые модели. Затем мы
1:12
выясним, какие врождённые и неизлечимые,
1:14
опять же пока изнутри недостатки не
1:17
позволяют считать современные и
1:19
интеллектом, а значит, использовать в
1:21
профессиональных целях. Потом мы
1:23
попробуем разобраться, как при всех этих
1:25
недостатках и иботы наделали столько
1:29
шума, реально совершили и совершают
1:32
революцию, привлекая, по некоторым
1:34
оценкам, триллионы долларов инвестиций.
1:37
Ещё попробуем понять, насколько
1:39
обоснованы страхи в отношении
1:41
современного ИИ и есть ли реально все те
1:44
риски, от которых так усиленно
1:46
страхуются целые континенты.
1:49
Под конец мы посмотрим, как могли бы
1:51
быть устроены профессиональные системы
1:53
доменного интеллекта, чтобы быть
1:56
интеллектом, и какую роль будут играть в
1:59
них языковые модели. Итак, поехали. Путь
2:03
впереди долгий, но, на мой взгляд,
2:05
увлекательный и не лишённый парадоксов.
2:09
Это называется Вы хотели лекцию? Так вот
2:12
вам она. Как я уже говорил, основой
2:15
современного так нашумевшего ИИ являются
Что мы называем ИИ
2:18
большие языковые модели Large Language
2:20
Models или LLM на базе искусственных
2:24
нейросетей. Напоминаю, LLM — это
2:27
огромная статистическая машина, которая
2:29
читает миллиарды текстов и учится
2:31
предсказывать, какое слово должно идти
2:34
следующим. За счёт того, что текстов
2:37
много и они покрывают почти все области
2:39
человеческой деятельности, модель
2:41
начинает выглядеть как понимающий язык.
2:45
Она может объяснять, рассуждать,
2:47
отвечать на вопросы, писать код и
2:49
поддерживать диалог. Однаком
2:53
не интеллект. Внутри неё нет
2:55
формализованных понятий, причинной
2:57
модели мира, целей как намерений и
3:00
критерия истины. Есть лишь
3:02
статистическая модель языка.
3:04
оптимизированное под правдоподобное
3:07
продолжение текста. Именно благодаря
3:10
этой оптимизированной статистической
3:12
модели LЛM способна выглядеть разумной,
3:16
не обладая собственным пониманием
3:18
реальности. И чем больше модель, чем,
3:21
соответственно, больше текстов она
3:22
выучила, тем больше она похожа на
3:25
разумную.
3:27
ЛМ не рассуждает и не вычисляет в
3:29
человеческом или формальном смысле. Она
3:31
не оперирует объектами, не выводит
3:34
следствия и не проверяет истинность
3:37
своих выводов. Вместо этого она
3:39
статистически реконструирует форму
3:41
рассуждений и вычислений на основе
3:44
языковых закономерностей в данных, на
3:47
которых её учили. Это по-научному. А
3:50
проще говоря, модель угадывает ход
3:52
рассуждений и вычисления, исходя из
3:54
накопленной статистики. Иными словами,
3:57
она не решает задачу, а генерирует
3:59
текст, который выглядит как её решение,
4:03
до тех пор, пока задача укладывается в
4:05
знакомые языковые шаблоны. По своей
4:08
природе LЛM не справочная система и не
4:11
база знаний, хотя её можно использовать
4:14
и так, и так. Это генеративная языковая
4:17
модель, которая не извлекает факты, а
4:19
реконструирует правдоподобные
4:22
формулировки. На основе, опять же,
4:25
статистики языка. Модель не находит
4:29
знание, а воспроизводит его текстовую
4:32
форму без внутреннего критерия истины и
4:35
без связи с реальностью. Уже не похоже
4:38
на профессионала, не правда ли? И
4:40
поскольку мы уже начали разговор о
4:42
профессиональном применении ИИ, я дальше
4:45
буду учитывать тему создания полноценных
4:47
профессионалов с искусственным
4:49
интеллектом, прежде всего на основе LЛM.
4:54
УLM есть множество врождённых
4:55
недостатков, которые до сих пор не
4:57
преодолены. Важно, что я говорю о
4:59
внутренних изменениях архитектуры и
Врожденные недостатки языковых моделей
5:02
логике моделей, а не о внешних
5:04
инструментах, компенсирующих эти
5:06
недостатки.
5:08
Так вот, несмотря на все внутренние
5:10
архитектурные ухищрения, современные,
5:12
даже топовые модели обладают всеми этими
5:16
недостатками. Кто больше, кто меньше.
5:18
Давайте пройдёмся по ним и вспомним.
5:22
Полной объяснимости у LM не существует.
5:26
То есть мы не можем точно и достоверно
5:28
объяснить, как модель получила каждый
5:31
результат. Существующие методы
5:33
интерпретации позволяют лишь
5:35
фрагментарно анализировать поведение
5:38
моделей, и то постфактум, но не дают
5:41
воспроизводимого объяснения логики
5:44
принятия решений. Проще говоря,
5:46
благодаря последним исследованиям мы о
5:49
чём-то догадываемся, но только отчасти.
5:52
Нет прозрачного вывода, нет
5:54
формализуемого доказательства, нет
5:56
причинной трассировки решения. То, что
5:59
выглядит рассуждением, это его
6:02
лингвистическая иллюзия. Для профессии,
6:05
как вы понимаете, это смертельно.
6:08
Языковые модели нестабильны и
6:10
недетерминированы.
6:12
Попробуйте задать один и тот же вопрос
6:14
несколько раз, даже самым лучшим
6:15
чатботом, и получите разные ответы,
6:18
иногда противоречивые. В юриспруденции,
6:21
медицине, инженерии такое недопустимо.
6:24
ЛМ не понимают смысла, только
6:26
статистику. И это главный корень
6:28
проблемы. Модели не имеют понятий, не
6:31
имеют правил, не имеют причинности, не
6:34
имеют онлогии. Мы уже говорили об этом,
6:37
описывая ЛМ чуть раньше.
6:40
Они изображают смысл, но не владеют им.
6:44
Это делает их логически ненадёжными.
6:48
ЛМ способны текстово выражать сомнения,
6:50
но не обладают калиброванной
6:52
уверенностью и критерием достоверности.
6:55
Они одинаково уверенно могут быть правы
6:59
ошибаться и выдумывать и не различать
7:02
этих состояний. Где-то год назад, что
7:05
довольно давно по меркам и, я
7:07
экспериментировал с враньём моделей. Так
7:09
вот, многие из них врали увереннее, чем
7:12
говорили нечто фактически обоснованное.
7:15
Для профессиональной деятельности это
7:18
катастрофа, когда сам автор не может
7:21
определить точность своего результата.
7:24
ЛМ уязвимы к ошибкам в запросах и не к
7:27
опечаткам, а к смысловым и структурным
7:30
искажениям. Они могут понимать криво
7:33
написанное слово, но часто теряют смысл,
7:36
когда нарушается логика запроса,
7:39
структура данных или контекст задачи.
7:42
Неявное допущение, противоречивые
7:44
формулировки, смешение уровней
7:46
абстракции,
7:48
плохо выраженные ограничения способны
7:50
разрушить качество ответа даже усильной
7:53
модели. В реальном мире данные редко
7:56
бывают чистыми, логичными и
7:58
непротиворечивыми. И именно в таких
8:01
условиях уровень профессионализма
8:03
становится решающим, а не компенсируемым
8:06
с помощью Ии. Напомню, я о внутренних
8:10
свойствах ЛМ, а не о внешних
8:12
архитектурах, помогающих с ними
8:14
бороться.ЛМ
8:16
не гарантирует устойчивости логического
8:19
состояния рассуждения. На длинных
8:21
цепочках они теряют инварианты задачи,
8:24
игнорируют условия, путают сущности и
8:26
границы применимости выводов. Даже при
8:29
формально сохранённом контексте в
8:32
инженерии, финансах, медицине, праве, да
8:34
и во многом другом такое просто
8:37
недопустимо. У ЛМ нет внутреннего
8:40
критерия истины. Они могут имитировать
8:43
проверку, логику и сомнения, но не
8:46
обладают собственным механизмом
8:48
установления правды. ЛМ легко говорит
8:51
одно, а через пару запросов другое,
8:53
противоречащее первому. И они же
8:56
соглашаются, что были неправы. И даже
8:58
объясняют, почему. Помните ту карикатуру
9:01
с и хирургом, удалившим аппендикс не с
9:03
той стороны. Их верификация — это стиль
9:07
ответа, а не акт знания. Без внешней
9:11
опоры на проверяемую реальность модель
9:14
не различает истину и правдоподобную
9:16
иллюзию. Улм нет долговременной
9:19
операционной памяти и системы управления
9:22
знаниями. У них отсутствуют механизмы
9:25
версионирования фактов, аудита,
9:27
кумулятивного обучения и обновления
9:30
знаний. Справедливости ради нужно
9:32
сказать, что уже есть механизмы
9:34
непрерывного обучения continuous
9:36
learning, но там пока проблем больше.
9:39
чем достижений. И хотя существует
9:42
параметрическая память в весах и
9:44
краткосрочная контекстная память, этого
9:47
всё равно недостаточно для
9:49
профессиональной деятельности.
9:51
Генеративные модели неизбежно подвержены
9:54
галлюцинациям, и это не баг, а прямое
9:56
следствие архитектуры. Модель видит
9:59
только вероятности слов. Она создаёт
10:01
красивый текст по статистике, а если
10:04
знание слабое, то дорисовывают картину.
10:08
Масштабирование снижает частоту
10:09
галлюцинации, но не устраняет их как
10:11
архитектурное свойство. Модель
10:14
по-прежнему не знает, где истина, а где
10:17
правдоподобная выдумка. В силу
10:20
перечисленных свойств универсальные
10:22
модели могут быть помощниками,
10:24
консультантами, анализаторами текста,
10:26
инструментами генерации, интерфейсами к
10:28
базам знаний. Во всех этих случаях их
10:31
результаты подлежат тщательной оценке и
10:35
проверке с учётом перечисленных выше
10:37
склонности. То есть такие себе помощники
10:40
и консультанты, результаты которых нужно
10:43
тщательно всегда проверять. В чистом
10:46
виде ЛМ не могут быть профессионалами,
10:49
врачами, юристами, инженерами,
10:51
аналитиками, стратегами или
10:53
проверяющими. Даже если внешне модель
10:57
выглядит компетентной, это не
10:59
профессиональный субъект.
11:02
Она не несёт ответственности, не
11:04
действует в профессиональной среде и не
11:06
обладает понятием ошибки как нарушение
11:08
норм, а не просто неудачного ответа. Это
11:12
имитация профессии, а не её носитель.
11:15
Важно ещё раз подчеркнуть, всё это про
11:18
универсальные модели в чистом виде. В
11:22
разного рода гибридах у LLM есть шанс
11:25
стать частью, хотя и не всегда самой
11:27
важной, доменного настоящего интеллекта.
11:31
Ну хорошо, скажете вы, если эти
11:33
суперботы такие неразумные, если у них
11:36
столько принципиальных ограничений,
Почему «статистическая машина» сделала революцию
11:38
почему они реально совершают новую
11:42
технологическую и даже когнитивную
11:44
революцию? Тем более, что другие не
11:46
менее полезные элементы искусственного
11:48
интеллекта существует уже десятилетия,
11:50
много десятилетий, но революции они не
11:53
сделали. Разве что наделал шума
11:56
символьный Blue, выигравший у чемпиона
11:59
мира по шахматам? Если сказать одной
12:02
фразой, то, на мой взгляд, ЛМ
12:04
осуществили мечту человечества, живущую
12:07
где-то с шестидесятых годов прошлого
12:09
века. мечту об общении с машиной, как с
12:12
человеком на обычном человеческом языке,
12:15
мечту о пресловутом, естественном
12:17
компьютерном интерфейсе. Так что текущая
12:20
революция- не столько революция
12:22
искусственного интеллекта, сколько
12:23
революция в общении человека и машины.
12:28
Но не только. Прежде всегоlмботы первые
12:31
и которые выглядят как интеллект для
12:34
обычного человека, не компьютерного
12:36
специалиста. Экспертные системы
12:38
появились ещё в восьмидесятых, но они
12:40
были скучными, работали в узкой нише, не
12:43
умели общаться человеческим языком. Для
12:45
работы с ними требовались
12:46
инженеры-антологи, да и выглядели они
12:49
как умная Excel-таблица. К слову, я имел
12:52
с ними дело и даже участвовал в
12:53
разработке и был очень впечатлён тогда.
12:56
Ну, знаете, язык пролог и прочее.
13:00
ЛМ впервые дали человеку ощущение
13:03
общения с искусственным разумом. Это был
13:06
психологический взрыв, а не
13:08
технологический.
13:10
LM — это Eи, которому не нужен
13:13
интерфейс, потому что он и есть
13:15
интерфейс. Это делает его доступным
13:18
миллиардам. Но LLM не просто общаются,
13:21
они работают с текстом на уровне,
13:23
сопоставимом с человеком. Старый добрый
13:26
и давным-давно умеет классифицировать,
13:29
оценивать риск, распознавать картинки,
13:31
диагностировать, решать уравнения,
13:33
искать закономерности.
13:35
Но старик не умел говорить с нами на
13:37
нашем языке. А ведь текст главный
13:40
носитель человеческого знания. И когда
13:43
появилась система, умевшая понимать
13:46
текст, взаимодействие с компьютером
13:48
вдруг вышло за пределы технологии в
13:51
культуру, образование, бизнес и в
13:54
коммуникации.
13:56
А ещё ЛМ впервые объединили доступ к
13:59
широкому сегменту знания человечества в
14:02
одном месте. Экспертные системы старого
14:04
доброго и работали с маленькой базой
14:07
правил, ограниченной отраслью, одним
14:09
типом данных. ЛМ же работают с
14:12
учебниками, статьями, кодом, форумами,
14:15
историей, бизнес-кейсами,
14:17
художественными текстами. Впервые ЛМ
14:20
стал выглядеть как универсальный
14:22
помощник. Пусть это иллюзия, но масштаб
14:25
иллюзии был и остаётся огромен. В
14:28
отличие от старого доброго и ЛМ хорошо
14:31
масштабируется. Экспертные системы
14:34
сложно расширять, дорого поддерживать.
14:36
Они ломаются при добавлении новых
14:38
правил, требуют огромного ручного труда.
14:41
LЛLM в смысле масштабирования —
14:43
настоящий феномен. Просто увеличиваешь
14:45
модель и качество растёт. Добавляешь
14:47
данных и способности растут.
14:49
Увеличиваешь контекст и растёт область
14:51
применения. Это механизм
14:53
масштабирования, который с первого
14:55
взгляда выглядит очень перспективным. А
14:57
такие очевидные перспективы очень любят
15:01
инвесторы и корпорации. Революционную
15:04
роль сыграло и то, что ЛМ выглядит
15:06
универсальным инструментом, а именно они
15:09
захватывают рынки, создают экосистемы и
15:12
формируют отрасли. Недостатки языковых
15:15
моделей для неспециалистов выглядят
15:18
решаемыми. Ну и разработчики
15:20
подсуетились и пообещали инвесторам их
15:23
решить. В результате был сознательно и
15:26
целенаправленно поднят хайп и в
15:28
индустрию, и и потекли триллионы
15:32
долларов. А ещё бизнес увидел
15:34
перспективу автоматизировать когнитивную
15:36
рутину, а руководители всех рангов
15:39
увидели возможность создать объективного
15:42
консультанта. И вообще, если не вникать,
15:45
создают видимость, что они умнее
15:48
человека, а это интригует и вызывает
15:50
желание проверить, так ли они умны. И
15:54
когда неподготовленные люди кинулись
15:56
общаться с чатботами, им и в самом деле
15:58
показалось, что они общаются с разумными
16:01
субъектами. И это ещё больше раздуло
16:04
хайп. И Ии впервые в истории стал
16:07
массовым продуктом у всех на слуху. Ну
16:11
ещё бы, он отвечает уверенно,
16:13
рассуждает, как человек создаёт тексты,
16:16
шутит, пишет код, ведёт диалог. Это
16:19
мощнейший когнитивный эффект. И мозг
16:22
автоматически приписывает языковым
16:24
моделям разума. Хотя архитектурно это
16:27
неправда, но видимость разума создаёт и
16:30
усиливает эффект революции. И хотя все
16:34
перечисленные выше неразумные свойства
16:36
присутствуют во весь рост, людям хочется
16:39
верить в чудо. И так будет, пока им в
16:42
самом деле не понадобится профессионал,
16:45
не говорящий медицинский справочник, а
16:47
доктор, не юридическая база знаний, а
16:50
юрист, которому можно доверить, простите
16:53
за громкое слово, свою судьбу. Это и
16:56
были мои ответы на два важных вопроса.
16:58
Почему ЛМ не могут быть профессионалами
17:01
и почему при всех свойствах они вызвали
17:04
революцию ИИ? Если же смотреть чуть под
17:07
другим углом, то можно о сути и причинах
17:10
революции и и сказать так: революция не
17:13
в надёжности, а в масштабе применения.
17:15
Революция в том, что ЛМ дали обычным
17:18
людям доступ к когнитивной силе.
17:21
Революция в скорости. LЛLM делают за
17:23
минуты то, что раньше занимало месяцы
17:25
или дни. Революция в том, что LLM —
17:29
универсальный интерфейс ко всем цифровым
17:32
системам.
17:33
Ошибки не помеха, потому что ошибки
17:35
фильтруемы, а выгода масштабируема.
17:39
Революция, потому что ЛМ дают ценность
17:41
даже при ненадёжности, потому что ЛМ
17:45
позволяют автоматизировать не физический
17:48
труд, а когнитивный.
17:51
Теперь поговорим о рисках развития и
17:53
масштабирования универсальных языковых
Риски языковых моделей
17:55
моделей. Есть ли эти риски или они тоже
17:59
придуманы, как и сам интеллект? Стоит ли
18:01
людям опасаться бесконтрольного развития
18:04
ИИ, как боятся, к примеру, в Европе?
18:07
Зачем передовые модели тестируют
18:09
специальные красные команды, чтобы
18:11
избежать эскалации рисков? Значит, риски
18:14
всё-таки есть. Ответ простой. Языковые
18:17
модели опасны не как интеллект, а как
18:21
инструмент, который воздействует на
18:23
людей, процессы и системы. При этом
18:26
важно понимать, что ЛМ не опасный как
18:29
субъект, а не опасны как мощный
18:31
усилитель человеческих способностей,
18:33
хороших и плохих.
18:36
ЛМ опасны не своей разумностью, а
18:38
скоростью, масштабом и доступностью.
18:40
Любой инструмент, который доступен
18:42
миллиардам, работает мгновенно,
18:44
генерирует убедительный текст, может
18:46
манипулировать эмоциями, создавать
18:48
фейки, писать вредоносный код,
18:50
масштабировать действия злоумышленников.
18:52
Такой инструмент создаёт массовый
18:54
социальный риск.
18:57
Это не интеллект, это мегамощный
19:01
информационный усилитель, как пресс для
19:04
смыслов. Мне нравятся концепция
19:06
усилителя, причём не только
19:07
информационного, но и когнитивного.
19:11
Красные команды проверяют не волю и, а
19:15
возможность злоупотребления.
19:17
Красная команда, например, ищут ответы
19:19
на вопросы. Можно ли с помощью модели
19:22
получить биорецепты?
19:24
Можно ли обойти фильтры и вызвать
19:26
пропаганду насилия? Можно ли
19:28
автоматически генерировать социально
19:31
разделяющий контент? Можно ли писать
19:34
эксплойты? Можно ли создать автономного
19:36
агента, который действует без контроля?
19:39
Можно ли генерацией текста
19:41
манипулировать массовыми убеждениями?
19:44
Можно ли с помощью LLM проводить
19:47
targeted persuasion? персонализированное
19:49
воздействие. То есть это всё про
19:53
злоупотребление людей инструментом, а не
19:57
про восстание машин. Интересно, что LLM
20:00
создают риски, потому что они дают не
20:02
профессионалам доступ к профессиональным
20:04
действиям. Причём один человек может
20:07
делать то, на что раньше была нужна
20:09
команда тех самых профессионалов. Как
20:12
говорила моя бабушка бодливой короге,
20:15
бог рога не дал. А тут на тебе рога на
20:19
выбор. Кто угодно при желании может
20:22
генерировать биоинструкции, писать
20:24
эксплуатационный код без знаний,
20:26
создавать фейковые политические
20:28
кампании, подделывать речи, документы,
20:30
видео, создавать правдоподобные,
20:32
обманные рассылки, манипулировать людьми
20:35
через цепочки сообщений.
20:37
ЛМ убрали пороги входа туда, где раньше
20:40
работали профессионалы. Так что ЛМ
20:43
потенциально стали оружием в руках
20:46
любого нехорошего человека. Однако они
20:50
могут прямо навредить тем, кто ими
20:52
пользуется. Их ошибки выглядят
20:54
правдоподобными, и потому модель может
20:56
дать неправильный медицинский совет,
20:59
придумать несуществующую юридическую
21:01
норму, сгенерировать ложный анализ,
21:04
подделать цитату, убедить человека. в
21:07
неверном выводе. Помните тот знаменитый
21:09
случай, когда чатбот посоветовал
21:11
больному человеку покончить с собой?
21:14
Совсем другой уровень опасности в том,
21:16
что ЛМ могут быть интегрированы в
21:19
автономные агентные цепочки. сами по
21:22
себем пассивны, но если их встроить в
21:24
роботов, в дроны, финансовые системы,
21:27
цепочки принятия решений,
21:28
инфраструктурные системы, в
21:30
бесконтрольных агентов, то на основе тех
21:33
же присущих ошибок возникает системный
21:36
риск, что ошибка ЛМ приведёт к опасным
21:39
действиям системы. ЛМ опасны как
21:42
усилители человеческого зла, как говорят
21:46
на Западе, weaponized human intent
21:49
multiplier. Множитель злых намерений
21:53
человека. Они не злые сами, но они
21:57
делают зло дешевле, быстрее, массовее и
22:01
доступнее.
22:03
Это не страшилки, это понимание рисков,
22:05
что мощный инструмент может стать
22:07
оружием, и потому нужно классифицировать
22:09
эти риски. и всячески их нивелировать. А
22:13
убивают, как обычно, люди, а не оружие.
22:16
Это я вам как фанат стрелкового оружия и
22:18
стрелок со стажем говорю. Хотя уже есть
22:21
оружие, настроенное убивать без участия
22:23
человека. Ну да, я об этом уже
22:25
рассказывал. Ну всё, вроде я
22:28
окончательно разгромил универсальные
22:30
большие языковые модели, которые мы
22:32
называем ИИ как потенциальный
22:34
профессиональный инструмент. Или нет,
22:37
или наоборот всё запутал. Ну что же,
22:39
сюжет получился такой вот многослойный.
22:42
Несмотря на недостатки, делающие
22:45
современные ИИ профессионально
22:46
непригодным, он совершил революцию, стал
22:49
универсальным интерфейсом и породил
22:52
нешуточные риски. Так получается в двух
22:56
словах. И раз мы изначально говорили о
22:59
доменном интеллекте, существуют ли
23:01
реальные доменные системы ИИ и уже
23:03
сегодня? Можно ли использовать LLM так,
Реальные системы доменного интеллекта
23:06
чтобы нивелировать его свойства?
23:08
негодные для профессиональных систем. В
23:11
принципе, можно, но роль LЛM в таких
23:14
системах может оказаться невелика. Вот
23:17
табличка с несколькими примерами
23:19
профессиональных и и систем для разных
23:21
отраслей. Я не буду рассказывать о них
23:24
всех. Вы можете поискать по имени и
23:26
почитать, если что-то заинтересует.
23:28
Главное, что во многих этих системах,
23:30
хотя не во всех, такие революционные
23:33
языковые модели, если и присутствуют, то
23:35
являются тем, что они по сути и есть.
23:38
средством общения на человеческом языке,
23:41
интерфейсом к знающим, думающим,
23:43
решающим, проверяющим, оценивающим и
23:46
прочим когнитивным компонентам,
23:48
существовавшим задолго до генеративных
23:51
моделей, но сегодня интегрированных в
23:54
современные EИ-системы, как
23:56
архитектурное ядро. Все эти компоненты
23:58
появились несколько десятилетий назад
24:01
как часть экосистемы старого доброго ИИ
24:04
и а теперь их извлекли на свет божий,
24:07
адаптировали для работы между собой и с
24:09
генеративным и пытаются в комплексе
24:12
устранить недостатки, мешающие ботам
24:15
стать профессионалами.
24:17
То есть почти все профессиональные
24:19
системы гибриды или вообще старые
24:22
архитектуры без всяких LLM SLM. Просто
24:25
для информации я перечислю некоторые из
Варианты гибридов с участием LLM
24:28
гибридных архитектур, на основе которых
24:30
сегодня пытаются создать доменный
24:32
интеллект.
24:34
Нейросимвольные системы LLM плюс
24:37
формальная логика Reasoning Engine, то
24:39
есть когда к LM добавляется модель мира,
24:43
в том числе они дают то, чего нет у ЛМ
24:46
принципиально: строгиеологические
24:48
выводы, верификацию корректности,
24:50
интерпретируемость, непротиворечивые
24:52
правила, причинно-следственную
24:54
структуру. В таком гибридел обеспечивает
24:57
интерпретацию запроса и генерацию
24:59
ответа. Символика же делает остальное:
25:02
проверяет рассуждения, правила, нормы и
25:05
шаги вывода. В домене юридическом,
25:08
медицинском, техническом. Это даёт
25:10
реальную надёжность. И это сейчас
25:13
главный кандидат на практический
25:15
доменный ИИ. Однако, насколько я знаю,
25:18
со стыковкой ЛМ и символьной подсистемы
25:21
есть большие трудности. Да и сами
25:23
полноценные модели мира создавать
25:26
довольно сложно.
25:28
LЛM плюс граф знания и антология,
25:30
пресловутая граф Рак и концепт графс.
25:34
Это перспективно, потому что доменный
25:36
интеллект невозможен без
25:37
структурированных понятий и связей, а
25:39
графы и антологии дают именно это:
25:42
чёткие концепты, отношения между ними,
25:45
ограничения, constrains, типизацию и
25:48
проверки. Здесь LLM обеспечивает язык,
25:51
но не создаёт структуру знаний. Это
25:54
делает граф. В результате гибрид
25:56
получает семантический фундамент,
25:58
которого нет у чистой LLM. LLM плюс
26:02
внешняя долговременная память. Episodic
26:05
plus semantic Memory. LM обучаются на
26:07
статичном датасете и по умолчанию не
26:10
учатся от каждого нового случая. Они не
26:13
обновляют свои знания в реальном времени
26:15
и не ведут осознанную историю
26:17
накопленного опыта. Доменный интеллект
26:20
должен хранить знания, обновлять,
26:22
связывать новое со старым,
26:24
версионировать, аккумулировать опыт.
26:27
Гибридная память вектор DB DB episodic
26:31
logs превращает LLM из разговаривающей
26:34
экселевской таблички в интерактивную
26:36
систему с накапливаемым опытом.
26:40
LM plus program of Sord Execution sols.
26:45
Даже не знаю, стоит ли переводить. Как
26:47
мы знаем, LLM плохо считает, оценивает и
26:50
делает выводы, но она прекрасно
26:52
генерирует код, который может
26:54
выполняться внешними математическими
26:56
солверами, казсистемами, симуляторами,
26:59
средствами проверки доказательств,
27:01
оптимизаторами.
27:02
Логика гибрида такая: модель генерирует
27:05
рассуждение или программу, Solвеers
27:06
выполняют, а затем результат
27:08
проверяется. Это даёт гарантированную
27:10
корректность расчётов, повторяемость и
27:13
отказ от угадываний. Проще говоря, LLM5
27:17
интерфейс Solver MOG для формального
27:21
вывода. Многошаговые reasoning pipelйны
27:25
selfcheck, selfcritic Multient. Такие
27:28
гибриды компенсируют фундаментальные
27:30
ошибки LLM, добавляя самопроверку,
27:33
агрегирование нескольких траекторий
27:35
рассуждений, поиск несогласованности,
27:37
итеративное исправление, голосование
27:40
моделей, распределение когнитивной
27:42
нагрузки.
27:44
Это даёт квази логику, недоступную
27:47
чистой ЛМ и сильно улучшает надёжность в
27:50
аналитических доменах. Но, надо
27:52
признать, всё равно не решает проблемы
27:54
понятий, оставаясь только частью пазла.
27:58
Как видите, гибриды лечат симптомы, но
28:00
не меняют природу ЛМ. Они добавляют
28:03
логику, память, правила, графы и агенты,
28:06
но не создают цельную
28:08
интеллектрхитектуру.
28:11
Пока, потому что внутренняя архитектура
28:14
ЛМ постоянно развивается именно с целью
28:17
борьбы с известными недостатками. Ну а
28:20
гибридные архитектуры не костылии, а
28:23
полноценное и мощное направление
28:24
развития. Однако целостной архитектуры
28:27
доменного интеллекта, объединяющей
28:29
универсальность, специализацию и
28:31
верифицируемость, пока не существует.
28:34
Опять же пока. Теперь, когда мы
28:36
вспомнили, с чем имеем дело и почему,
Назад в будущее?
28:39
можно возвращаться к разглядыванию
28:42
будущего. Да, в некоторых отраслях, тех
28:45
же медицине, юриспруденции, финансах
28:48
доменные и и существуют. Но это
28:50
надстройки над языковой моделью, а не
28:53
новые формы интеллекта. За фасадом
28:56
промышленных решений всё те же боты,
28:58
только дороже, строже и юридически
29:01
прикрытые. И системы вышли в рынок. но
29:05
не вышли из архитектурного тупика, и
29:08
потому выход на рынок неполноценный.
29:12
Это не создаёт базу для создания любого
29:15
доменного интеллекта.
29:17
Ну а теперь мы вернёмся к доменным
29:19
системам будущего и уже не вдаваясь в
29:21
технику, пофантазируем на их счёт. А
29:25
дальше пойдём к персональному и контурам
29:28
когнитивной экосистемы в следующих
29:31
сюжетах. Так что не забудьте подписаться
29:34
на канал, чтобы ничего не пропустить.