Всем привет! В этом выпуске мы рассматриваем архитектуру VL-JEPA Яна Лекуна. Эта модель отказывается от генерации токенов в пользу предсказания смыслов (эмбеддингов). Мы узнаем, как это позволяет ИИ понимать физику мира, экономить вычислительные ресурсы и работать с потоковым видео в реальном времени
*https://www.youtube.com/watch?v=9igu3mktBv4
**
пересказ видео
Введение в архитектуру Джепа
- Джепа — предиктивная архитектура совместных эмбедингов.
- Инициатор — Ян Ликун, один из выдающихся исследователей ИИ.
- Джепа основана на существующих идеях, но разработана командой Ликуна.
Недостатки генеративных моделей
- Генеративные модели используют авторегрессию, что требует много ресурсов.
- Они предсказывают каждую деталь, даже несущественную.
- Это неэффективно и бесполезно в практическом смысле.
Принцип работы Джепы
- Джепа предсказывает эмбединги, а не пиксели или слова.
- Эмбединг — сжатый цифровой слепок смысла.
- Модель может игнорировать ненужные детали, предсказывая вектор будущего состояния.
Джепа как Energy Based Model
- Джепа — частный случай моделей, основанных на энергии.
- Энергия — мера несовместимости между двумя вещами.
- Модель минимизирует энергию для правильных пар и повышает для неправильных.
Сравнение с мультимодальными LLM
- Мультимодальные LLM уделяют внимание каждому пикселю.
- Модели, основанные на энергии, описывают соответствие данных через энергию.
- Джепа предсказывает суть событий в абстрактном мире смыслов.
Связь с принципом свободной энергии Фристона
- Обе теории черпают вдохновение из статистической физики Людвига Больцмана.
- Для Фристона энергия означает выживание, для Ликуна — машинное обучение.
- Энергия в машинном обучении — мера неправильности или удивления модели.
Нейрофеноменология и минимизация свободной энергии
- Живые организмы минимизируют абстрактную свободную энергию для экономии физической энергии.
- В ЕЛДПА используется тот же принцип для цифрового мозга.
Принцип минимизации ошибки предсказания
- Мозг строит прогнозы сенсорных данных, минимизируя разницу между ожиданием и реальностью.
- В терминах Фристона это минимизация вероятностной свободной энергии.
- В архитектуре джепа энергия — это числовой штраф, а не нормализованная вероятность.
Различия между Фристоном и Ликуном
- Фристон использует вероятностные распределения, Ликун — числовые штрафы.
- Ликун считает, что в задачах высокой размерности работать с вероятностями невозможно.
- Джепо упрощает вычисления, отбрасывая математический аппарат вероятностей.
Active Inference и его применение
- Active Inference позволяет изменять мир, если модель не совпадает с ним.
- В VLДПА этот подход используется для планирования действий роботов.
Проблемы классических зрительно-языковых моделей
- Вычислительная дороговизна из-за моделирования поверхностных лингвистических признаков.
- Проблема один ко многим: на один вопрос может быть несколько правильных ответов.
Преимущества VLДПА
- Предсказывает эмбединги, а не конкретные слова, что упрощает задачу.
- Использует inf NCE LOSs для минимизации расстояния между предсказанием и реальным смыслом.
Эксперименты с потоковым видео
- Предиктор выдаёт непрерывный поток эмбедингов, что позволяет дёшево сравнивать их во времени.
- Селективное декодирование сокращает количество операций декодирования почти в три раза.
Результаты и сравнение
- VLДПА достигает более высокой точности с меньшим количеством обучаемых параметров.
- Превзошла GPT4 и Gemini 2.0 в предсказании следующего состояния мира.
- Сравнима с гигантами вроде Qн VL в задачах на подсчёт.
Джепа и World Models
- Джепа может быть шагом к созданию World Models.
- Будущее за предсказанием состояний в латентном пространстве, а не за авторегрессией.
- Работа с абстрактами и эмбедингами эффективнее работы с текстом.
Преимущества Джепы
- Джепа может создать быстрый и молчаливый ИИ.
- Такие архитектуры могут быть полезны для роботов, которым нужна реакция в реальном времени.
Критика подхода Ликуна
- Современные LM решают сложные задачи благодаря генерации токенов.
- Джепа может не справиться с символьной логикой и программированием.
- Обучение Джепы сложнее и нестабильнее, чем обучение LLM.
Экономические и практические аспекты
- Люди предпочитают генерацию, а не просто понимание.
- Джепа требует декодера для генерации текста или картинок, что может снизить эффективность.
- Для Джепы нет доказанных законов масштабирования, что пугает инвесторов.
Будущее Джепы
- Джепа интересна для робототехники и видеоанализа.
- Генерация токенов останется важной, пока Джепа не докажет свою стабильность и логические способности.
- Важно развивать различные подходы для прогресса в ИИ.
Применение Джепы в кардиологии
- Появилась модель Эходжепа для анализа эхо-кардиографии.
- Эходжепа предсказывает абстрактные характеристики сердца, игнорируя шум и артефакты.
- Модель показала улучшения по сравнению с современными моделями и её исходный код открыт.
Transcript
0:01
[музыка]
0:11
[музыка]
0:15
Всем привет и добро пожаловать на борт.
0:18
У меня уже давно возникла мысль
0:20
посвятить выпуск архитектуре
0:22
искусственного интеллекта под названием
0:24
Джепа. Это расшифровывается как
0:26
предиктивная архитектура совместных
0:28
эмбедингов. Инициатором этой архитектуры
0:31
является знаменитый исследователь Ян
0:33
Ликун, который считается одним из трёх
0:35
крёстных отцов современного
0:37
искусственного интеллекта и который
0:39
совсем недавно перестал работать на
0:41
Цукерберга и ушёл в свободное научное
0:43
плавание. Утверждение о трёхкрёстных
0:46
отцах ИИ является скорее журналистским
0:48
клише, так как их у Ии, чем трое. Но
0:52
Ликун уж точно один из выдающихся
0:54
деятелей в этой области. Как и почти
0:56
любая новая разработка Джеппа возникла
0:59
не с нуля, а была основана на уже
1:01
существующих идеях. Тем не менее, именно
1:04
команда Ликуна создала и развила этот
1:06
новый фреймворк, превратив его в
1:09
полноценную и концептуально целостную
1:11
архитектуру. В качестве подспорья в
1:13
своём повествовании я буду использовать
1:16
недавно опубликованную ими статью под
1:18
названием VLДПА. Предиктивная
1:21
архитектура совместных эмбедингов для
1:23
зрительно-языковых моделей. Но чтобы
1:26
вообще понять, о чём здесь речь, зайти
1:28
придётся немного издалека. Чтобы понять
1:31
отличительную суть джепа, сначала нужно
1:33
вспомнить, как работают нейросети,
1:35
относящиеся к классу генеративных
1:37
моделей, которые хорошо нам знакомы по
1:39
таким ИИ, как Cчаat GPT, Jini,
1:42
Midourney, Сора и так далее. Их принцип
1:45
обучения — авторегрессия. Они, подобно
1:48
художникам, писателям и музыкантам, при
1:51
генерации уделяют внимание и время
1:53
каждой детали своего вывода. Они
1:55
генерируют свои результаты пиксель за
1:57
пикселем, слово за словом, сэмпл за
2:00
сэмплом. Хотя для людей всё это выглядит
2:02
привлекательно, у такого подхода есть
2:05
серьёзный недостаток. Модель обязана
2:07
предсказывать каждую деталь, даже если
2:10
она не важна.
2:11
Например, если у человека спросить, что
2:14
будет, если бутылку уронить на пол, он
2:17
ответит, что она разобьётся, а при
2:18
несущественные детали даже не подумает.
2:21
Однако генеративному ИИ и такому как
2:24
Сосора, придётся тщательно изображать
2:26
каждую деталь. Это очень ресурсоёмкая
2:29
работа и по большей части бесполезная в
2:31
практическом смысле. Большинство деталей
2:33
в мире шум ветра, форма облаков,
2:36
текстура ковра хаотичны и
2:38
непредсказуемы. Пытаться их
2:40
сгенерировать, значит, тратить
2:41
вычислительную мощность впустую. Ликун
2:44
настойчиво предлагает другой путь. По
2:47
его мнению, мы не должны заставлять
2:49
модель рисовать будущее. Нам нужно
2:51
просто сделать так, чтобы она поняла
2:53
суть. Вместо того, чтобы предсказывать
2:56
пиксели или слова, то есть пространство
2:58
данных, Джепо предсказывает эмбединги,
3:01
то есть скрытое латентное пространство.
3:04
Так уж совпало, что об эмбедингах был
3:06
предыдущий ролик, поэтому предлагаю его
3:08
посмотреть, если вы ещё не смотрели. Он
3:10
небольшой. Тут поясню быстро и без
3:13
математики. Мбединг — это сжатый
3:15
цифровой слепок смысла. В этом
3:18
пространстве фотография о собаке и слово
3:20
собака могут быть почти одной и той же
3:22
точкой. Джепа берёт текущую ситуацию,
3:25
например, видео со стаканом, превращает
3:28
её в абстрактный вектор SX и затем с
3:31
помощью предиктора пытается угадать
3:33
вектор будущего состояния SY. Главная
3:37
фишка здесь в том, что в пространстве
3:39
мбедингов модель может игнорировать
3:41
ненужные детали. Ей не нужно знать, куда
3:44
отлетит конкретный осколок. Ей
3:46
достаточно предсказать вектор, который
3:48
означает состояние разбитого предмета.
3:51
По мнению Ликуна, это делает модель
3:54
намного эффективнее и умнее в плане
3:56
понимания причинно-следственных связей.
3:59
В данном выпуске очень важно рассказать
4:01
о том, что Jeppa — это частный случай
4:03
так называемых Energy Based Models, то
4:06
есть моделей, основанных на энергии.
4:09
Давайте на минуту забудем про нейроны и
4:11
обратимся к физике. В природе системы
4:14
стремятся к состоянию с наименьшей
4:16
энергией. Мяч катится в ямку, вода течёт
4:19
вниз. Так вот, в разработке моделей,
4:22
основанных на энергии, эта метафора
4:24
используется для обучения.
4:27
Математическая суть таких моделей — это
4:29
функция, которая измеряет совместимость
4:32
компатибилити между двумя вещами,
4:34
например, картинкой X и текстом Y. Эту
4:38
меру несовместимости мы называем
4:40
энергией Е. Вот пример низкой энергии.
4:43
Картинка и текст подходят друг другу. На
4:46
картинке изображён код, а подпись
4:48
гласит: «Это код». Система, так сказать,
4:50
довольна. Она в состоянии покоя. А вот
4:54
пример с высокой энергией. Картинка и
4:56
текст несовместимы. На картинке
4:58
изображён код, а подпись гласит, что это
5:01
телефон. Система словно напряжена.
5:04
Доминирующие сейчас модели, такие как
5:06
LLM, пытаются вычислить вероятность PY
5:10
при условии X. Проблема в том, что сумма
5:13
всех вероятностей должна быть равна
5:15
единице. Чтобы увеличить вероятность
5:17
правильного ответа, модель обязана
5:20
уменьшить вероятность всех остальных
5:22
возможных вариантов. В задачах с высокой
5:24
размерностью, например, картинки и
5:26
видео, вариантов слишком много, и
5:28
раздавить их все математически
5:30
неподъёмная задача. Однако модель,
5:33
основанная на энергии, не парится о том,
5:35
чтобы сумма вероятности была равна
5:37
единице. Она решает так: вот эта пара XY
5:41
имеет низкую энергию, хорошо, а
5:44
остальные высокую. Это даёт гораздо
5:46
больше гибкости. В контексте
5:49
рассматриваемой статьи про VL джепа
5:51
энергия — это расстояние в пространстве
5:53
эмбедингов. У нас есть реальность
5:56
текстовый ответ Y. Закодированная вектор
5:59
SY. И у нас есть предсказание модели S
6:02
со шляпкой Y. Энергия системы равна
6:05
расстоянию между предсказанием и
6:07
реальностью. Обозначается это как D в
6:10
скобках SY за S со шляпкой Y. Обучение
6:15
VLДПА сводится к минимизации этой
6:18
энергии для правильных пар, видео плюс
6:20
верное описание и повышению энергии для
6:23
неправильных. В рассматриваемой статье
6:26
этим занимается метод под названием INF
6:29
NCE. Он как бы притягивает правильные
6:31
векторы и отталкивает неправильные.
6:35
Подводя итог вводной части, можно
6:37
сказать так: мультимодальные LLM — это
6:40
будто скрупулёзные художники, пытающиеся
6:43
уделить внимание каждому пикселю в своей
6:45
работе. Модели, основанные на энергии —
6:48
это вдохновлённая физикам теория,
6:50
описывающая, насколько данные
6:52
соответствуют друг другу через понятие
6:54
энергии. А Джеппа является реализацией
6:57
этой теории. По мнению сторонников этой
7:00
архитектуры, это такой мудрец, ну или
7:02
прагматик, который не рисует детали, а
7:05
предсказывает суть событий в абстрактном
7:07
мире смыслов, экономя силы и глубже
7:09
понимая физику мира. Ещё важно отметить,
7:13
что в целом модели, основанные на
7:15
энергии, не являются оппозицией
7:17
генеративному искусственному интеллекту.
7:19
Они сами могут быть как генеративными,
7:21
так и негенеративными. А конкретно
7:23
джеппа относится к негенеративному под
7:26
множеству моделей, основанных на
7:27
энергии. По крайней мере, насколько я
7:29
знаю, на этом настаивает сам Ликун.
7:32
Итак, вводную часть мы закончили. Но
7:35
прежде чем переходить к статье, я хочу
7:37
сделать небольшое отступление. Для тех,
7:39
кто смотрел мои ролики про Карла
7:41
Фристона и его принцип свободной
7:43
энергии, концепция энергии в архитектуре
7:45
Джепа может показаться до боле знакомой.
7:48
И это не случайно. Есть моменты, где эти
7:50
две теории тесно связаны друг с другом,
7:52
хотя есть и существенные расхождения. И
7:55
модели, основанные на энергии вроде
7:57
джепа, и принцип свободной энергии
8:00
Фристона, черпают вдохновение из одного
8:02
источника, и статистической физики
8:04
Людвига Больцмана. Физики системы
8:07
стремятся к состоянию с минимальной
8:09
энергией, к равновесию. Для Фристона, то
8:12
есть для биологии, это означает
8:14
выживание. Организм стремится избегать
8:16
сюрпризов или неожиданных состояний,
8:18
чтобы не погибнуть. А для Ликуна, то
8:21
есть в области и, это означает машинное
8:24
обучение. Нейросеть стремится
8:26
минимизировать ошибку или расхождение,
8:28
чтобы правильно понимать данные.
8:31
В обоих случаях энергия — это мера того,
8:34
насколько модель в голове или в
8:35
компьютере расходится с реальностью. Как
8:38
я уже говорил в прошлых роликах, энергия
8:40
в данном контексте — это математическая
8:42
метафора. Это информационная величина,
8:45
выражаемая в натах или битах, а не в
8:47
джоулях из физики. Физики мяч катится
8:50
вниз горы, чтобы уменьшить свою
8:52
потенциальную энергию. В искусственном
8:54
интеллекте алгоритм, в кавычках
8:56
скатывается к правильному ответу,
8:57
уменьшая свою энергию ошибки. В таком
9:00
смысле слово энергия в машинном обучении
9:03
используется уже довольно давно. Я не
9:05
знаю, кто начал первым, но это было ещё
9:07
в работах Джефри Хинтона с коллегами в
9:09
девяностых годах. Для физика энергия —
9:12
это способность совершать работу. Для и
9:15
исследователя энергия — это меры
9:17
неправильности или удивления модели. Чем
9:20
меньше энергия, тем меньше модель
9:22
удивлена реальностью и тем точнее её
9:24
предсказание. Математика одна и та же,
9:27
но смысл разный. Но, несмотря на
9:29
смысловое различие, не стоит проводить
9:31
между ними жёсткую границу. Если вы
9:34
помните мои ролики про Карла Фристона,
9:36
там всё немного сложнее. Фристон
9:38
утверждает, что в живой природе эти
9:40
понятия связаны. Если мозг постоянно
9:43
ошибается в прогнозах, то есть имеет
9:45
высокую информационную энергию, ему
9:48
приходится экстренно перестраивать
9:50
нейронные связи и обрабатывать лишние
9:52
данные, а на это тратятся вполне
9:54
реальные калории и джоули. Можете
9:56
посмотреть об этом ролик о
9:58
нейрофеноменологии с перспективы
10:00
математики. Иначе говоря, минимизируя
10:03
абстрактную свободную энергию, то есть
10:05
ошибку в голове, живой организм экономит
10:08
реальную физическую энергию тела. В
10:11
ЕЛДПА используется тот же принцип, но
10:13
для цифрового мозга, чтобы он учился
10:15
эффективнее. В статье про эту
10:18
архитектуру мы видим, что модель
10:19
пытается предсказать эмбединг будущего.
10:22
В терминах Фристона это минимизация
10:24
ошибки предсказания. Мозг постоянно
10:26
строит прогнозы сенсорных данных.
10:29
Разница между ожиданием и реальностью —
10:31
это и есть свободная энергия, которую
10:33
нужно минимизировать.
10:35
В терминах джепа и других моделей,
10:38
основанных на энергии — это минимизация
10:40
энергетической функции. Если предиктор
10:43
предсказал вектор S со шляпкой Y, а
10:45
реальность оказалась просто Sy, то
10:48
расстояние между ними — это энергия. Чем
10:51
она меньше, тем лучше модель понимает
10:53
мир. Здесь они действуют одинаково.
10:56
Познание — это процесс уменьшения ошибки
10:58
прогноза. А теперь немного о различиях.
11:01
Это даже интереснее. Карл Фристон
11:04
боисианец, и не только он. Басовской
11:07
является добрая часть вычислительной
11:09
нейронауки как таковой. По крайней мере,
11:11
на высоком уровне абстракции. Для
11:13
Фристона свободная энергия — это строгая
11:16
вероятностная величина, вариационная
11:18
свободная энергия. Она аппроксимирует
11:21
теоретико-информационный сюрприз.
11:23
Понятие, которое постоянным зрителям
11:25
этого канала хорошо знакомы по многим
11:27
старым роликам. В мире Фристона всё
11:29
должно быть вероятностным
11:31
распределением. Сумма всех вероятностей
11:33
должна быть равна единице или 100%. Мозг
11:36
постоянно вычисляет плотность
11:38
вероятности. Аян Ликун — это
11:40
прагматичный инженер. С его позиции в
11:43
задачах высокой размерности, как видео
11:46
или реальный мир, работать с
11:47
вероятностями невозможно. Проблема в так
11:50
называемой статистической сумме. Чтобы
11:52
сказать вероятность того, что это
11:54
кенгуру равна 0,9,
11:57
нужно убедиться, что вероятность того,
11:59
что это не кенгуру, равна 0,1.
12:02
Посчитать этот знаменатель для всего
12:04
сущего невозможно. Поэтому в архитектуре
12:07
джепа энергия — это не нормализованная
12:09
вероятность, а просто числовой штраф.
12:11
Если энергия низкая, значит, данные
12:14
совместимы, а если высокая,
12:16
несовместимы. Нам не важно, чему равна
12:18
сумма всех энергий во Вселенной. Нам
12:21
важно только то, что правильный ответ
12:23
имеет энергию ниже, чем неправильный.
12:26
Джепо — это попытка реализовать принцип
12:28
минимизации ошибки, как у Фристона, но
12:31
отбросив при этом громозкий
12:32
математический аппарат вероятностей,
12:34
который тормозит вычисление. Хотя стоит
12:37
добавить, что на сайте archiv.org мне
12:40
попадались публикации с попытками
12:41
сделать джепа Баэсовской, но они были не
12:44
отликуна.
12:45
Кстати, тут есть ещё одна важная связь.
12:48
У Фристона есть понятие Active
12:50
Inference, которое может быть вам
12:52
знакомо по моим старым выпускам о
12:54
марковском одеяле и о самом принципе
12:56
свободной энергии. Вкратце оно означает
12:59
вот что. Если модель не совпадает с
13:01
миром, можно не менять модель, а
13:03
изменить мир, то есть совершить реальное
13:06
действие. Если холодно включить
13:08
обогреватель. В статье про VLДПА авторы
13:11
упоминают, что этот подход идеален для
13:13
планирования действий роботов, хотя они
13:15
используют там немного другую
13:17
терминологию. не фристоновскую. Они
13:19
используют такие выражения, как Plan and
13:21
Act, robotic Pick and Place и так далее.
13:24
Короче говоря, в архитектуре джепа можно
13:26
использовать градиентный спуск не только
13:28
для обучения весов, но и для поиска
13:31
действия, которые минимизируют энергию
13:33
будущего состояния. Любопытно, что в
13:35
работах Ликуна я не нашёл ни одного
13:37
упоминания Фристона, хотя они прекрасно
13:40
знают друг о друге. Думаю, причина в
13:42
том, что им просто нет нужды ссылаться
13:44
друг на друга, ведь они оба строят свои
13:47
теории на работах учёных X века,
13:49
термодинамики Людвига Больцмана и
13:51
Германа фонлимгольца.
13:54
Ну а теперь можно вернуться к статье
13:56
конкретно Авилд Джепа и больше не будем
13:58
примешивать сюда Фристона. Почему вообще
14:01
Ликун так яростно выступает против
14:03
текущего подхода, что стал его главным
14:05
критиком среди известных исследователей?
14:07
Что не так? Классические
14:09
зрительно-языковые модели учатся
14:11
максимизировать вероятность следующего
14:13
токена. Формально это выглядит как
14:16
отображение визуального входа XV и
14:19
текстового запроса XQ в текстовый ответ
14:22
Y. Посмотрите на экран. Обучение
14:25
происходит в пространстве данных. Модель
14:27
вынуждена учить не только смысл ответа,
14:30
но и его форму, стиль, выбор конкретных
14:33
синонимов, грамматику.
14:35
Авторы статьи указывают на две
14:37
фундаментальные проблемы этого подхода.
14:40
Во-первых, вычислительная дороговизна.
14:42
Модель тратит ресурсы на моделирование
14:45
поверхностных лингвистических признаков,
14:47
которые часто не имеют значения для
14:48
правильного ответа. Во-вторых, проблема
14:51
один ко многим. На один и тот же вопрос
14:53
по картинке может быть десяток
14:55
правильных ответов. Например, на вопрос:
14:58
«Что случилось? Можно ответить: «Лампа
15:00
погасла» или «В комнате стало темно». В
15:03
пространстве токенов эти фразы
15:05
ортогональны, у них нет общих смыслов.
15:08
Модель пытается выучить сложное
15:10
распределение вероятности между
15:12
совершенно разными цепочками слов. VLДПА
15:15
тут радикально отличается. Вместо того,
15:18
чтобы предсказывать конкретные слова,
15:20
она предсказывает эмбединги, векторы в
15:22
абстрактном латентном пространстве, где
15:24
фразы лампа погасла и стало темно
15:27
находятся очень близко друг к другу. По
15:30
своему внутреннему устройству джеппа
15:32
специально адаптирована для
15:33
зрительно-языковых задач. Вот её четыре
15:36
ключевых компонента. XCodдер —
15:39
зрительный энкодер. Он берёт видео или
15:41
изображения и сжимает их в
15:43
последовательность визуальных векторов.
15:46
Важно заметить, что он не генеративный,
15:48
он просто создаёт сжатое представление
15:51
реальности.
15:52
Yнкоodдер, текстовый энкоodдер — это
15:55
учитель. В работе используется модель
15:58
edн джемма. Она берёт целевой текст, то
16:00
есть ответ, и превращает его в вектор
16:03
SY. Предиктор — это сердце модели. Он
16:07
инициализирован слоями Лама 3. Слово
16:10
инициализирован тут означает, что авторы
16:12
позаимствовали структуру и знания у
16:14
популярной модели Лама 3. Они как бы
16:17
пересадили готовый интеллект ламы внутрь
16:20
своей системы, чтобы та не училась
16:22
базовым вещам заново.
16:24
Предиктор получает на вход визуальные
16:27
эмбединги и эмбединги вашего промкта.
16:29
Его задача — предсказать вектор ответа S
16:32
со шляпкой Y. Заметьте, предиктор не
16:35
видит правильного текстового ответа. Он
16:38
должен угадать его смысл, то есть
16:40
вектор, на основе картинки и вопроса.
16:43
Четвёртый компонент Yдекодер. Это
16:46
легковесная голова, которая нужна только
16:49
на этапе инференса. если нам всё-таки
16:51
нужно перевести предсказанный вектор
16:53
обратно в человеческий текст. В отличие
16:56
от популярных сейчас архитектур, вместо
16:58
кроссэнтропии по токенам VLJPA
17:01
используют inf NCE LOSs в пространстве
17:04
эмбеэдингов. Посмотрите на экран. Здесь
17:08
D — это метрика расстояния. Мы
17:11
минимизируем расстояние между
17:12
предсказанием и реальным смыслом и
17:15
одновременно отталкиваемся от
17:17
неправильных примеров, чтобы избежать
17:19
коллапса репрезентации. Это кардинально
17:21
упрощает задачу. Модели больше не нужно
17:24
угадывать слово. Ей нужно попасть в
17:26
правильную семантическую область. Одна
17:29
из самых интересных частей статьи — это
17:31
эксперименты с потоковым видео.
17:34
Представьте, что вы смотрите видеопоток
17:36
с камерой наблюдения или очков
17:38
дополненной реальности. Обычная
17:39
зрительно-языковая модель должна
17:41
постоянно декодировать токены, чтобы
17:43
понять, что происходит. Это медленно и
17:46
затратно. VL JPA работает иначе.
17:49
Предиктор выдаёт непрерывный поток
17:51
эмбедингов S со шляпкой Y. Поскольку это
17:55
просто векторы, мы можем очень дёшево
17:57
сравнивать их друг с другом во времени.
18:00
Авторы вводят понятие селективное
18:02
декодирование. Пока сцена видео не
18:04
меняется по смыслу, вектор предсказания
18:06
остаётся стабильным. Как только
18:08
происходят события, например, человек
18:11
упал или машина поехала, вектор
18:13
смещается. Модель запускает тяжёлый
18:16
текстовый декодер только тогда, когда
18:18
вектор изменился достаточно сильно.
18:21
В результате сокращается количество
18:23
операций декодирования почти в три раза
18:26
при сохранении того же качества
18:27
описания. Для приложений в реальном
18:30
времени и работотехники это огромный
18:32
прорыв. Давайте переходить к
18:34
результатам. Авторы утверждают, что
18:36
привели строго контролируемое сравнение.
18:39
Они взяли стандартную генеративную
18:41
зрительно-языковую модель EV lдпа,
18:44
обучили их на одних и тех же данных и с
18:46
одним и тем же визуальным энкодером.
18:49
Разница была только в том, что
18:50
зрительноязыковая модель училась
18:52
предсказывать токены, а джепа эмбединги.
18:56
Если верить в публикации, VLEP достигает
18:58
более высокой точности, имея при этом на
19:00
50% меньше обучаемых параметров. В
19:04
бенчмарке на предсказание следующего
19:06
состояния мира она превзошла всех,
19:08
включая GPT4 и Gemini 2.0, достигнув
19:12
точности около 66%.
19:15
Несмотря на скромный размер в 1,6 млрд
19:18
параметров, она сравнима с гигантами
19:20
вроде Qн VL в задачах на подсчёт
19:23
объектов и галлюцинации.
19:25
Если Янкун прав, Джепо — это шаг к
19:28
созданию так называемых World Models,
19:30
моделей мира. Он говорит, что будущее не
19:33
за авторегрессией, а за предсказанием
19:35
состояний в латентном пространстве. В
19:38
целом эту статью можно рассматривать как
19:40
свидетельство в пользу того, что можно
19:42
учиться понимать мир, не проговаривая
19:44
каждое слово. Работа с абстрактами,
19:47
смыслами, эмбедингами может быть
19:49
эффективнее, чем работа с текстом. Мы
19:51
можем создать быстрый молчаливый и,
19:54
который говорит только тогда, когда ему
19:56
есть что сказать. В будущем такие
19:58
архитектуры могут лечь в основы мозга
20:00
роботов, которым нужна реакция в
20:02
реальном времени, а не генерация
20:04
произведений искусства.
20:06
А теперь попробуем включить скептицизм.
20:09
Если джепа эффективнее, умнее и
20:12
физичнее, тогда почему Open AI, Google и
20:15
Anтроopic продолжают сжигать миллиарды
20:17
долларов на обучение классических
20:19
генеративных моделей? Они переходят
20:21
массово на методы Ликуна, потому что тут
20:24
есть кое-какие скелеты в шкафу.
20:26
Во-первых, так сказать, это проблемы
20:28
мыслей вслух. Это, наверное, самый
20:30
сильный аргумент противников Ликона.
20:33
Современные LM умеют решать сложные
20:35
логические задачи именно потому, что они
20:38
генерируют токены. Когда модель
20:40
расписывает решение математической
20:41
задачи шаг за шагом, она использует свой
20:44
предыдущий вывод как ступеньку для
20:46
следующего. Это называется Chain ofs
20:48
цепочка рассуждений. Токена — это словно
20:51
черновик модели, как у нас тетрадь с
20:53
карандашом. Однако джептается
20:56
предсказать ответ сразу одним прыжком в
20:58
пространстве эмбедингов. Допустим, вас
21:01
попросили перемножить в уме 388 на 714.
21:05
Выражаясь образно, Lлm возьмёт листок
21:07
бумаги, то есть генерацию токенов, и
21:09
решит задачу в столбик, а Джепа
21:12
попытается интуитивно почувствовать
21:14
правильный ответ. Для интуиции и физики
21:17
движения, например, для поимки меча
21:19
Джепа идеально. Но для символьной логики
21:22
математики и программирования отсутствие
21:24
пошаговой генерации может стать
21:26
фатальным недостатком. Тут вспоминаются
21:28
знаменитые система 1 и система 2 по
21:31
каниману. Улм, как и у человека,
21:33
присутствуют они обе, а у Джепа только
21:36
первая. Ещё один серьёзный повод для
21:39
критики подхода Ликуна касается обучения
21:41
и настройки. Обучать генеративную модель
21:44
вроде LЛM относительно просто. Угадал
21:47
слово, молодец, не угадал штраф. Это
21:49
стабильный процесс. Обучать джеппа — это
21:52
зачастую инженерный кошмар. И здесь как
21:55
раз замешана та самая энергия, которую
21:57
мы обсуждали.
21:59
Модель очень хитрая. Она быстро находит
22:02
способ обмануть систему обучения, выдать
22:05
одинаковый бединг вообще для всего
22:07
константный вектор. Если на любой вопрос
22:10
отвечать буквой ы и правильный ответ
22:12
тоже считать буквой ы, то ошибка будет
22:15
нулевой, а энергия минимальной. Это
22:18
называется репрезентационный коллапс.
22:20
Чтобы этого избежать, исследователям
22:23
приходится придумывать сложные трюки,
22:25
использовать негативные примеры,
22:27
замороченные регуляризаторы или
22:29
асимметричные обучающие архитектуры. Это
22:32
делает обучение капризным и нестабильным
22:35
по сравнению с безотказными
22:36
трансформерами.
22:38
Ещё один минус архитектуры джепа скорее
22:40
экономический. Люди в массе любят
22:42
генерацию, а не просто понимание. Ликун
22:45
считает, что цель ИИ заключается в
22:47
понимании мира, а не в генерации
22:49
пикселей. Но рынок говорит обратное.
22:52
Людям нравится генерация. Нам нужно,
22:55
чтобы нейросеть красиво рисовала, писала
22:57
текст и создавала код. Джеппа по своей
23:00
природе молчалива. Она создаёт только
23:02
внутренние репрезентации. Чтобы
23:04
заставить её что-то выдать наружу, текст
23:06
или картинку, нужно прикручивать к ней
23:09
декодер, как и сделали Vlдpпа. Но если
23:12
мы всё равно прикручиваем декодер, не
23:14
потеряется ли часть той самой хвалённой
23:16
эффективности? Кроме того, насколько я
23:19
понял, во время подготовки этого выпуска
23:21
для Джепа нет доказанных законов
23:23
масштабирования. Для LLM, несмотря на
23:26
негативные слухи, они до сих пор неплохо
23:28
работают. Больше данных и больше
23:30
видеокарт делают модель умнее. Это
23:33
проверено, а для Джепа таких гарантий
23:35
нет. Мы не знаем точно, будет ли Джеппа
23:38
на 100 триллионов параметров вести себя
23:40
адекватно или же она упрётся в потолок,
23:42
который ЛМ давно пробили. Инвесторы не
23:45
любят рисковать миллиардами ради
23:47
непроверенной гипотезы.
23:50
В общем, моё мнение таково, что Джеппа
23:52
очень интересная разработка, одна из
23:55
лучших возможных альтернатив, особенно
23:57
для работотехники и видеоанализа. Но
23:59
пока она не докажет, что умеет
24:01
рассуждать логически, а не только
24:03
интуитивно, и обучаться также стабильно,
24:05
как LЛM, генерация токенов никуда не
24:08
денется. Я по-прежнему настроен
24:10
оптимистично насчёт дальнейшего развития
24:12
мультимодальных LM и считаю, что на
24:15
данный момент реализована лишь малая
24:17
часть их потенциала. Но развивать другие
24:19
подходы тоже крайне важно. Поиск новизны
24:22
расширяет пространство идей.
24:24
Разнообразие идеи необходимо для
24:26
прогресса. По такому принципу работает и
24:28
сама эволюция.
24:30
На сегодня всё. Спасибо за просмотр и до
24:33
следующих выпусков.
24:35
А нет, ещё не всё. Вскоре после
24:37
окончания работы над сценарием для этого
24:39
выпуска я увидел новость из области
24:41
кардиологии, которую было бы неправильно
24:43
проигнорировать.
24:45
Появилась модель Эходжепа для анализа
24:48
эхо-кардиографии УЗИ сердце. УЗИ снимки
24:51
содержат много шума, артефактов.
24:54
Существующие модели пытаются
24:55
восстановить изображение по пикселям, но
24:58
Джеппа вместо того, чтобы дорисовывать
25:00
пропущенные пиксели, учится
25:01
предсказывать те самые абстрактные
25:03
характеристики, то есть эмбединги в
25:05
скрытых участках видео. В результате она
25:08
игнорирует шум и фокусируется на
25:10
реальной структуре сердца и движении
25:12
стенок. В статье есть интересный момент
25:15
про то, как модель понимает динамику,
25:17
даже если часть картинки перекрыта.
25:19
Например, присутствует акустическая тень
25:21
от ребра. Она буквально додумывает
25:24
движение сердца в скрытых зонах не на
25:26
уровне пикселей, а на уровне физики
25:28
процесса. Обучена она была на 18 млнах
25:31
видео от 300.000 пациентов. Как
25:34
утверждается в публикации, она показала
25:37
ряд существенных улучшений по сравнению
25:39
с современными топовыми моделями. У неё
25:42
улучшилась точность, эффективность
25:43
обучения, устойчивость к помехам,
25:46
универсальность. Исходный код модели
25:48
выложен в открытый доступ. Это очень в
25:50
духе ликуна, хотя его самого среди
25:52
авторов здесь нет. На сегодня всё.