*прямая ссылка на видео https://www.youtube.com/watch?v=75VcoT97srg
**переска видео https://300.ya.ru/v_TXl3Xn0c
Когда векторное пространство недостаточно велико, семантические представления разных слов начинают перекрываться — возникают коллизии, которые искажают понимание модели. Именно это ограничение, а не нехватка параметров или данных, ставит жёсткий предел масштабированию: дальше просто добавлять параметры бессмысленно — модель будет «путать» понятия на уровне представлений.
In this video
Chapters
Transcript
Старт
0:00
Все AI-компании сегодня придерживаются
0:02
одной и той же стратегии. Больше модель,
0:04
выше итоговое качество. Мы отлично это
0:06
видим на примерах семейства модели
0:08
ЧатГПТ и CLД. От года к году они
0:10
продолжают наращивать число параметров в
0:13
своих моделях. Если мы посмотрим на
0:15
модельки ЧатГБТ, то третья версия
0:16
содержала в себе 175 млрд параметров.
0:19
Сегодня Чат GPT5, по оценкам, мы не
0:22
знаем точной информации, содержит уже
0:23
несколько триллионов параметров от двух
0:26
до пяти. А сколько это вообще несколько
0:28
триллионов параметров? Что это значит?
0:30
Чем отличается модель на 170 млрд
0:32
параметров и на 1 триллион? Это какие-то
0:34
неосязаемые для меня числа. И, честно
0:36
говоря, я не могу вот просто по ним
0:38
как-то понять, что это значит. Давайте
0:40
приведём понятную аналогию в ценах и
Сколько стоит самому запустить LLM
0:42
рассмотрим, сколько нам вообще будет
0:45
стоить просто запустить у себя такую
0:47
модельку. Мы возьмём обычные видеокарты
0:50
NVIDIA 4090, у которых объём видеопамяти
0:53
24 ГБ. Вот на Авито я нашёл такое
0:56
предложение, где такую видеокарту
0:57
продают за 137.000 1.000 руб. И давайте
1:00
сделаем прикидку, сколько нам будет
1:02
стоить запустить такую модель. Если мы
1:04
возьмём open sourceную модель Open AI
1:06
ChatGPT 20B, то есть у которой 20 млрд
1:09
параметров, то, чтобы нам её запустить в
1:11
квантованной версии, нам понадобится
1:13
всего 15 ГБ видеопамяти. То есть нам
1:16
хватит всего одной такой видеокарты
1:18
4090. Идём дальше. Попробуем запустить
1:20
чат GPT3, у которой 175 млрд параметров.
1:24
Сколько тогда нам понадобится
1:25
видеопамяти? Чтобы запустить её
1:27
квантованную, то есть оптимизированную
1:28
по памяти версию, нам понадобится
1:30
примерно 110 ГБ видеопамяти, а значит
1:33
уже пять таких видеокарт. Ну давайте
1:35
считать, сейчас мы уже по цене выросли в
1:37
137.000 у на 5 минут. Так уже не хило.
1:40
Это нам просто, чтобы поднять вот один
1:42
её instance на видеокартах. А чтобы нам
1:45
запустить несколько параллельно таких
1:46
моделей, ну нам, пожалуйста, теперь надо
1:48
уже будет несколько таких комплектов по
Сколько стоит ChatGPT-5
1:50
пять видеокарт. О’кей. А теперь сколько
1:52
же нам надо видеокарт, чтобы запустить
1:54
модельку на 2 триллин параметров? Тогда
1:56
для квантованной версии нам понадобится
1:58
примерно 1.00-1400
2:00
ГБ видеопамяти суммарно, потому что вот
2:03
мы одну неросеть можем параллельно
2:04
запускать на нескольких видеокартах, и
2:06
тогда итогово нам надо будет уже 60
2:09
таких видеокарт 4090. Это, конечно,
2:11
просто безумные числа. И мы видим, что
2:13
от года к году они продолжают расти. Вот
Затраты больших AI-компаний
2:16
теперь мы примерно поняли хотя бы
2:18
ориентиры, насколько это всё дорого. Для
2:20
того, чтобы нам обучить такую модельку,
2:22
нам, понятно, нужно очень много вообще
2:24
таких видеокарт, чтобы запускать
2:25
обучение. Мы сейчас рассматривали
2:27
вариант, как запустить модельку просто в
2:29
режим от работы генерации. Для того,
2:31
чтобы запустить её на обучение, нужно
2:33
ещё больше видеокарты, ещё больше на неё
2:35
памяти. Поэтому все вот эти процессы
2:37
обучения только одной версии модели
2:39
занимают несколько месяцев. И, конечно
Законы масштабирования
2:42
же, компании не действуют на обум
2:44
вслепу. Они придерживаются к какой-то
2:46
стратегии. В индустрии выявлено
2:48
несколько подходов, общих формул того,
2:51
как у нас масштабируется качество
2:52
нейросетей. В 2020 году Opena выложили
2:56
свою стратегию масштабирования
2:58
нероссеток, где наша итоговая формула
3:02
главным образом зависит от числа
Формула OpenAI
3:04
параметров модели и зависит от объёма
3:06
датасета. И по этой формулке у нас всё
3:09
так вот очень красиво кладётся на одну
3:11
такую ровненькую прямую. Прошу заметить,
3:14
что вот этот график нарисован у нас в
3:16
логарифрованных осях. Что это значит?
3:18
Значит, что на самом деле он выглядит
3:20
вот так. Там линия очень быстро затухает
3:22
и выходит на плато. Но мы с вами видим
3:24
сейчас вот такую ровненькую прямую. Если
3:26
немножко сделать небольшой трюк с осями.
3:28
Что же мы тут видим? Вот эти маленькие
3:30
полосочки зелёненькие и синенькие, они
3:33
показывают модельку. Чем правее, тем
3:36
больше размер модели. Вот эта каждая
3:38
ниточка — это отдельная версия
3:40
неросетки. И чем они больше, собственно,
3:42
вот тем у них по итогу лучше качество.
3:44
По оси игрека у нас идёт, ну, значение
3:46
функции, то есть качество модели. Чем
3:48
это значение меньше, тем, по сути,
3:50
моделька лучше. И да, отлично. Мы видим,
3:53
что оно невероятно круто всё легло на
3:56
одну такую прямую. Это вот большое
3:57
достижение. Но как потом оказалось, что
Ошибка OpenAI и Chinchilla
4:00
Open AI тогда ошиблись и их формула на
4:02
самом деле не работает. По этой формуле
4:04
они выпустили модель чак BT3 на 175 млрд
4:08
параметров. И потом этот эксперимент был
4:11
опровергнут за счёт компании Deepmine,
4:14
которая выпустила свою модельку шиншила
4:16
и смогла достигнуть той же точности, что
4:19
ГПТ3, всего лишь на 70 млрд параметров,
4:22
то есть в 2 с по раза меньше. Это
4:25
говорит о том, что на самом деле
4:26
формулка немножко другая. И сейчас вся
4:29
индустрия придерживается скорее формулы
4:31
вот этой шиншилы, по которой мы можем
4:35
прогнозировать на будущее, какое у нас
4:37
будет итоговое качество. Вот если мы
4:38
сейчас увеличим нашу модельку в два раза
4:40
и увеличим объём данных в 10 раз, какое
4:43
итоговое будет качество? По ней мы можем
4:45
делать хорошую прикидку. Но кажется, что
Статья MIT — призер NeurlIPS
4:48
и тут есть проблема. Всплыла ещё одна
4:51
сложность, о которую ещё в 2022 году
4:54
говорила компания Antropic. Это, если
4:56
что, вот владелец сейчас вот лучших
4:58
моделей Clot OPUS, Clod Sonet.
5:01
Собственно, вот они выпускают код, через
5:03
который почти все сейчас вайп-код. И
5:06
осенью 2025 года выходит статья от MIT,
5:10
по сути продолжения вот той идеи
5:12
антропиков, которая поначалу мне
5:14
показалось достаточно сомнительной за
5:16
счёт тех экспериментов, которые они
5:18
представляют внутри статьи. Но она
5:20
заработала, по сути, серебряную медаль
5:23
на топ-1 конференции по AI, которая
5:25
только есть в мире, на Nerel Ips. Мне
5:28
очень тяжело произносить это слово, не
5:30
уверен, что я его правильно сказал. Это
5:32
суперважная, титулованная конференция, и
5:34
её результатам можно доверять. Так о чём
5:37
же была эта статья? Пока у нас
Новая проблема — размеры векторов
5:39
продолжается исключительно гонка за
5:41
размером модели. Мы увеличиваем наши
5:43
неросетки и вглубь, и в ширину, но у них
5:47
потенциально есть скрытый фактор внутри
5:50
самой природы, который не даст добиться
5:52
по итогу очень высокого качества. И он
5:55
заключается в размере внутренних
5:57
текстовых эмбедингов каждой модели. Что
6:00
это такое? Сейчас объясню простыми
Что такое текстовые эмбединги
6:01
словами. Допустим, у нас есть такая
6:03
фраза, и мы хотим подать её в неросеть.
6:06
Москва не Россия. Это текстовый запрос,
6:09
но чтобы его подать в модельку, нам
6:11
нужно перенести его в какой-то численный
6:13
цифровой вид. И это делается следующим
6:15
образом. Мы разбиваем наше приложение,
6:17
ну, грубо говоря, на слова. И каждое
6:20
слово мы кодируем каким-то набором
6:22
чисел. Этот набор чисел какой-то
6:24
фиксированной длины, и он заранее
6:25
предопределён для каждого слова. Можно
6:28
представить здесь следующим образом. что
6:29
у нас есть вот такое огромное
6:31
многомерное пространство, где каждое
6:33
слово закодировано каким-то своим
6:35
набором чисел или вектором. Если слова у
6:39
нас по смыслу семантически похожи, то
6:41
они находятся близко в пространстве.
6:43
Например, название городов Москва,
6:45
Питер, Уфа, они будут рядом, близко друг
6:48
с другом, но другие по смыслу слова,
6:50
например, Бургер будет далеко от них.
6:53
Вот. И размер каждого этого текстового
6:55
эмбединга, вектора, он примерно по длине
6:59
находится от 1.000 до 7.000 чисел.
7:02
Например, в последних модельках dipsig
7:04
v3 он размера 7.000. Тут можно провести
Проблема размерности
7:06
аналогию, например, GPS. Чтобы нам найти
7:09
любой объект на планете, нам нужно знать
7:12
всего лишь для него две координаты,
7:13
всего лишь два числа. А здесь на каждое
7:16
слово мы будем использовать 7.000
7:19
координат, но это очень много. И этого
7:21
нам не хватает. Основной поинтй статьи,
7:24
то, что нам не хватает размера вот этого
7:27
вектора, чтобы закотировать всю
7:29
возможную текстовую информацию, которая
7:30
у нас только есть, и дать модельке
7:33
возможность лучше мыслить. В статье этот
Слова просто перекрываются
7:35
эффект называют интерференцией, что
7:38
из-за того, что у нас пространство
7:39
недостаточно большое по размеру, и для
7:42
того, чтобы каждое слово от вот
7:43
кодировать 4.000 координат, нам этого
7:45
мало, происходит следующая ситуация. то,
7:47
что вот в этом нашем выдуманном
7:49
пространстве разные по смыслу слова
7:51
начинают друг на друга накладываться и в
7:53
статье пытаются оценить вот эту степень
7:55
того, насколько сильно слова будут
7:57
накладываться. Собственно, чем у нас
7:59
меньше вот этот текстовый вектор, тем
8:02
больше у нас разные слова будут с друг с
8:04
другом накладываться. И главный поинт
Основная суть исследования
8:07
авторов — это то, что у нас на самом
8:09
деле качество нашей модели дополнительно
8:11
зависит от размера вот этого текстового
8:13
вектора. Чем он будет больше, тем будет
8:16
лучше. И по итогу они приводят вот такие
8:19
графики с уже обученными существующими
8:21
лэмками. И мы видим то, что
8:23
действительно их результаты кладутся
8:25
ровненько на одну прямую. Это чётко
8:28
видно на правом графике. На левом чуть
8:30
похуже. На левом мы видим следующую
8:32
картину. То, что у нас по оси X — это
8:34
как раз-таки вот у каждой модели взяли
8:36
размер вот этих внутренних токенов. Он
8:38
там может быть 1.000, 4.000, 7.000, а, и
8:41
подели его там на единицу, чтобы, ну,
8:44
инвертировать. И по итогу то, что ближе
8:45
к нулю, да, там моделька больше
8:47
получается. Мы видим, что там немножко
8:49
нарушается вот этот закон. Он не совсем
8:51
кладётся на одну прямую. И тут они
8:53
используют не совсем
8:55
новые последние неросетки. Мне кажется,
8:58
что тут они приставили только ГПТ2 Квен
9:00
по причине того, что на новых модельках
9:03
их закон не совсем сработал. Но ладно,
9:05
дальше вот на тех старых оно работает и
9:08
о’кей. Ну и тут возникает такою понятная
9:11
идея. Ну, о’кей, хорошо. Раз итоговое
9:14
качество зависит от размера текстового
9:16
вот этого вектора, давайте делать
9:18
текстовый вектор размера 100.000,
9:19
200.000, какой угодно. Но, к сожалению,
9:22
пока мы так сделать не можем. Мы
9:24
ограничены размером ГПУ. Из-за того, что
9:27
мы будем делать очень большие длинные
9:30
вектора, они будут отжирать больше
9:32
памяти видеокарты. Ещё в лмках есть
9:34
такое понятие, как КВэш. Для того, чтобы
9:36
она быстрее генерировала, ей нужно
9:38
хранить у себя там просто в памяти
9:40
предыдущие результаты. Ну, а чем больше
9:43
будет каждый вот вектор этого слова, тем
9:45
больше ещё будет тратиться памяти на его
9:47
содержание. Пока технически так делать
9:49
сложно, но уже неплохой сдвиг. Это вот
9:52
произошло, значит, только в ноябре 2025
9:54
года. А значит, с учётом того, что на
9:57
обучение версии там одной модельки
9:59
тратится примерно год, может быть через
10:01
2 года мы увидим уже, как в лэмке
10:05
внедрили более длинные внутренние
Бонус
10:07
текстовые вектора. Ну, а если ты сейчас
10:09
готовишься к собеседованию на позицию
10:12
НЛП, LLM разработчика, хочешь войти в
10:14
сферу ML, то прошу тебя в мой
10:17
Telegram-канал, а также можешь зайти на
10:19
мой сайт для подготовки к
10:21
собеседованиям. Там я собираю вопросы с
10:25
собесов, структурирую их по компаниям и
10:27
формирую вот именно в том порядке, в
10:28
котором они задаются на собесе. Под
10:30
каждый вопрос я расписываю, как тебе
10:32
надо ответить, что тебе там нужно
10:33
сказать, и ты можешь сам потренироваться
10:35
это делать через голосовой текстовыйвод
10:38
в неросетку. Ты можешь ей сам по вотму
10:40
чем чек-листу, который я прописываю,
10:42
попробовать ответить, а неросетка
10:45
провалидирует твой ответ и скажет, что
10:47
было хорошо, что будет плохо. Так ты
10:49
можешь брать и сам самостоятельно
10:51
готовиться к любым собеседованиям.