Генерация кода и LLM

Мы общаемся о том, что именно происходит с тулзами для кода на основе LLM, их окружением и самими LLM, и есть ли специфика для разработки игр.

Прямая ссылка на видео https://www.youtube.com/live/kLLsej3ltb8

Таймкоды

00:00:12 Введение

• Михаил Кузьмин представляет 420-й выпуск подкаста «Как делают игры».
• Соведущим является Олег Чумаков.
• Тема выпуска: генерация кода и LLM.

00:00:32 Роль Алексея Усеанцева

• Алексей Усеанцев — технический специалист с более чем 20-летним опытом в игровой индустрии.
• Он работал в «Невал Мэйл.ру» и «Кровавом Интерпрайзе».

00:01:13 Обсуждение темы

• Олег Чумаков делится своими мыслями о теме подкаста.
• Подчёркивается важность Алексея для Михаила.

00:02:21 Проблемы восприятия LLM

• Обсуждаются новости о новых моделях LLM и их влияние на рынок.
• Программисты начинают использовать LLM, но возникают вопросы о их эффективности.

00:04:00 Цель подкаста

• Подкаст направлен на разъяснение реальных возможностей LLM.
• Цель — помочь слушателям понять, как использовать LLM в своих задачах.

00:05:44 Основы LLM

• LLM — это предсказатель следующего слова, работающий на основе статистических данных.
• Модели обучаются на больших объёмах текста, включая интернет и YouTube.

00:07:14 Обучение моделей

• Процесс обучения включает множество матричных перемножений и изменение весов моделей.
• Обучение требует значительных вычислительных ресурсов и стоит миллионы долларов.

00:12:17 Инференс и обучение

• Инференс — это процесс предсказания следующего слова после обучения модели.
• Инференс требует меньше вычислительных ресурсов по сравнению с обучением.

00:13:04 Локальные модели

• Локальные модели, такие как чат-боты в драйверах AMD, используют инференс для общения.
• Обучение и инференс требуют разных вычислительных ресурсов.

00:13:31 Размер моделей и их применение

• Размер модели влияет на её «умность»: чем больше нейронов, тем умнее модель, но тем больше требуется ресурсов.
• Маленькие модели часто выгоднее и удобнее для решения конкретных задач, например, для предсказания поведения пользователей в играх.

00:14:31 Взрывной рост ChatGPT

• ChatGPT 3.5 стал известен благодаря возможности генерации кода.
• OpenAI изначально разрабатывала модели для помощи людям, но внезапно сосредоточилась на развитии ChatGPT из-за большого интереса к продукту.

00:15:52 Вау-эффект от ChatGPT

• ChatGPT создаёт ощущение общения с живым человеком, что вызывает вау-эффект.
• Обсуждается теория о влиянии научной статьи от Google на развитие ChatGPT.

00:16:43 Политика Google в отношении продуктов

• В Google запуск новых продуктов важен для карьерного роста, но поддержка существующих продуктов не поощряется.
• Примеры закрытых продуктов Google: Inbox, Google Podcasts, Google Reader.

00:18:43 Сравнение ChatGPT с голосовыми помощниками

• Голосовые помощники, такие как Алиса, не достигли популярности из-за ограниченной способности к диалогу.
• Современные чат-боты используют языковые модели для предсказания ответов.

00:20:56 Предсказуемость ответов ChatGPT

• Ответы ChatGPT предсказуемы и содержат слова-паразиты, характерные для усреднённого текста в интернете.
• Детекторы ChatGPT анализируют последовательность слов для выявления признаков машинного обучения.

00:23:40 Генерация кода с помощью ChatGPT

• Первый кодовый ассистент от Microsoft использовал обученную модель для автокомплита кода.
• Первые версии ChatGPT генерировали код в рамках одной строки, редко добавляя одну-две строки.
• Позже появились команды для генерации более длинных предсказаний, но они часто давали некачественный код.

00:25:38 Развитие кодовых ассистентов

• Кодовые ассистенты стали удобнее благодаря добавлению гифов и других элементов интерфейса.
• Курсор стал популярным инструментом для генерации кода, предлагая более удобный интерфейс.

00:26:31 Обзор продуктов для разработки

• Обсуждение различных продуктов для разработки: Visual Studio, Notepad++, Sublime, JetBrains.
• Упоминание о удобстве использования в «Курсоре» и его влиянии на другие продукты.

00:27:22 Настройка и юзабилити

• Личный опыт использования «Курсора» и настройка других продуктов под свои нужды.
• Проблемы с настройками по умолчанию в других продуктах.

00:27:56 Автокомплит и контекст

• Описание функций автокомплита в «Каппеллоте» и «Эдис».
• Важность контекста для эффективной работы с автокомплитом.

00:29:12 Текстовые редакторы и плагины

• Обзор текстовых редакторов: Z, Sublime.
• Роль плагинов в улучшении работы с кодом.

00:30:07 Продукты JetBrains

• Описание продуктов JetBrains: «Айдер» и «Клодко».
• Возможности автокомплита и парного программирования.

00:31:14 «Каппелот Эдис»

• Функционал «Каппелот Эдис»: выбор модели, передача контекста, поиск изменений в коде.
• Преимущества использования «Каппелот Эдис» для ревью кода.

00:33:01 Экспериментальные функции

• Экспериментальные функции в «Каппелот Инсайдерс».
• Итеративное редактирование кода и запуск тестов.

00:34:56 Лимиты и ограничения

• Обсуждение лимитов на использование моделей.
• Рекомендации по структурированию кода для эффективного использования моделей.

00:38:49 Вайф-кодинг

• Опыт использования вайф-кодинга с моделью.
• Преимущества и недостатки вайф-кодинга для создания прототипов.

00:40:23 Процесс вайф-кодинга

• Обсуждение процесса вайф-кодинга: архитектура, технологический стек, структурирование проекта.
• Сложности и ограничения при использовании моделей.

00:40:50 Работа с нейросетью как с джуниором

• Нейросеть нужно воспринимать как очень умного, но неопытного джуниора.
• Важно подробно описывать задачу и критерии её выполнения.
• Необходимо внимательно проверять результаты работы нейросети.

00:41:47 Ошибки нейросетей и код-ревью

• Нейросети могут делать ошибки, которые не допустит человек.
• Для успешного использования нейросетей нужно задавать рамки и проводить код-ревью.
• Код-ревью часто менее приятен, чем написание кода.

00:44:05 Технические аспекты работы с нейросетями

• В проекте могут быть файлы с архитектурой и стеком, которые нейросеть использует для работы.
• В настройках плагина можно указать путь к таким файлам.
• Ритуалы работы с нейросетями могут быть полезны, даже если модели быстро эволюционируют.

00:45:41 Генерация кода и тестов

• Нейросети хорошо генерируют код небольшими кусочками.
• Тесты помогают проверять качество кода, генерируемого нейросетями.
• Автотесты делают процесс разработки более безопасным.

00:48:30 Стандарты и структура кода

• В больших проектах существуют стандарты для написания тестов и структурирования кода.
• Пример кода от соседнего компонента помогает нейросети лучше понять требования.
• Эталонный набор тестов может служить ориентиром для нейросети.

00:50:09 Работа с существующим кодом

• В существующих проектах много готового кода, который нужно адаптировать.
• Для добавления нового микросервиса часто используется чек-лист.
• Некоторые задачи лучше выполнять вручную, чтобы избежать ошибок.

00:51:26 Выбор модели в Copilot

• В Copilot можно выбирать между разными моделями.
• Для небольших исправлений рекомендуется использовать модели вроде Sonnet 3.5 или 3.7.
• Модели с рассуждающими способностями полезны для обсуждения архитектуры и поиска новых решений.

00:53:23 Изменения в мире нейросетей

• Появление рассуждающих моделей — одно из самых значительных изменений в мире нейросетей.
• Эти модели могут предлагать новые решения и критиковать существующие архитектуры.

00:53:51 Обучение и инференс

• Обучение моделей обходится дорого, а инференс становится дешёвым.
• Идея: увеличить нагрузку на компьютер во время инференса, чтобы улучшить результаты.

00:54:27 Рекомендации по лекциям

• Рекомендация лекций Андрея Карпатова о работе LLM.
• Лекции полезны для понимания принципов работы LLM.

00:55:25 Понимание работы LLM

• LLM предсказывают следующий токен-слово.
• Модели учатся подробно объяснять свои ответы.

00:56:24 Особенности DALL-E

• DALL-E показывает процесс обучения модели.
• Модель DALL-E может быть непредсказуемой в своих ответах.

00:57:46 Ограничения моделей

• Модели не могут выполнять сложные вычисления из-за ограниченного количества вычислений на генерацию одного токена.
• Разбиение задачи на простые шаги улучшает результаты.

00:59:29 Пример GPT-4.5

• GPT-4.5 дороже и хуже справляется с математическими и программистскими задачами по сравнению с более дешёвыми моделями.
• Проблема масштабирования во время инференса остаётся нерешённой.

01:01:39 Проблемы бенчмарков

• Бенчмарки часто не отражают реальную применимость моделей.
• Быстрое развитие моделей делает старые бенчмарки неактуальными.

01:03:23 Методы сравнения моделей

• Сравнение моделей через математические олимпиады и другие задачи.
• Важность условий выполнения бенчмарков для объективности результатов.

01:05:38 Разнообразие бенчмарков

• Бенчмарки для программирования, агентских задач и LLM-арен.
• Пользователи часто выбирают модели, которые дают подробные ответы.

01:06:16 Сложности оценки моделей

• Первые 80% задач проще, чем вторые 80%.
• Разработчики адаптируют модели под предпочтения пользователей.

01:07:47 Проблемы сравнения моделей

• Модели показывают различия в результатах на уровне погрешности.
• Бенчмарки устарели, нет объективных критериев для сравнения.
• Микробенчмарки не решают проблему, так как модели могут быстро адаптироваться к ним.

01:09:21 Пример DeepMind

• DeepMind показал результаты уровня OpenAI, вызвав шумиху.
• Китайская компания заявила, что обучила модель за пару миллионов долларов.
• Несмотря на ограничения, китайские компании смогли достичь значительных результатов.

01:12:18 Влияние на индустрию

• Ограничения на продажу оборудования могут быть усилены из-за развития ИИ.
• ИИ может заменить топовых учёных, что изменит структуру науки и экономики.
• Первая страна или корпорация, получившая преимущество в ИИ, может значительно улучшить свои позиции.

01:14:02 Самостоятельные публикации ИИ

• ИИ-агент самостоятельно написал работу, принятую на нейронаучной конференции.
• Возможность запуска миллионов параллельных агентов для отбора перспективных идей.
• Вопрос о безусловном базовом доходе для моделей остаётся открытым.

01:16:10 Оптимизация размышлений моделей

• Использование токенов для управления размышлениями моделей.
• Добавление «вейта» в цикл размышлений для продолжения анализа.
• Элегантное решение для повышения эффективности моделей.

01:17:48 Локальное использование моделей

• Возможность локального развёртывания моделей DeepMind.
• Риски использования локальных моделей: обучение на пользовательском коде.
• Юридические аспекты использования локальных сервисов.

01:20:09 Требования к ресурсам

• Большие модели требуют значительных ресурсов видеопамяти.
• Технологии квантизации позволяют уменьшить размер параметров модели без значительной потери качества.
• Необходимость мощных видеокарт для работы с большими моделями.

01:22:02 Развитие моделей машинного обучения

• Маленькие модели продолжают умнеть, несмотря на теоретический предел в один бит на параметр.
• Microsoft выпустила работу о 158 битах, но модели нужно обучать с нуля.
• Опенсорсные модели часто не отличаются высокой сообразительностью.

01:22:56 Анонс модели Claude 3.7

• Claude 3.7 хорошо показал себя в бенчмарках, связанных с кодом.
• Компания активно развивает тему компьютерного юза и агентского использования.
• Внутренний инструмент компании позволяет выполнять команды и тестировать код.

01:24:54 Ограничения моделей

• Модели не могут заменить программиста в сложных проектах с большим объёмом кода.
• Пример модели Dwin, которая не оправдала ожиданий после релиза.

01:26:42 Будущее разработки

• Индустрия разработки быстро меняется, LLM-модели устаревают.
• Автор Eider активно развивает свой инструмент и публикует бичмарки.

01:28:54 Оптимизация кода в играх

• LLM-модели помогают оптимизировать нагруженные куски кода в играх.
• Оптимизация может значительно улучшить производительность и FPS.

01:30:22 Оптимизация вычислительных ядер

• Оптимизация ядер для машинного обучения важна для повышения производительности.
• LLM-модели могут предлагать улучшения и тестировать их автоматически.
• Улучшения могут достигать десятков процентов, что значительно ускоряет вычисления.

01:32:18 Влияние на навыки программирования

• Использование LLM-моделей может изменить подход к программированию.
• Вайп-кодинг требует разных мозговых усилий по сравнению с самостоятельным написанием кода.
• Модели могут развязать руки разработчикам, позволяя решать сложные задачи.

01:34:37 Перспективы развития

• Модели дают разработчикам новые возможности для реализации сложных задач.
• Важно сохранять интерес к программированию и находить способы развития навыков.

01:35:20 Специализированные модели в разработке

• Обсуждение возможности использования узкоспециализированных моделей в разработке.
• Сомнения в эффективности обучения моделей на данных из игр.
• Подчёркивание схожести задач разработки игр с общими задачами разработки.

01:37:00 Применение моделей в сентимент-анализе

• Критика использования GPT для сентимент-анализа комментариев к продуктам из-за высокой стоимости и медленной работы.
• Упоминание о более доступных альтернативах, таких как BERT.
• Пример использования модели для анализа отзывов на игры.

01:38:08 Проблемы категоризации продуктов

• Трудности классификации продуктов в 6000 категорий.
• Высокие затраты на использование GPT для категоризации больших объёмов данных.
• Преимущества локальных моделей для массовых задач.

01:39:07 Локальные модели и их будущее

• Обсуждение встроенных локальных моделей в устройствах.
• Влияние на производительность и использование ресурсов.
• Перспективы использования локальных моделей в играх и других приложениях.

01:42:40 Проблемы с дебагом моделей

• Сложности дебага моделей в играх.
• Примеры проблем с слишком умными ботами в играх.
• Необходимость баланса между умом и предсказуемостью NPC.

01:45:38 Проблемы с вайп-кодингом

• Трудности разработчиков библиотек и фреймворков из-за несовместимости новых версий с моделями.
• Проблемы с обучением моделей на новых версиях библиотек.
• Риски для разработчиков при выпуске новых версий библиотек.

01:47:25 Проблемы с генерацией кода для Python

• ChatGPT знает только старую версию библиотеки Python, что мешает генерации рабочего кода.
• В презентациях видно, как разработчики вручную корректируют код, чтобы модель могла работать с современной библиотекой.

01:48:30 Будущее Python

• Python останется популярным языком программирования, так как он широко используется в обучающих корпусах.
• Использование ChatGPT позволяет задавать глубокие вопросы и лучше понимать принципы работы языков.

01:49:26 Обучение с помощью ChatGPT

• ChatGPT помогает запоминать информацию через ассоциации и вопросы.
• Важно учиться правильно использовать модели, чтобы понимать их пределы и эффективность.

01:50:05 Преимущества использования ChatGPT

• ChatGPT — это инструмент, который нужно уметь использовать, как любой другой.
• Разработчики, использующие ChatGPT, находятся в более выгодном положении.

01:51:01 Code Review через GitHub

• GitHub позволяет проводить код-ревью через ChatGPT, что упрощает процесс.
• ChatGPT может служить наставником для новичков, давая комментарии и советы.

01:51:59 Обучение новым темам

• ChatGPT помогает быстро изучать новые темы, задавая вопросы и получая объяснения.
• Умение задавать правильные вопросы критически важно для эффективного обучения.

01:53:23 Использование ChatGPT на работе

• Без разрешения работодателя рабочий код нельзя отправлять в LLM.
• Автокомплит от ChatGPT может значительно упростить работу, особенно при наличии лицензии.

01:57:02 Накопление ошибок в моделях

• Регулярное сбрасывание контекста помогает избежать накопления ошибок в моделях.
• Модели не обучаются на ошибках пользователей, но могут использовать запросы для дальнейшего обучения.

01:59:16 Рекомендации по использованию ChatGPT

• Лучше использовать короткие чаты для избежания накопления ошибок.
• ChatGPT Project позволяет загружать документацию и создавать новые чаты в рамках проекта.

01:59:57 Удобство общения с ChatGPT

• ChatGPT удобен для общения в формате чата, особенно на хакеях.
• Возможность создания шаблонов промтов упрощает процесс общения.

02:01:02 Синтетические данные и обучение моделей

• Синтетические данные активно используются для обучения моделей.
• Китайские компании активно собирают синтетические данные для своих моделей.
• В интернете много текстов, сгенерированных моделями, которые попадают в выборки.

02:02:23 Объём данных на форуме

• На форуме автора 10 миллионов сообщений.
• Ежедневно на форуме создаётся около 340 тысяч тем.
• Общий объём данных, используемых для обучения моделей, составляет около 500 тысяч запросов в сутки.

02:03:24 Значение старых данных

• Старые данные ценятся как «чистые» для обучения моделей, подобно металлу со дна океана.
• Данные до 2018 года считаются более ценными для обучения.

02:04:54 Методы обучения моделей

• Используются методы обучения «учитель-ученик» и дистилляция.
• Дистилляция позволяет использовать большие модели для генерации обучающих данных для меньших моделей.

02:05:28 Тест Тьюринга и будущее ИИ

• Тест Тьюринга считается устаревшим, так как ИИ уже давно его прошёл.
• Обсуждается возможность генерации диалогов и видео с помощью ИИ.

02:08:12 Завершение подкаста

• Следующий выпуск подкаста будет через две недели.
• Приглашаются гости для обсуждения интересных тем.
• Форма для контактов доступна на сайте kdk.com.

02:09:40 Призыв к зрителям

• Зрителей призывают делиться опытом использования LLM для разработки игр.
• Подчёркивается интерес к узкоспециализированным темам.

В этом видео

Вступление
0:02
[музыка]
0:12
Всем привет Меня зовут Михаил Кузьмин вы слушаете 420 выпуск подкаста Как делают игры А сегодня у меня в качестве со
Наш соведущий
0:20
ведущего по нашей замечательной теме про которую мы чуть позже скажем Никто же не знает все же слушают просто так Подкасты
0:26
и никто не читает Олег Чумаков Привет Здравствуйте сегодня мы поговорим про
Тема подкаста
0:34
генерацию кода и м Если вы думаете
0:40
что что игры писать просто код писать просто это не так за вас трудятся
0:46
замечательные замечательные Маленькие человечки которые которые там бегают где-то неизвестно что-то делают а мы
0:53
потом выдаём этот код за свой получаем деньги и всем от этого хорошо помогать нам в этом разбра
Наш гость
1:00
у тех лиц более 20 лет опы в играх раньше работал в Ma сейчас в кровавом
1:07
энтерпрайз Привет Привет Рад что пригласили Итак Олег как у тебя Созрела
Олег в индустрии благодаря Алексею
1:15
Э тема Давай интро ты сам сейчас офигел Да от того какую ты подводку сделал Я у тебя по глазам прямо видел что ты начал
1:25
говорить мало Миш что-то решил подводку сделать
1:32
Да Лёша Спасибо что ты нашёл время во-первых Лёша очень важный человек в
1:38
моей жизни потому что если вы любите мои игры то Вот можете сказать спасибо Лёше
1:43
в том числе А если не любите то это Лёша виноват потому что Лёш тот человек который мне когда-то много лет ответил
1:48
много лет назад ответил на письмо в невали когда я ещё не работал в игровой индустрии то я вот хочу работать и типа
1:54
нельзя ли меня рассмотреть вот так что если у вас
2:00
что де индустри вот ае это тот кто отвечает за это Нет всю ответственность Вот вот река Стрелка
2:08
Да авторитет получается авторитет Да в общем Лёша вот сейчас на перед эфиром
Как возникла эта тема?
2:15
сказал что он Telegram канал свой больше не ведёт то мы осуждаем но может передумает Като В общем я с кайфом
2:21
во-первых с Лёшей всё время поговорю про модельки которые сейчас выходят Я не знаю 30 в день миллионов штук новых
2:29
редакций старых и всё вот это вот во-вторых у Лёшу очень прикольно было в канале прочитать потому что он там поглубже писал Ну повыше уровнем чем
2:38
просто журналистские заметки про то что там новая модель способна теперь написать всё приложение для Айфона
2:44
которое играет в Крестики нолики за 3 секунды невероятно программистов завтра уволят вот а у Лёша был по делу А без
2:51
этого всего журналистского накала и сейчас все программисты потихоньку
2:56
использовать начинают или пробовали хотя бы мки и очень хочется
3:02
можно см поговорить и Че понять восходит как вообще читать эти новости про то что новый кани бенчмарк побит Какие китайцы
3:09
выпустили новую модель которая что-то потому что для меня это всё выглядит так что потом рыно красный ещ после этого
3:16
рынок красный Да Трамп президент ничего вообще не понятно И у тебя при том те
3:22
кто пишут код каждый день на работе та
3:29
Ну я не невероятное происходит открываешь какую-нибудь статью думаешь ладно гляну а там такой смотрите мы
3:35
сгенерить приложение для iOS оно может делать калькулятор и мы сгенерить его
3:42
всего за 13 секунд дальше какая-то неведомая логика и такая всё программистов работа первыми
3:49
послезавтра ничего не понятно Вот И этим кстати пугают уже очень давно то что
3:54
всех уволят а АИ уже с нами все все не нужны будут Но мы с этим тоже програми
4:00
Да мы будем разбираться что конкретно там происходит и хочется чтобы в конце выпуска у нас грубо говоря слушатель мог
4:08
посмотреть послушать и такой Ага вот это вот сценарий использования прикольный Завтра попробую Это вроде прикольно знаю
4:15
кому посоветовать кто этими задачами занимается А вот эта мишура вся про то что там Господи катастрофа менеджмент
4:22
решил сократить штат программистов и нанять 20 моделек а потом оказалось что оно не работает
4:28
чтобы топ то может
4:33
сработать на те же деньги вот тако такая у меня логика меж
4:39
была когда я задумал этот подкаст потом мы долго В общем собирались и вот собрались наконец-то все пересеклись в
4:45
одно время Давайте с какой-нибудь базы базированный начнём чтобы слушатели понимали потому что на всякий случай так
Как LLM работают на самом деле
4:53
маленький дисклеймер я в этом разбираюсь очень поверхностно То есть можно сказать вообще не разбираюсь А вот Два товарища
5:00
выше меня они в этом специалисты Поэтому я буду немножечко пытаться приземляться
5:06
задавать простые вопросы хорошо объясните мне что вот вот как так получилось что
5:13
вот все знали вот есть начали появляться аиш что ты там
5:19
мог ему задать вопрос он по сути лазил в какие-то свои знания что-то складывал и
5:25
выдавал тебе ответ в основном текстом потом Появись Катино потом начали генерировать видео в
5:32
Какой этап появилась генерация кода и почему это стало вообще возможно и чем это отличается от других рабочих
5:40
сценариях с ашкой что там такого красивого А я Наверное начну этот я по
5:47
традиции начну издалека вообще что такое мки то есть вот у многих с м Ясь дох по
5:55
оние что искуственный интеллект думают о чём-то что-то
6:01
происходит сложное но как бы супер важно понимать Мне кажется первое основное что
6:06
вообще такое ЛМ Что она делает И это оказывается супер просто то есть ЛМ —
6:12
это предсказатель следующего слова вот ни один искусственный интеллект
6:18
который работает текстом он как бы другого в принципе ничего не умеет делать всё что он умеет — это статистически постараться там сказать
6:24
что вероятность того следующего слова Вот такая вот в этой после
6:30
сло Я здесь чуть-чуть у прощаю там понятно не слова токены но пока что
6:35
пусть будет просто слова и человеки оказались чертовски
6:42
предсказуемыми в том что они говорят и случайный набор слов очень редко выдают
6:47
и в результате если взять и скачать весь интернет а большие компании иные они в
6:53
общем этим и занимаются по большей сти бы берут И качают весь интм закончился они берут И парся там
7:01
весь YouTube и всё что только можно лишь бы Найти максимальное количество связанного текста и дальше они обучают
7:08
модель которая будет уметь предсказывать как бы просто следующее слово и вот больше она ничего не умеет про обучение
7:15
вообще самый типичный дурацкий вопрос на докладе про и где-нибудь на конференции спрашиваешь человек а на чём вы
7:21
тренировали вашу модель и тут вот у человека начинают глазки бегать сразу же
7:26
тут у него начинают ручки потеть это ты с кем так разговаривал я не с кем так но у меня есть мысль такая тическая
7:33
ситуация гипотетическая ситуация нагами например очередной доклад про а генерацию модели ты такой А на чём вы
7:41
это тренировали и всё и потом меня уже Нага не будут приглашать так почему все ваши кубы
7:49
похожи на персонажа из Привет сосед не кажется ли вам это
7:55
странно Так а что потом-то произошло А потом Ну опять если не удар прям сильно
8:01
в технику Чем отличается чат гпт от основной модели то есть тоже кажется странным вроде что чат гпт мы можем
8:09
задать вопрос и оно пишет ответ А не пытаются продолжить наш вопрос что вроде не очень бьётся с представлением о том
8:15
что это следующий то да там дальше модели добу быть полезными как бы им дают примеры Как
8:22
отвечать на вопросы и они чаются и начинают отвечать на вопросы и в какой-то момент внезапно что тексты в
В какой момент LLM научились писать код?
8:30
интернете закончились а коды в Интернете ещё вагон и почему бы не получить модели
8:37
ещё и предсказывать код Глоба как оказалось что программисты тоже странные люди почему-то Они пишут
8:43
определённые определённые блоки даже кода друг за дружкой и потом что-то
8:48
получается относительно связанного причём периодически а но не
8:54
всегда но и там на самом деле оказалось очень смешно На мой взгляд то что
8:59
обучение модели на коде улучшает её способность говорить текстом и в
9:05
обратную сторону тоже То есть как бы с точки зрения модели как бы она же просто учит какие-то закономерности
9:12
последовательности этот и логичность кода очень часто помогает модели более
9:17
логично Мыслить как бы отвечать на вопросы текстом Ну и плюс внезапно ура-ура можно предсказывать код
9:26
и у меня е один пря бази вопрос ты упомянул много раз обучать не россеть
Как происходит процесс обучения?
9:33
базово как-то можешь объяснить как происходит процесс обучение даёшь ей
9:39
текст она сама что-то там делает или или это слишком сложный вопрос на самом деле
9:47
если То есть это действительно очень технический вопрос то есть что такое нейросеть на
9:54
самом деле это некая система которая делает очень очень очень много матричных
10:09
перемножения то есть мы что в начале мы слова Превращаем в токены и каждому
10:14
токену мы назначаем какой-то номер просто что Слово мама — это слово номер один слово папа — это слово номер д и
10:21
так далее и потом мы пытаемся сза см словом какое будет
10:28
номе кучу кучу кучу умножений вот что на что умножать вот эти константы их надо как-то понять и мы пытаемся собственно
10:37
мы берём модель и ищем Как изменить как бы
10:43
пытаемся предсказать слово на каком-то конкретном примере там мама папа я дружная догадайся какое слово следующее
10:49
а если как бы и дальше пытаемся изменить
10:55
вот эти константы так называемые веса так чтобы она предсказывала лучше это слово но просто Таких вот
11:02
последовательность их последовательность их не одна а там 14 миллиардов триллиард
Процесс обучения контролируем?
11:09
там это очень большие цифры а кто-то это контролирует вот этот процесс обучения Ну живой человек или кто-то другой А да
11:17
конечно а для этого сидят много умных людей которые зарабатывают много
11:22
миллионов долларов на то чтобы следить за тем как всё это работает то есть если серьёзно говорить то
11:31
современные вот State of the Art модели большие которые пря большие модели
11:36
каждый прогон обучения это кластеры состоящие там из десятков а теперь уже
11:42
сотен тысяч видюхе должны работать все в параллель и во-первых сам запуск всего этого
11:50
безобразия стоит очень дорого то есть там обучение базовой модельки среднего
11:56
размера сес миллионов долларов легко чисто на электричество и стоимость видюха не не
12:04
купить видюхи А как бы пользовать видюхи которые у тебя уже в дата-центре есть за который ты уже заплатил много сотен
12:09
миллионов долларов и то постоял в очереди и долго поул NVIDIA за то чтобы они тебе их
12:16
продали Я знаю чем это всё сейчас для геймеров свиди закончится но меня
Стоимость обучения и использования
12:23
немножко тогда может быть я совсем сейчас в дебре не в тему подкаста уйду но
12:29
какие-то модели вот ты говоришь прони тысяч вию а вот есть не знаю вот в последних Допустим даже драйверах
12:37
у есть локальный чатбот в котором ты можешь там что-то пообщаться а зачем тогда миллионы миллиарды и прочее вот
12:46
тут надо разделять две части это и то есть есть часть про обучение это когда
12:54
нам надо подобрать вот эти вот все вица до сложный процес най те очень много
13:00
данных которые надо очень много раз прогнать пытаясь найти вот эти веса А дальше есть inf это когда ты
13:07
собственно у тебя уже есть все нужные коэффициенты во всех матрицах и теперь
13:13
когда ты хочешь предсказать следующее слово пообщаться со своей моделью тебе просто надо прогнать все нужные
13:18
умножения требования на эти два процесса они слегка разные по количеству вычислительных способностей и обычны inf
13:27
сильно сильно сильно дешевле чем тренировка ты можешь сделать разного размера как бы
13:35
условно можно считать что каждый коэффициент это как Нейрон в мозге вот в зависимости от того сколько ты насколько
13:40
ты хочешь как бы большой умный мозг чем больше нейронов тем умнее но
13:45
тем больше нужно видеопамяти ресурсов математики чтобы это всё
13:52
посчитать поэтому В некоторых случаях маленькие модели имеют сво применение
14:00
во ногих промышленных случаях То есть когда тебе нужно решать какую-то конкретную задачу а очень часто
14:07
маленькие модели сильно сильно сильно выгоднее и удобнее потому что они будут
14:13
быстрее работать потому что они будут дешевле потому что их можно натренировать дёшево Под свою конкретную
14:18
задачу там предсказать Я не знаю что-то когда у тебя пользователь
14:25
ут твоей Иры пра
14:31
мы меж придём к локальным моделям ещ Да в качестве обсуждения тусе как у себя на компе это всё запить Лёх А там я
Когда случился взрывной рост LLM?
14:38
правильно же понимаю что вот взрывной рост случился с чат гпт 3 с половиной
14:45
где-нибудь оттуда когда все стали в курсе что есть такая штука и из неё можно сделать
14:52
койт там вообще как бы это про историю взрывного
14:58
роста это резко случилось когда появился как
15:04
продукт но как он появился это тоже интересно само по себе потому что была и
15:10
есть о которые там поставили себе Великую красивую цель про искусственный
15:16
интеллект который будет помогать всем в мире но мы типа лаборатория некоммерческая откры
15:30
уних прати по фа было у на моделька получись интересная Давайте сра за
15:35
недельку обм её в продукт выпустим может пара человек пользуются порадуется также
15:40
как и мы и внезапно как бы следующие полтора года они занимаются практически развитием точат гпт после этого Потому
15:48
что туда набежали невероятные толпы людей Но
15:59
в своих задачах Но вот как бы поговорить и получить
16:04
ощущение что ты говоришь как бы с бездушной железкой а с чем-то вот этот Вау эффект
16:11
это коне Ты веришь в эту байку то что ну там
Байка про аналог ChatGPT в Google
16:17
всё стало возможным так обучать такими масштабами и так быстро благодаря научной
16:23
статье который ско 10 лет уже которую написали в Гугле внутри Ты веришь в
16:29
байку то что в Гугле чуваки собрали тогда ещё какой-то аналог чат гпт но просто приняли решение не развивать и
16:35
так оно и лежало я вот слышал несколько раз уже что было но мы решили не развивать А
16:41
теперь короче догоняем я честно я боюсь сказать то есть я не удивлюсь Google Как и любая
16:48
другая крупная организация в пути его неисповедимы то есть там политика решает
16:54
куда больше как бы и Google действительно показал себя что там
17:00
очень много фундаментальных прорывов в том же машинном обучении они пришли из Гугла но при этом в Гугле практически не
17:08
использовались А так случились публиковались и забыли
17:13
Потому что нельзя получить следующий
17:19
грейд свои правила как бы как это надо выпустить продукт заду
Про закрытие хороших продуктов Google
17:29
я только начинаю пользоваться они гасят про это в этом в этой шутке даже есть
17:34
доля шутки на самом деле какая шутка все продукты которыми я пользуюсь у Гугла они все закрыли хорошие я все которые
17:41
любил inbox Google Подкасты этот Google Reader всё же закрыли ещё Google Plus
17:46
вспомнит и не бы не пользовался кстати вот может его тоже закрыли А я кстати пользовался он был Вполне себе я тоже
17:53
про Тогда тогда люди искали у нас куда из ЖЖ сбежать пробовали разные и там пыталось всё это
17:59
короче в Google Plus пытались скопировать же но не получилось увы но у меня там по крайней мере Техническая
18:05
тусовка в своё время как бы собралась Именно таких всему миру технического народа было прикольно но опять Мы уходим
18:12
чуть-чуть в сторону Но действительно там Я много раз слышал что просто в Гугле
18:17
для того чтобы там получить определённую уровень продуктовой должности ты обязан
18:23
запустить продукт после чего тебе дают как бы новую лыч перемещают на следующий это Это твой продукт как бы кто-то
18:29
должен поддерживать но за поддержку продуктов Никто никого промотать не будут а будут спрашивать как бы за
18:35
Циферки поэтому запускать продукты очень выгодно А продолжать продукты очень
18:42
невыгодно чисто политически чтобы сделать новый продукт надо сначала закрыть старый у ну освободить где-то
18:49
команду раздобыть Да у меня появился сопутствующий вопрос Вы ээ вскользь
Что было не так с голосовыми помощниками?
18:55
упомянули что а вау-эффект э общения с э росет ками
19:04
появился от того что ты вроде как бы говоришь с более-менее живым человеком Ну он тебе по крайней мере не отвечает
19:10
как какая-то стандартная машина стандартными фразами А пытается с тобой вести диалог но были же голосовые
19:15
помощники ээ Ну и есть Сири Алиса и прочие клоны что с ними что с какие они
19:23
были до того как мки перешли Ну то есть вот даже сейчас какая Сирия как бы
19:28
извините да там дай бог если ты сколько там там же какой-то тест Да есть про длительность холодной беседы Ну типа
19:35
если человек знает что это голосовой помощник сколько продлится его холодная беседа с ней секунд пять
19:41
[музыка] наверное не настолько но там унизительные довольно
19:46
цифры помню то есть именно у них не получилось стать настолько популярными
19:52
из-за того что они пеньки е
19:59
появился энд в виде языковых моделей которые бы им на самом деле очень сильно
20:04
помогли Ну слушай вот чат-боты как как бы чат-боты как продукт или Ну как
20:12
игрушки были я не знаю ещё лет 15 назад а периодически выходили какие-то
20:19
продукты чатбот я даже видел соревнования там типа по разработать лучшего чат-бота Я помню что был целый
20:25
скандал когда там чувак выиграл это соревнование когда он сделал чат Бота который типа на бэнде просто в
20:32
поисковике искал фразу которую ему задали и выдавал типа следующую фразу в ответ и он порвал просто все тогда
20:39
соревнования потому что и внезапно в общем-то современные чат-боты они делают то же самое но без поисковика они просто
20:46
научились предсказывать как бы что обычно на это отвечают и вот тут Да я
Предсказуемость ответов ChatGPT
20:52
знаю меня как всегда понесло там это в частности А мы сказали что там типа они говорят как люди но сечас наверно там
21:00
особенно те кто пользуются Сейчас и видели чат гпт Там 35 и раннее четвёрки
21:07
что они говорили очень предсказуемо как чат гпт на самом деле то есть Любой кто
21:12
им пользовался достаточно много видел ответ чат гпт просто вот на раз-два
21:17
было ряд слов паразитов очень как бы всегда
21:24
выделяющихся дох пор на амане Милн продукт который начинается со слов как
21:31
обычная домохозяйка там или как программист с 20 годами стажа я могу
21:38
уверенно сказать там что продукт и так далее А И
21:44
вот с одной стороны как бы Для нас это стало
21:49
Что Ну значит он говорит не как человек потому что мы как люди видим прекрасно что это чат гпт но смешно то что на
21:57
самом деле-то он просто как говорил как усреднённый текст в интернете и в усреднённый тексте в интернете вот эти
22:03
как бы обороты и фразы много использовались и Ну это просто Да
22:09
странный факт скажем так и забавно то есть опять же есть же
Читерство в обучении и детектеры ChatGPT
22:15
проблема сейчас читерства в обучении Я не знаю уж поговорим потом про это нет но там гение рефератов работ и прочего и
22:24
очевидно появился куча бизнеса про детекторы типа написа с помощью чат гпт
22:30
и как работали эти детекторы в принципе А это ну там те которые минимально
22:36
работали они полную у бредятина отвечали просто там типа конечно это чат гпт
22:42
они учились как бы Смотреть насколько следующее слово в этом реферате является
22:51
идеально выбранным максимально подходящим типа словом последовательно слов То есть если твой текст Каждое
22:58
следующее слово максимально вероятное как бы с точки зрения модели из слов которые следуют как бы в
23:05
этой последовательности в этом предложении то это явно чат гпт ты робот Потому что ты как бы предсказывает слова
23:10
как э ну как модель машинного обучения А
23:15
и типа отличают человеческие от нечеловеческих
23:21
ответы там как раз их не идеальность Угу как бы там ошибками неудачным выбором
23:26
слов и прочим Угу надо быть неожиданным в общем чтобы ты тебя не посчитали роботом капча будущего это напиши
23:34
неожиданный неожиданную концовку текста видимо какие-то понятно и что получается
Первый Microsoft Copilot
23:40
вот тогда оно всё взорвалось тогда появился очень жара на первой копай появился первый вот этот кодовый
23:46
ассистент Microsoft же его Да по-моему разворачивали он на 3 с поно работал ещё
23:52
на на добун модели то есть они был не напрямую там была тюнена модель Ну и
23:59
надо сказать что вот если говорить опять про генерацию кода то сначала Да там кот
24:05
который фактически типа в своей первой версии я играл в одной из первых его версий Он умел Но это был автокомплит
24:12
вот не более того то есть он реально Он умел автокомп ну скажем честно делал он
24:17
это неплохо И ты быстро забывал как бы то есть там не было никакого видимого
24:22
функционала дополнительном всё хорошо там был
24:28
абсолютно страшны я вот первое время что пользовался койлом я как бы ну просто
24:34
фишка если раньше ин дописывая функции или переменные у тебя из файла то этот
24:40
дописывает всю строку Вопросов нет удобно хорошо честно как бы это уже был
24:45
бешеный Прогресс с точки зрения продуктивности То есть он по сути сокращая на печатание
24:52
Ну в то время когда я был программистом Да мы пользовались это первое что ты
24:57
ставил когда ты ставил любое иде ну дабы это было вообще незаменимая штука
25:04
поговорим конечно как бы про то полезно Это всё или вредно но тем не менее как бы да а потом там уже то есть подожди
25:11
Ладно чтобы далеко от этого не уходить вот этот вот этот койт он по сути тебе в рамках одной строчки работал или мог
25:18
сразу да самая первая версия фактически работала в рамках одной строчки
25:24
очень-очень редко вот на моём личном опыте очень-очень редко Она типа могла выдать там плюс одну плюс две строчки от
25:31
твоей текущей Но это у меня по крайней мере почти никогда не случалось Я
25:36
наверно там Может ты просто нестандартно мыслишь и нестандартный код предлагаешь система
25:43
не знает вообще что ты там вообще думать чуть дальше там появилась
25:48
Мне кажется была Командо которая тебе открывала панельку которая пыталась
25:53
выдавала тебе 10 вариантов более длинных предсказаний
25:59
е чтото вот в Мом опыте как бы оно Гене абсолютную брея то
26:05
есть периодически пробовал Но оттуда Типа если возьмёшь две-три строчки кода которые она наге но ты больше времени
26:12
потратишь на то чтобы это читать а параллельно начал появляться курсор и
26:18
как бы вроде тоже самое но курсор ребятки Молодцы и они сделали удоб
26:25
поло в и на этом конечно курсов летел удивительно причём что есть Visual
Удобство использование Cursor
26:33
studia код блокнотик там есть есть от Jet brains офигенных продуктов куча есть
26:38
Visual stud большая от Microsoft типа Казалось бы кто сделает как бы первым
26:44
хорошею оно курсор Да правильно лё производи я что-то курсор всё время читал короче вот в этом в курсоре там же
26:53
Фишка в том что у тебя Quality of life офигенный тебе очень удобно всё сделали то есть там Фишка в том что они изобрели
27:00
самую классную мку в мире для кода Фишка в том что сделали Всё супердом и
27:05
Казалось бы как можно в общем Quality of life было взять с новым продуктом зайти на рынок и и тут всех подвинуть и я в
27:12
итоге я я сам курсором Ну мне как-то он не зашёл особо я им так сильно не стал
27:18
пользоваться но я сходил в него посидел в нём там пару месяцев я выучил в нём
27:23
как удобно и так себе настроил другие потому что реально Это намного и все С тех пор пытаются такие настройки
27:31
по дефолту сделать и они всё равно неудобные То есть я не знаю что там за магия Почему Ну может я те
27:38
упрощающие подсказки и хоткеи и сделать вот абсолютно так же Он же просто
27:44
современный колот Вот последняя версии колота они вообще не хуже На мой взгляд то есть МКА Да сама
27:51
м я про юзабилити про все фишки Вот что я пользовал в курсоре я сейчас курсором тоже не
27:57
пользуюсь Угу У меня корпоративный копилок Угу И я им пользуюсь И меня как
28:03
бы полностью устраивает мне больше ничего не надо Да я вде а и ты
28:08
получается ты смал так же себе грубо говоря хутки как в курсоре примерно на те же действия Ну типа про весь Файлик
28:14
Давай поговорим про строчку давай заком мне я дгон дропаю внезапно то есть строчка работает автокомплит а там есть
28:23
то есть ты как сейчас в кало есть же две функции тно который сразу ф делает И там тоже
28:33
как бы шорткаты есть там на нафа А в инсайдера сейчас там даже можно
28:39
картинки Снова добавлять появилось ещё что-то но опять я вот в большинстве
28:46
случаев я тупо мышкой дгон дропаю несколько файлов в контекст и на этом да
28:51
И опять нам надо будет на самом деле супер важно поговорить про контекст это ра работает но да подожди
Перечисление помощников
29:00
чтобы далеко далеко не уходить от названий продуктов что есть если так пальцы
29:28
Я в основном Мне кажется такие через плагины решения Это для людей которые любят не трогать мышку любят всё на кех
29:34
сделать вот всё что происходит А так я так понимаю что в любом продукте Jet
29:39
brains в любом vs коде как минимум уже встроенно есть то есть есть своё и есть
29:46
у д брейв своё есть есть плагины для колота понятно что подд есть плагины
29:53
практически от кого угодно реально там миллион от амазона
30:01
угодно два отдельных продукта про которые стоит поговорить Это
30:06
а он но он такой как бы один из На мой
30:11
взгляд самых крутых и сейчас конечно тоже Ну это практически тоже
30:18
самое что почти без изменений только более Агент
Что все они могут?
30:35
заговорить про не на лю тему програми
30:41
понима Ну давай так вот взять колот опять я простом я пользуюсь мне про него
30:47
Проще говорить Понятно автом строки и
30:58
последний раз дописывать строку диком самому у нас недавно отваливался колот
31:04
и и ты понимаешь что у тебя пальцы сломаны тебе приходится столько печатать
31:10
как вообще каменный какой-то надо знать имена функции Это
31:16
кошмар да да просто Это в том-то дело ты это всё знаешь но надо печатать скучные части которые как бы ежу понятно что там
31:24
дальше А тебе это приходится печатать кошмар каменный век есть у колота есть
31:33
ко Это отдельно как бы всё там тоже там ты можешь выбрать модель которой ты
31:38
хочешь пользоваться это все современные модели и sonet и от Open и от Гугла
31:47
Выбирай какой хочешь но он тебе ты туда можешь ему как бы по-разному передать
31:53
контекст в рамках которого работаешь и просто дать ему задачу конкретную
31:58
Добавь вот такую функционал там Я хочу чтобы у меня в конфиге Появилась возможность указать размер Бача при
32:05
обучение этой модели типа вот тебе закину Файлик где там ещё что-то и
32:13
он найдёт места где это всё надо поменять и покажет тебе Диф и ты просто
32:18
как бы за код шь и напишешь
32:23
[музыка] хо но вот эта модель Ну как бы я не знаю
32:31
честно говоря там это у них промт специальный или тные модели но она не
32:37
обсуждает она тупо делает А есть который более заточен на обсуждение то
32:44
есть визуально тоже самое как бы ты тоже туда можешь накидать файлив в контекст или указать ещё что-то задать вопрос но
32:50
он будет больше ожет
32:56
жить предложит код блоком типа в ответе чата больше как чат Угу опять у копилов
33:03
появилась функция что вот этот Код Блок можно нажать кнопочку App и он сделает
33:08
Give который ты сможешь посмотреть у себя уже в обычном редакторе но такое но
33:14
там можно именно поговорить по обсудить и часто это полезно потому что как бы просто обсудить подход мо Я думаю что
33:21
может быть стоит сделать так Ани А может быть по-другому Угу а у copilot в
33:27
insiders это экспериментальные фичи типа это отдельная сборка ВС кода сверх
33:33
Экспериментальная которую каждую ночь пересобрать а уже есть copilot Agent
33:39
и он уже умеет чуть-чуть больше скажем так то есть ему можно уже дать как бы
33:47
задачу более крупную и он сможет сам найти файлы которые надо подревателя
33:57
надёжнее но в теории он может это сделать он может запустить в конце тесты
34:03
посмотреть ошибки если тесты где-то упали после этого снова подревателя
34:12
[музыка]
34:27
тоже местами но жрт лимиты как не в себя
34:33
реально бы Дорого там при условии что корпоративный койт у него вроде лимитов
34:40
формально нету но есть какой-то Рей лимит То есть ты не платишь за каждое использование но тебе не дают его
34:46
использовать очень много для обычной работы это невозможно выбрать на моей практике
Какие есть лимиты на строки кода?
34:56
яу в каких мы вообще витаем лимитах то есть вот у тебя грубо говоря ты ты ну
35:03
Какой сценарий возьмём что ты ему даёшь файлики и говоришь давай мне там Допиши сюда что-нибудь смотри на мои файлики У
35:09
тебя есть у каждой модели какой-то размер как бы текста Да насколько
35:14
справедливо сказать которая она может переварить целиком весь прочитать и тебе что-то ответить и у тебя файлики обязаны
35:20
влезть в этот размер контекст Вот ты на своём проекте Ты упирался хоть раз в то что у тебя Ты
35:26
слишком много от меня хочешь у меня ничего Не влезло А давай вот так сформулируем тут вообще по-хорошему надо
35:34
вернуться и поговорить сначала там про вайп кодинг И вообще подходы к тому как пользоваться яичко когда пишешь код и я
35:42
вот для себя оять я очень много пользуюсь пилотом Угу А
35:47
я могу уверенно сказать что там сильно больше половины всего кода что я коме
35:53
что а написано пилотом То есть я для контекста это ты пишешь в основном
36:00
на тайп скрипте я пишу в основном на Go А сейчас какое-то количество как бы там
36:08
под проектов на питоне А есть typescript есть ust но это редко То есть у нас
36:16
достаточно крупная компания как бы и там у меня должность подразумевает что
36:21
периодически надо залезть своими грязными руками там проекты разных команд поэтому я
36:28
мультитекс стековый так но да В основном это Гоше и питон У
36:34
меня сейчас нство но да Работа как бы я сильно больше
36:41
ревью по факту то что мне сделала модель но чтобы вот этим
36:47
пользоваться я для себя вывел идею что там задачи надо давать Вот то на что у
36:54
меня ушло бы 10-15 минут вот это оптимальный размер задачи и ограниченное
37:01
количество как бы ограниченный размер файла который отдавать это тоже очень
37:07
странно Я в результате стал лучше структурировать код лучше бить на
37:12
функции поменьше и файлы поменьше ровно потому что там Л на 000 строк отдать
37:19
модели Конечно же можно но будет стыдно Ну да Перед хозяевами роботами всё
37:27
понятно То есть дольше будет его переписывать больше вероятность ошибки
37:33
Как бы хуже общее качество то есть подожди вот ты сказал что ты по сути
Решение простых задач и бэклог проектов
37:38
решаешь пятнадцати нут задачи Вот такими итерация Да это сразу же это сразу же
37:44
разбило все мечты вот у нас люди слушают подкаст и такие А вот напиши мне игру и
37:51
также чтобы она сразу мне деньги генерироваться вот это я чку с помощью
37:59
нейти написал игру вот Поиграйте в неё рии уже про это недавно там чувака
38:18
заклеймить типа А ты вообще кто дядя Что ты знаешь про игр он такой Да я вообще
38:23
не знаю что что это такое и как это делают типа сел сделал и всё но это те
38:30
самые редкие как бы исключения из правил вообще Давайте зано такое делать а вот этому товарищу
38:37
не стыдно Нет нет нет Мне вот мне не стыдно А слушай давай вот
38:43
реально господин Карпаты надо уговорить кто это давай Да есть очень известный
38:52
человек эн Карпаты это известный учёный исследователь бы У
38:59
истоков не так давно он из О шл сейчас занимается много обучением плюс свою
39:04
компанию Ну как бы общепризнанный Эксперт и авторитет в вопросах искусственного
39:12
интеллекта и вот он недавно опять недавно сколько месяц 2 месяца назад
39:18
сделал постик в Твиттере про то что ему сейчас очень прикольно заниматься Динго Как он это назвал когда сам вобще
39:26
чего не пишешь а чисто через микрофончик с моделью общаешься она тебе сама всё
39:31
выдаёт как бы описываешь ей проблемы ещё что-то и всё прекрасно и я могу уверенно
39:39
сказать как бы вот про себе опять это реально прикольно Вот как я не знаю мне
39:45
кажется как большинство технарей как бы помешанный там программистов технарей У меня
39:51
есть скажем прок
39:57
интересно сделать потому что ну просто прикольно По вечерами посидеть помми и
40:02
вот внезапно у меня этот клок почти вышел в ноль потому что стоит мне
40:08
вспомнить у А я хотел сделать вот такую прикольную штуку Вот на этом вайп кодинг
40:13
первый рабочий прототип можно сделать вот так вот как бы там попросить модель забабахать первого раза что-нибудь да
40:21
получится потом улучшать потом оказывается конечно что
40:27
ты чуть-чуть поул и модель на этом развалилась и больше ничего не работает и следующий проект на ва кодинг ты уже
40:34
начинаешь там обсудишь с моделью сначала архитектур запишешь это в отдельный
40:40
Файлик потом обсудишь с ней технологический стек запишешь в отдельный Файлик потом как
40:45
структурировать проект запустишь в отдельный Файлик и потом начнёшь ей давать
LLM как джуниор с огромным запасом знаний
40:50
задачи со временем того как ты начинаешь Ну работать с нейросетью ты делаешь так
40:58
чтобы чтобы ты уже знаешь чтобы получить гарантированный результат тебе нужно лучше Вот вот вот так вот челобитную
41:05
подавать вот я для себя сформулировал это так с нейросетью Надо работать как
41:10
совсем молодым джуниором Вот это супер супер супе умный жуниор
41:16
который обладает нереальным количеством знаний который периодически может выдать
41:22
там реально Гениальные идеи про архитектуру что угодно но при
41:29
этом у него ан СН золотой рыбки как бы
41:35
Поэтому нужно каждый раз когда ты ставишь задачу максимально подробно рассказывать
41:42
про что есть Как ты хочешь чтобы она была сделана какие критерии выполнения
41:47
Потому что если ты не скажешь в отличие от многих он Журов он всё равно что-то сделает Но он сделает как бы как считает
41:54
лучше или как сегодня как бы планеты легли а так получается Ну и после этого
42:00
надо внимательно внимательно код ревью потому что тоже очень интересный момент я по-моему говорю про очень интересно Я
Почему возникает отвращение к ИИ
42:07
люблю эту тему и мне всё всё как бы связанное с этим сейчас интересно
42:13
но у многих идёт раннее отвращение к искусственному интеллекту сейчас потому
42:20
что они там просят а почини мне вот это бало и модель выдаёт какую-нибудь бред
42:25
которая там видна хороше хнар сразу что типа ни один минимальный норма нормальный технарь вот такого Бреда
42:31
никогда не сделает и человек ну значит смысла нет как бы это как бы о чём тут
42:37
дальше говорить я не буду этим пользоваться я реально знаю людей которые как бы лэмми не пользуются в
42:42
разработки вот по такой причине что как бы оно совсем Никакое а мки они просто
42:48
делают другие ошибки они в местами кажутся бесконечно умными и реально там
42:57
infinitely knowledgeable Я вот не знаю как это по-русски типа они знают очень-очень-очень много и могут выбить
43:04
много да все знайки но при этом могут иногда сделать настолько детские ошибки
43:11
которые как бы ну никто равом уме человек никогда не сделает А и поэтому
43:18
действительно То есть если ты хочешь не на вайбе вечерок посидеть а потом типа
43:23
даже в в гитхаб это не в коммитить А так посидел и выкинул а если ты хочешь
43:28
что-то развивать И поддерживать то внезапно да Сначала надо задать рамки в
43:34
которых вы работаете там архитектуру потом надо реально код ревью каждое предложенное решение и для многих код
43:43
ревью Ну и как бы и для меня тоже я честно скажу код ревью куда
43:49
менее приятный процесс чем самому код писать как бы самому на [ _ ] кодить как бы на кураже Прикольно А вот разгребать 43:57 это всё и пытаться понять что хотел как бы сказать а тот кто это писал это грустно часто и плакать 44:04 хочется посмотри что за фигню ты здесь написал То есть она она у тебя забрала на себя самую весёлую часть самую 44:11 весёлую часть процесса и оставила тебе самую грустную ты теперь ревью за ней а пишет она я понял По факту так и есть А 44:18 как у тебя технически устроено у тебя прямо вот в корне проекта лежит грубо говоря там какой-то маркдаун Файлик Как общение с ИИ устроено технически? 44:24 архитектура маркдаун Файлик стек ещё что-то и каждый раз когда ты ей говоришь А давай доделаем там вот эту фичу ты ей 44:31 типа в контекст суёшь все вот эти файлики и она на них смотрит и 44:36 типа вообще у копилов настрое ему можно вот прямо в 44:42 настройках плагина указать путь до таких файлив там для написания те ещё что-то и 44:48 он их будет автоматически подкладывать можно очевидно этого не делать я для себя опять как бы вот у 44:57 меня есть ощущение что пока мы текущий этап состояния этих моделей это слегка 45:05 такой Tribal knowledge То есть ты учишься С ней работать там на уровне Вот 45:10 каких-то предрассудков и ритуалов которые у тебя проверено 45:16 работают а возможно как бы модели так быстро эволюционируют что я допускаю что 45:21 типа сейчас такие ритуалы уже не нужны Но я проверил у меня эти ритуалы работа 45:27 Я не вижу причин пока от них отказываться знаешь местами стыдно Конечно за такое но как бы этот как в 45:34 том анекдоте проверил как бы работает точно работает вот не трогай 45:40 пожалуйста а у тебя если посмотреть вот так на общее использование и по работе и Самый популярный сценарий использования? 45:46 для хобби проектов у тебя сценарий Напиши за меня больше занимает времени 45:52 или вот мой код тебе или код там моей другой команды Допиши туда одну маленькую фу функцию какой у тебя самый 45:58 самый популярный юзкейс вот на который ты там 80% нагрузки отдаёшь Ну опять Так 46:04 как как бы я много пишу сам код то она 46:09 много пишет код за меня но очень маленькими кусочками То есть если у меня 46:14 есть задача там мои задачи — это часто несколько дней работы там такого размера 46:22 то я как я говорил даю очень коротенькие задачки то вот прямо сеча Давай добавим 46:29 вот такой памет к этой структур и реализуем метод который Вот его сюда 46:35 пронет и оно это делает Я ревью ок а теперь давай там типа допи тест который 46:42 проверит Вот это и опять аккуратненько проверили И кстати это тоже там вот Я 46:49 склонен считать сейчас многие Прим 46:58 будем сча писать тест из а потом уть под них код потому что агенты это делают очень хороо когда у тебя есть код у 47:06 агентов появляется обратная связь и они могут генерить код пока бы не подберут 47:13 под твои тесты нет свои риски безусловно но ну это я согласен кстати здесь с Теперь можно писать и поддерживать тесты 47:19 тобой потому что не встре человека который имел мнение что те это плохо 47:27 много таких людей что тесты писать очень долго и нам бизнес типа не даст столько времени чтобы писать тесты сидеть их 47:33 поддерживать но теперь Если уж у нас появилась такая Шарманка которая может нам это всё удешевить там 100 раз 47:39 написание тестов то не писать как бы тесты вообще не то чтобы есть много поводов с Атеми спать спокойнее как бы 47:47 жить лучше и вообще но ещё опаснее то есть ещ сильнее 47:53 надоть ели честность Что такое тест тест — это как 47:58 бы формализованная спека твоего кода То есть это требование к твоему коду 48:04 и просто так взять и принять то что тебе нафантазировал моделька как бы ну это не 48:10 самая лучшая идея там действительно важно перепроверять и на моей практике 48:16 как бы да я Гене тесты моделями но часто ловишь на то что как бы да 48:22 об Вроде правильно хоро но должно проверяться там как бы нужного Асер 48:29 просто нету и в результате Зашибись тестов проходит все рады Но то что 48:34 стоило проверить просто как бы ой строчку забыли ай-ай-ай Ну и Да опять 48:40 надо ловить Но я да я тесты много пишу 48:46 этот Ну кстати с тестами тоже интересный момент там у нас например большой проект на гошкевича 48:57 Угу и есть какие-то как бы принятые стандарты к тому как мы пишем тесты А 49:05 как структурирует ну потому что в таком количестве микросервисов Если как бы каждый Пишет как хочет лишь бы 49:11 выполнялось то поддерживаемой россервис падает сильно А тут у нас поэтому прям 49:17 злые требования что вот структурировать надо именно так и поэтому просто сказать 49:22 модельке А ну-ка мне напиши тесты вот под этот компоненти она тебе напишет но нет гарантированно нет И вот тогда те 49:30 самые как бы либо пайл с инструкциями либо на удивление неплохо работает а вот 49:37 тебе йл с тестами от соседнего компонента мне те и структури как бы вот 49:44 точно так же как этот ну да чтобы у нем пример был перед глазами короче для контекста Прикольно кстати очень 49:50 интересно то есть тебе можно сделать какой-то там эталонный руками написать эталонный набор тестов и дальше она по 49:57 аналогии будет за ним пытаться следить Прикольно А у тебя есть там грубо говоря Что еще пишется с помощью LLM? 50:03 там докер конфиги ты все пи реку сейчас или ещ что-нибудь ка развёртывания 50:10 делае Нет ну у нас опять у нас всё в кубернетес Понятно Что есть чтобы 50:17 контейнеры собрать чтобы 50:25 вбе в большинстве случаев они уже есть а написанные как бы то 50:33 есть вот чем отличается работа на существующем проекте Вот от этого вайп 50:39 кодинга Сейчас я на кураже что-нибудь запилюються 50:56 там часто У нас вот прям есть Дока New микросервис checklist где прям прописано 51:04 Какие места Надо не забыть поправить я Этой модели доверять не буду Просто потому что я знаю я буду потом дольше 51:11 вычищать Мне проще как бы вот такие вещи сделать ручками Прикольно А ты пользуешься Какая логика при выборе LLM моделей? 51:20 какой-то особо умной моделью для особых случаев или у тебя всё колот прямо закрывает так в пилоте можно выбирать 51:30 модельку Окей А как ты переключаешь Какая у тебя логика Вот когда Пилот глупый умный включаешь 51:37 а когда мне надо делать исправление в нужном Ну существующем коде и реально 51:44 относительно небольшие исправления sonet 35 Ну или sonet 51:50 37 есть вот который не размышляю обычная 51:57 а на мой взгляд сейчас оптимально либо если совсем тривиально и надо быстро то 52:05 чео Open вот у меня последнее время они очень ленятся то есть это такая одна из 52:13 метрик про когда модель Фактори код и она любит 52:20 написать а здесь типа Положи весь тот код который у тебя был до этого А типа я сама тебе его не напишу сейчас ты иди 52:25 его са да да да да И вот внезапно даже в пилоте где Диф режим где они должны 52:31 давать конкретные фы а то по На иных модели особенно которые типа самые размышляющим 52:38 О3 Mini ха очень часто пролазит То есть 52:44 я часто если мне надо обсудить за архитектуру обдумать решение как бы там 52:51 и я если проектируют 52:58 чтоп сто она придумает какие-то м я не подумал или но решение 53:04 подскажет я пойду прямо в чат гпку и задам это норма ум 53:15 моде тоже отлич видел что сейчас модели есть Рассуждающие LLM модели 53:20 рассуждаю 53:26 Ой простите я наливал себе это минерало вот и чтобы не шуметь вообще в душе не 53:34 понимаю вот есть теперь есть модель Лёха Вот про то что сейчас говорил про то что Фин финкин модель Э короче я правильно 53:42 Лёх понимаю что это самое большое изменение вообще в том что происходит в мире LX вот с тех пор как они собственно 53:48 стали большими А И это 53:53 а столько сейчас с коню из-за этого на самом деле а то есть я вот когда 54:01 рассказывал про обучение и ИФНС как бы запускать я говорил что обучение — это 54:07 дорого а inference как бы становится дёшево и в какой-то момент кому-то пришла гениальная мысль в голову типа А 54:14 что если нам попытаться больше компьют навалить в момент inference как бы подороже а не 54:23 очень-очень-очень больше компьютера во время обучения то есть чтобы модель Сначала 54:29 подумала как бы разложила задачу на под части прям что-то это И после этого 54:36 выдала ответ А я тем кому как бы интересно как это Лекции Andrej Karpathy, как это работает внутри 54:41 работает внутри Я очень бы рекомендовал у Андрея карпатов лекция есть на 3 часа 54:48 про общий обзор ЛК там и в целом как бы Как устроены мки и проне 54:56 про ограничения как бы как про это думать то есть вот если с нуля то это вот идеальная лекция 3 часа того стоящая 55:03 Да у него даже есть видосы как вместе с ним можно параллельно повторяя за ним код написать мку свою вообще гениальный 55:10 просто человек да да да но вот как бы эти видосы они для технарей там большинству людей как бы все эти 55:16 повторить э машинное обучение но оно вообще не нужно А вот там оно именно про Как устроены н для тех кто ими 55:24 пользуется угу Там кто какой токен как бы компьют вот это всё без уходов даже 55:30 там что за Self Attention Cross Attention Кому это надо пользователям Вот то есть там это хорошо будет описано 55:38 Но вот лично у меня долго была такая мысль Я не я не понимал вот Ну я в Тяжело понять, как рассуждает модель 55:45 голове же как бы вот есть у меня это чёткое понимание что ЛМ — это штука которая предсказывает следующий токен 55:50 следующее слово А как можно навалить больше компьютер во время ферен тогда 55:56 Она же просто предсказывает следующее слово где тут слинг и вот для меня это 56:03 была прямо абсолютная загадка То есть я даже могу понять как бы что ну есть первая часть Нин моделей то есть 56:12 модели с помощью или каких-то других механизмов учат перед ответом сначала написать 56:20 подроб прихо к этому начинает долго сначала писать как 56:27 бы как я тамчи Вычисляю ещё что-то Я вот сейчас ти Миша попросил меня написать короткое 56:35 описание для бандла бандл — это наверное что-то с игрой в Стиме Наверное он хочет 56:41 Это для маркетинговых целей она всё текстом прямо выдаёт по-моему так 56:47 делает всех DeepSeek открыто размышлял самым первым 56:53 есть ста по тем Прим почему 57:00 большинство пово у большинства уже есть модели там 57:06 началось это понятно как бы сейчас есть у всех но большинство скрывает сам процесс 57:13 обучения либо показывает как бы генен отдельные модели са процесса 57:27 пси был первыми кто показывал типа сырой процесс размышления и их модель 57:32 оказалось что она размышляет вот как в том анекдоте про урено Чебурашку её 57:38 очень прикольно просто читать её процесс обучения размышление Извините как бы 57:43 такой О а что если будет вот так наверное пользователь имел в виду именно 57:48 это но может быть Вот в общем даде Рассуждение разбивает операции на более простые 57:56 прикольно объясняет В чём смысл почему то есть как бы в любом случае когда 58:01 модель предсказывает следующий токен есть какое-то количество вычислений которые она делает и вот там Почему 58:07 модели изначально плохи там ты Попроси модель умножить там 200 но 54 на 58:13 какое-нибудь там я не знаю на первые 15 знаков числа Пи и очевидно модель в 58:19 большинстве своём не сможет про потому Даже вда при мы предсказать 58:26 следующий токен ещё что-то количество вычислений происходящих на генерации одного токена недостаточно чтобы как бы 58:34 сделать настолько сложную операцию Угу а заставив модель подумать по шагам 58:42 разбить эту операцию на более простые ты в конце концов как бы отдельный атомарный шаг делаешь достаточно 58:48 маленьким чтобы количество компьют хватало как бы Наги на здравые решение 58:54 этого маленького шага Угу но и в результате 59:00 на большинстве задач которые технически 59:05 проверяемые это математика программирование вот это вот всё там где 59:11 может работать а модели размышляющим лучше чем 59:18 стандартный Ирак модели но бы уних не становится больше Ниго 59:26 стали размышляющим и Вот пример это последний гпт 45 Угу Недостатки GPT 4.5 59:33 реально прикольный пример свежайший потому что свежайший сколько недели две прошло недели две Да а openi выпустила 59:42 типа новую большую модель и очень дорогую очень очень дорогую то 59:49 есть в 500 раз дороже чем их самая дешёвая модель сейчас вот настолько дорогою 59:56 сколько там 75 долларов миллион токенов при условии что как 1:00:04 бы мини модель стоит типа 20 центов ти 1:00:10 того и она себя на бенчмарках фига и на многих бенчмарках связанных с 1:00:15 математикой и программированием она себя показала ну очень сильно хуже чем тотже 1:00:22 ишля моде про то что Ну а что за фигня полный 1:00:28 провал всё все правила как бы этот скалирование сломаны agi на этом 1:00:34 закончился и так далее И вот тут как бы возникает проблема того самого как бы 1:00:41 скейлинг во время ифн то есть базовая модель к которой мы привыкли там времена 1:00:47 4-5 то есть сравнивая как бы с обычными базовыми моделями 45 реально крутая то есть 1:00:53 там можно обсуждать Как мерить мы сечас к этому придём 1:01:00 но она неплоха но сравнивая как бы с чисто практической точки зрения с Любой н моделью даже сильно меньше и в 50 раз 1:01:09 дешевле 45 оказался как бы а кому он нужен и вот тут оказывается проблема то 1:01:16 есть для большинства все такие сказали фу 1:01:26 ПТ 45 это другой вопрос Ну да и ну и там Проблема бенчмарков LLM 1:01:32 возникает Кстати это отдельная проблема бенчмарка как бы это тоже очень смешно с 1:01:39 этой штукой вообще просто какой-то атас потому что я думаю даже он Миша попадается в прессе постоянно какая-то 1:01:44 модель выходит Выходит 300 бенчмарком и все сравнивают вот эта модель против китайской Вот это против той 1:01:50 единственное что я всё время ржу с этих бенчмарком то что грог твиттеров ский всегда на последнем месте во всех 1:01:55 бенчмарках всегда всем проигрывает короче вот это это мне нравится а остальное я вот с трудом понимаю как 1:02:03 собственно происходит процесс Ну там есть математические какие-то есть 1:02:08 какие-то рассуждающий та у тебя Лёх есть понимание На что ты обращаешь Ну как на что ты смотришь в первую очередь Когда 1:02:14 выходят новые бенчмарки модели больше не на что закончились бенчмарки на текущий 1:02:20 момент На мой взгляд то есть вот это реально текущая проблема что модели 1:02:26 скану настолько быстро вперёд Угу то как бы там айма какая-нибудь или там ну я не 1:02:33 знаю не вдаваясь конкретные парки там какая-нибудь математика уровня 1:02:38 международных математических олимпиад у типа вот среднему человеку решает модель 1:02:44 эту математику на 92% задач прошлого года или на 95% задач прошлого года Ну 1:02:51 какая пень разница эту задачу как бы решают 1:02:56 полторы сотни математиков в мире как бы ну пофиг уже то есть реально мы так бы 1:03:03 ну как мы они мир так быстро скну вперёд то практически те бенчмарки которые 1:03:11 показывали хоть насколько то практически применимые как бы примеры использования они выбраны там в 90 п про 1:03:21 8 с прощения нени такой бенчмарк с точки Что такое бенчмарк? 1:03:27 зрения э а Невер Сити Я понимаю что такое бенчмарк видеокарты бенчмарк 1:03:32 процессора там понятно что что мерить А в А вот это да да как сравнить две 1:03:38 модели да Есть о три мини а есть грок какая умнее Как понять ну если спросить 1:03:46 у него кто самый глупый человек в Твиттере он тебе ответит Крок тебе ответит илон Маск а другая модель что-то 1:03:52 другое ответит да Но какой из них правильной вот чтобы хоть как-то 1:03:59 сравнивать пытаются придумывать какие-то методы сравнения Ну да Нужно же как-то 1:04:05 чем-то мется Ну да там простые варианты — это математические олимпиады например то 1:04:12 есть задачи математических олимпиад прошлых лет и какая модель сможет 1:04:18 большее количество задач решить та умнее в математике или 1:04:26 больше больше объём скорость Вообще никого не волнует в эти случаях опять это знаешь вот как и с пушками Все любят 1:04:34 покрутить как бы результаты бенчмарком о обожаю потому что как бы подкрутить так 1:04:42 чтобы показать свою модельку хорошо всегда можно и поэтому там очень часто 1:04:47 когда говорят о бенчмарках могут там нарисовать собака ноль или там или ещё 1:04:54 что-то или там то есть да когда мы говорим про бенчмарки по-хорошему надо говорить ещ 1:05:02 про условия их выполнения Потому что часто те кто анонсирует новые модельки 1:05:08 чтобы показать красивые цифры могут сделать типа мы попросили модельно генерить 200 1:05:14 решений вот этой задачи и выбрали типа топ три самых лучших и по ним посчитали реу 1:05:27 попыток но Поэтому да есть отдельный вопрос как именно в каких условиях 1:05:32 сравниваться Ну там Поэтому говорят кто-нибудь типа с первого 1:05:37 промпто плюс наборы сами то есть там бенчмарк есть на программирование набора программистский 1:05:44 на агентские использование то есть там более сложные уже как бы комплексные 1:05:51 задачи есть отдельные всякие э и так далее где фактически Типа Бой двух 1:05:59 моделей ты можешь туда прийти как пользователь задать какой-то вопрос Тебе покажут вывод двух моделей А ты должен 1:06:04 выбрать Какая выиграла какая лучше ответила И это там считается ло Ну что 1:06:10 такое ло все знают рейтинг още Да как шахмата А 1:06:17 и тут возникает как бы то есть если большинство бенчмарком Никто не знает, как теперь сравнивать модели 1:06:26 прох людей задачи сделаны там на 90% плюс то то что следующая моделька 1:06:32 сделала Там типа на 2 про лучше оно не очень о многом 1:06:37 говорит длинный хвост как бы остаётся вот этих которые очень сложно выбирать опять я думаю там все знают Вот это 1:06:43 правило про что первые 80% левого проекта всегда 1:06:49 проще чем ВТО 1:06:54 8 вот здесь примерно так же а и то что эта моделька как бы стала чуть-чуть 1:07:01 лучше для большинство людей просто это не увидят и даже с ареной где пользователи 1:07:06 сравнивают ответы двух моделей разработчики моделей достаточно быстро как бы осознали что люди чертовски 1:07:13 предсказуемые заразы и людям нравится подробное с указанием определённого тона 1:07:20 чтобы побольше текста навалило и начали фант модели конкретно на аре и тем даже 1:07:28 пришлось как бы вводить отдельный категорию когда там этот вместо человека 1:07:35 ещё одна МКА не Там они с астом результатов на поправку на 1:07:42 форматирование длинну ответа там ещё что-то то есть как бы вот с этим или кожаных да да и 1:07:51 реальности вот любую сото модель как бы 1:07:57 сравниваешь там очередной этот и такое на трёх бенчмарках э модель лучше предыдущих на 1:08:03 % А вот на этих четырёх бенчмарках на О де хуже 1:08:08 Вот моя эмоция прямо да я вот вот так смотрю на Бема выходят Модели там какой-то Господи там на уровень 1:08:16 погрешности кто-то что-то отличается и Google с флагом стоит мы победили типа Видите вот эти д измет мир это реально 1:08:24 это г проблемы индустрии сейчас совсем закончились бенчмарки нечем сравнивать м 1:08:30 арене тоже больше не верят и многие там в результате вот опять к этому типа 1:08:36 ритуальным знаниям приходят типа А у меня вот есть мой микро бенчмарк на котором Я сравниваю все модельки как бы 1:08:43 есть просто абсолютно идиотик бенчмарки про посчитать количество буф робери как 1:08:49 бы за которые надо бить по голове тяжёлыми предметами но есть понятно там и есть 1:08:57 отдельная проблема как бы нельзя публиковать вопросы твоих бенчмарком потому что стоит тебе их опубликовать 1:09:03 следующая модель на них обучится и твой бенчмарк будет пройден 1:09:09 но да как теперь сравнивать модели Лично я не знаю и индустрии придётся это 1:09:14 выяснить скоро Потому что сейчас как бы наступил как такой коллапс Когда уже 1:09:20 неясно Слушай а помнишь этот сколько там прошло пару месяцев Наверно когда пси Почему DeepSeek уронил рынок? 1:09:25 выходил вот когда в это весь рынок падал пси и в общем все немножко были в ужасе 1:09:31 а там такая Шумиха была из-за того что он вышел и невероятные результаты 1:09:37 бенчмарки показал А несколько моментов На мой взгляд То 1:09:44 есть он действительно он вышел и показал на бенчмарках результаты уровня о1 на 1:09:50 тот момен of моде бы 1:09:55 и очень быстро после этого выпустили которая ти во всм чуть-чуть получше но 1:10:01 опять и Дея Да но не дешевле надо честно 1:10:06 сказать но если до этого модель объективно была только Open и Open как 1:10:14 бы с модель был впереди планеты ВСети очень уверенно то тут выходи 1:10:26 реро трейдеров которые ти с их слов Они 1:10:32 конечно тоже полу кавили но по первости они сказали да мы посмотрели у нас типа железо что-то простаивает решили Дай что 1:10:39 по фану это заба на коленке да Ну конечно это не так 1:10:44 но они опубликовали достаточно подробную работу а с тех пор выпусти 1:10:55 Понятно Как учить подобные модели и сейчас реально ты можешь рине об учить на домашней видюхе с помощью оло А как 1:11:03 бы и можно получить прикольно поиграться А раньше это обучал только Open Ну 1:11:09 только Open ai имели н модель и как они это делают они естественно вообще ничего не рассказывали вообще и не показывали 1:11:15 сам процесс размышления очевидно чтобы никто не этот то есть как бы люди понимали что типа reinforcement lear вся 1:11:22 фигня но как именно непонятно а тут раз и показали китайцы которым как бы нельзя 1:11:28 продавать вих они такие типа Опа а мы ВС равно обучили моде 1:11:34 уровня всем расскажем Да и мало того заявили А мы типа её обучили там за пару 1:11:40 миллионов долларов против там против Фейсбука который тратит реально 1:11:46 миллиарды долларов на закупку 1:11:54 видюхе то есть очевидно это всё не так вот давай Прямо скажем то есть они учили 1:11:59 на у на основе своей предыдущей модели этот V3 по-моему или как как у них называлась которая типа Вполне себе 1:12:06 State of the Art nonon модель Ну как бы на уровне топовых открытых моделей на 1:12:13 которую Они отдельно потратили там типа десяточку миллионов долларов на обучение и говорили они только там про 1:12:20 отдельный ран вот этой модели как бы того чекпоинта который они вытащили 1:12:25 но внезапно просто Да весь мир осознал что это не штаты впереди планеты всей А 1:12:33 как бы братья китайцы тоже могут И несмотря на ограничения и тут же пошло 1:12:40 очень много разговоров о том что надо ограничения там на продажу железа и 1:12:46 прочее усилят потому что очень много Люде Верт про то 1:12:56 Т моде донут уровня когда они смогут заменять топовых уны и как бы 1:13:04 клонировать модель сильно проще чем клонировать учёных Поэтому вот этот как бы термин что 1:13:10 это тысячи гениев в дата-центре он вполне себе понятный и 1:13:18 вполне как 1:13:24 бы то сможет и сможет удержать это преимущество 1:13:29 какое-то значительное количество времени это даст ей такой бу на развитие науки и 1:13:37 дальнейшее как бы получение преимуществ что это вполне себе может изменить бы мир к абсолютно у неполярной 1:13:44 структуре в пользу того кто это имеет Ну да причём не выглядит даже футуризмом 1:13:50 уже сечас есть это вполне себе смело скать 1:13:55 чему это едет ИИ написал научную работу 1:14:01 сло прошла новость ребята из Как называется 1:14:06 контора Господи ну неважно В общем A учёный 1:14:14 типа Sci нуля полностью самостоятельно Агент 1:14:22 написал работу публикацию которую приняли на ры pps Угу как бы работа красиво и это 1:14:31 Научная конференция крута Да одна из топовых научных конференций и это заявочку То есть это реально заявочку 1:14:38 Угу И как бы Когда вопрос дальше начинает что О’кей Пусть он делает одну 1:14:44 там из пятидесяти хороших но теперь мы можем запустить 10 млн таких в параллель 1:14:50 А теперь мы можем ещё отдельную модель посадить чтобы отбирать как бы наиболее перспективные 1:14:56 Ну да я верю что так и будет Яно я местами как бы остаюсь 1:15:02 будущего У меня нет сильной веры в то что как бы настанет безусловный базовый 1:15:08 доход всем может безусловный базовый доход всем моделям настанет А нам 1:15:17 нифига так ну ладно пока мы Как спровоцировать рассуждения? 1:15:25 знаю я когда это узнал Я был в восторге абсолютном собственно А как слить компьют во время ризон типа как больше 1:15:32 компью валить мне было непонятно потому что мы же просто предсказываем это то есть вот у Open есть типа медиум О3 1:15:40 медиум О3 High В чём разница и так одна много рассуждает другая мало 1:15:47 а как сделать чтобы она много рассуждала рассуждай очень-очень подробно и 1:15:52 обучаешься это можно сделать даже на одной и той же модели Ты прямо если что если ты это в 1:16:00 Оше ты можешь указать 1:16:06 типа пере проверь себя 20 раз даже не так в общем один из подходов 1:16:12 опять я не допускаю что это единственный но один из который мне очень понравился Там же есть как бы то есть сть про 1:16:18 размышление о начинается специального токена и заканчивается специальным 1:16:23 токеном даёт тебе вот этот токен Я закончил размышление ты берёшь и не 1:16:29 принимаешь его а пишешь ей токен для слова погоди запятая вот вот Представь что ты 1:16:37 с кем-то говоришь и тебе человек говорит так так так там что-то рассказывает а погоди есть ещё идейка Это я в 1:16:43 сегодняшнем показывать как бы да или там кстати А если подумать вот 1:16:50 так да и реально вот ВС что нужно это в 1:16:55 цикле вместо того чтобы разрешать и закончить размышление добавлять вей если 1:17:01 посмотришь R1 его размышление у него очень много как бы вот идёт блок размышлений потом Wait But Maybe US 1:17:08 something else и пошло как бы там этот вот это и мне это кажется настолько 1:17:14 элегантным и гениальным решением Я не знаю Я в восторге абсолютном это очень красива Да очень прикольно то есть ты её 1:17:22 просто грубо говоря никогда не даёшь ей оказаться в точке где Ну всё мы всё рассмотрели Ты такой А давай-ка ещё туда 1:17:29 сходим Кстати а мы подумали Вот про это а про ты даже не говоришь про что подумали Ты просто говоришь Сати Кстати 1:17:37 она дальше продолжает очень красиво да А вот когда Как поднять локальную модель? 1:17:43 ПК выходил Я помню что там ещё все носились с тем что он очень-очень дешёвый по сравнению с Open Он правда 1:17:49 будучи дешёвым мне очень часто на мои запросы отвечает что я тебе на это отвечать не буду по неизвестной мне причине видимо там 1:17:55 перегружен он реально очень перегружен он перегруженный реально То есть их родной пише кой пользоваться Мне кажется 1:18:01 невозможно Ну да но в то же время э кто-то писал что в целом некоторые 1:18:08 модели пси у себя локально можно разворачивать и я вот у тебя хотел спросить а как у тебя выглядит сетап вот 1:18:14 ну с пилотом Понятно У тебя корпоративная подписка А ты хочешь куда-то в сервак там и там он что-то считает А какие у меня вообще варианты 1:18:21 лсе себе настроить локально вот я пишу код с моделькой я могу у себя локально поднять какую-то относительно небольшую 1:18:27 модель и у меня vs код будет в неё стучаться прямо на локальной машине есть плагины которые типа Аля Аля 1:18:37 ко Пилот или Аля курсор которые умеют ходить в локальные модели Да Угу и ты 1:18:43 можешь запустить Там как бы локальный сервисок который у тебя будет эту модель Серви оно будет как бы там отправлять 1:18:49 промт и ждать ответы в принципе можно А я выигрываю 1:18:57 Я лично не верю то есть вопрос Параноя как бы что ой-ой-ой модель будет учиться 1:19:03 на моём коде опять взрослые сервис а колот Вполне себе как бы прямым текстом 1:19:11 и очень серьёзно заявляют про то как они используют данные и Ну у нас достаточно 1:19:16 крупная там компания международная и прежде чем любым серм на компания 1:19:24 инструментарий который этот но любой инструментарий чтобы допустить сначала юристы очень подробно работают с 1:19:31 компанией вендем чтобы понять как бы что там будет Угу То есть это решаемый вопрос но опять много людей которые в 1:19:38 это не верят и как бы локально гонять вроде проще Угу здесь многие Кто как бы 1:19:44 не хочет или не может платить за подписки либо за тон usage И опять 1:19:50 кажется что локально гонять проще Я честно скажу я не верю 1:19:58 Ну медленно качество хуже чем то есть как 1:20:04 бы условным сонетом ну ни одна локальная модель близко не лежала А тебе надо ещё Какое железо нужно для этого? И что значит B? 1:20:10 Мега железку наверно иметь чтобы это всё гонялась хоть как-то Ну есть два 1:20:23 вариантам или там Star coder 7b какой-нибудь который ты на Вполне себе там на своей а и видиш най видюхе 1:20:31 относительно современной запустишь Угу И даже какой-то контекст туда влезет в память а там сейчас Вон этот Max 32b он 1:20:40 уже не влезет то есть Кстати мы не говорили как бы вот Что вот за это 7Б 32б Но это количество параметров модели 1:20:48 Угу А и B bli миллиарды то есть модель 1:20:53 7Б подразумевает что у модели 7 млрд параметров которые используются вот для 1:20:59 тех самых матричных умножений Угу И каждый параметр в базе Сейчас как бы 1:21:05 большинство тренирует в шестнадцати битном BF 16 То есть он занимает два байта угу Значит модель 7b в основном 1:21:13 размере в b16 размере должна занимать минимум 14 ГБ видеопамяти у тебя в юх 1:21:21 плюс сколько-то для того чтобы контекст держать 1:21:26 выле То есть это ВС достаточно жирно в плане требований к видеопамяти но 1:21:33 есть технологии квантизация когда ты говоришь что типа А что если я попытаюсь 1:21:40 представить тот же параметр Ну что такое параметр это просто число плавающей точ но используя меньшее количество бит 1:21:47 подрезать [музыка] 1:21:55 это делать с относительно невысокой потерей качества работы модели прикольно Маленькие модели будут умнеть? 1:22:02 чем дальше тем будут умнеть даже маленькие модели подреза Да есть теории 1:22:09 как бы там 10 теоретический предел сколько можно это условно оди бит на 1:22:15 параметр аксофт выпускал как бы 1:22:23 реалистично Но для вот это как бы Согласно этой работе модель надо в этом 1:22:29 учить сразу нельзя кванти зовать существующую модель Поня поэтому ни одной State of the Art как бы серьёзно 1:22:35 обученной модели в 158 пока никто не видел Угу но всякие типа четырёх битки 1:22:41 кванты качаются легко как правило большинство опенсорс нах моделей выпускают их сразу на мой взгляд они как 1:22:47 бы не отличаются сильным умом и сообразительностью так такой обрезано но 1:22:55 я может придираюсь ну короче ты локально не крутишь модельки вот Гру грубо говоря 1:23:00 я диффузию кручу локально а мки нет Понятно А скажи мне ещё вот что если ты Почему все писали про анонс Claude 3.7? 1:23:07 следил сколько недели три назад Да Клод 37 был анонс э модели от которой все Ну 1:23:14 тоже очень громко было не так как от дипси но у меня тоже везде просто про него все написали там в чём был такой 1:23:21 Big Deal и почему эта штука работает через с проектом кода через com а не 1:23:27 через там код и так далее там прямо Агент Агент Слушай да ничего реально 1:23:35 особенного то есть Клод решил себя позиционировать они формально это вполне 1:23:40 себе написали что мы типа поняли что наши модели хорошо работают с кодом и мы 1:23:46 будем дальнейший упор делать на коде и 37 реально очень хорошо себя показал 1:23:54 всех возможных бенчмарках связанных с кодом плюс активно развивает тему про 1:23:59 компьютер и Агент пользования Ну и они реально они выпустили модельку которая как бы 1:24:06 чудесно программирует спору нет плюс они выпустили внутренний инструмент который 1:24:12 тот самый как бы агентское использование То есть он Аля Ай реально максимально 1:24:17 близко но агентский то есть может по кругу обратной связью 1:24:26 запуска их вывод в зависимости от этого продолжать использова в отличие от 1:24:32 просто Клода где ты типа ну отча птш и кло где ты двадцатку платишь за подписку 1:24:38 и тебе хорошо этот работает через API соответственно Ты платишь денежки Каждый 1:24:44 раз когда он ходит в API что-то делает И к сожалению он т заметное количество 1:24:55 Ну да да да то есть как бы вечерок с ним посидеть и ты там 15-20 долларов легко 1:25:01 выш Наде Ну да но и вот тут опять как бы 1:25:08 этот Personal op у большинства нет задач которые это 1:25:14 бы оправдывали я бы вот так сказал Ну вот то есть как бы колот и курсор 1:25:21 прекрасней образом я там молчу про всякий 1:25:32 просто поднимают в небеса тебе очень удобно и вот тут просто вот это супер LLM все еще не может заменить программиста 1:25:39 важно разграничение как бы между Конгом и 1:25:44 работой работой То есть как бы 1:25:53 реально у людей работали достаточное количество времени там очень много кода 1:25:58 там много как бы сложных моментов и вот на текущий 1:26:05 момент модели не могут ещё заменить программиста в этом банально вот там был 1:26:13 этот помнишь делвин или Девин типа которого прям продвигали как 1:26:18 замена программисту его можно было найти Ну и когда его выпустили то есть Если обратить внимание там меся про него 1:26:25 никаких новостей с момента релиза публичного потому что там После первых же д дней после его релиза куча твитов с 1:26:32 надписью Типа если бы это был интен это был бы типа интерн которого я уволил 1:26:38 быстрее всего за мою карьеру Ну этих людей Когда роботы 1:26:44 придут к этих людей всех найдут проведут беседу 1:26:53 пожи то мы говорим вот надо важно этот проговаривать что сегодня 12 марта 1:26:59 двадцать пятого года потому что не представляю как они как живут люди которые в этой области работают прямо Это самая быстро меняющаяся область 1:27:05 работают потому что типа я не знаю казалось Ну что до этого было самой быстро меняющейся такой индустрии Да 1:27:12 блин Да даже игры как бы быстро менялись но по сравнению со всем что было до этого мки устаревают Просто это вот типа 1:27:20 как мы входим в сингулярность называется да да будет всё быстрее и быстрее и 1:27:25 быстрее Когда будут мки как бы это То есть это ж он эйдер Я люблю эйдер 1:27:30 офигенный как быт помощник кода но там ещё и его автор он делает интересные 1:27:37 бенчмарки которые сейчас как бы очень ценятся и ну как бы этот многие на 1:27:44 них смотрят А и В целом как бы он публикует много про разработку и Вот последняя версия что он 1:27:51 выпустил больше 70% кода было написано самим эйром сам себе пишет То есть как бы да 1:27:59 за он отслеживает количество изменений и там типа в предыдущей версии что-то 1:28:04 больше полутора тысяч строк кода добавлено из них 70% добавлено иром Ну будет всё быстрее быстрее и 1:28:12 быстрее И то что мы говорим о том что мы говорим сейчас 1:28:18 и Через 3 месяца это всё может быть не так Какие 3 месяца ты загнул Да дай Бог 1:28:24 до конца марта если дойдёт без этого без того что всё поменялось опять с НОК на голову я вот смотрел когда э ну грубо Попытка оптимизации игрового кода 1:28:32 говоря все юзкейс о которых ты говоришь только я ещё конфиги пишу Вот если мне какой-то конфиг надо написать или github 1:28:38 Action или ещё что-то я тоже мко пишу все твои юзкейс вот которые ты озвучил тоже я правда код ревью прямо так сильно 1:28:45 за ними делаю я ему отдаю только части которые прямо ну не сильно критичные Вот но мне очень понравился юзкейс который 1:28:52 там мы стараемся использо игра ты помни всегда есть относительно понятный самый нагруженный кусок кода 1:28:59 который симуляцию основном считает или который врен что-то отправляет Вот и я 1:29:04 значит такой думаю ну сейчас наверное оно мне что-то гениальное скажет я дам скажу Скажи мне как это по 1:29:11 оптимизировать оно мне думаю сделат какие-нибудь ассемблерные вставки там красивые у меня всё вообще будет супе 1:29:17 оптимально работать короче финал истории в том что мы выигрываем довольно многой 1:29:24 в пса даже наверно можно сказать что сколько-то псов выигрываем от этих оптимизаций Но в основном это советы ллк 1:29:31 формате Типа вы что больны Зачем Вы здесь ищете по массиву Тут же можно хэш 1:29:37 таблицу использовать ты такой Блин ну реально А зачем мы тут то есть у тебя 1:29:42 какие-то идиотина и пошли дальше и результат 1:29:49 очень рабочий То есть ты получаешь сразу выигрыш очень как бы в играх это пряля 1:29:55 больше грубо говоря процессор жен но он тебя спас не тем что он гениальный А тем 1:30:00 что он внимательно посмотрел на всё но что ты пялишься и уже не видишь тея глаз замын короче для игр Мне кажется вот 1:30:06 этот вот выделить куски и сказать А скажи мне как тут улучшить производительность это прямо вот 1:30:11 топ если ты же видел эту историю про ку ядра для вычислений да LLM улучшила расчеты на CUDA ядрах 1:30:25 сна потом е независимые ребята вяли там Давай ещ дальше 1:30:32 начну которые используются для обучения машинного обучения машин моделей машинного обучения чтото Я много раз 1:30:39 сказал слово обучение Извините Да они делают как бы внутри происходит 1:30:46 очень много вычислений пому опция этих 1:30:54 написаны на куда для того чтобы как бы вычисления происходили на видеокартах Ну 1:30:59 и писать вычислительные ядра для куда — это такой хардкор в моём представлении вот знаешь как самые бородатые чуваки 1:31:06 которые шейдеры пишут вот это вот того же уровня как бы Твитере история Да а и 1:31:12 NVIDIA взяла но при этом эти 1:31:18 ядрышко есть известные сценарии как бы обучил модельку посмотрел Сколько времени заняло если утрировать и они 1:31:25 взяли ряду ЛК в цикле начали просить типа улучши 1:31:31 и автоматически замерять результат там типа несколько вариантов предлагать замерять результат выбирать оптимальный 1:31:38 просить его снова улучшить и так далее и улучшение в отдельных случаях в разы 1:31:46 по производительности то есть там в некоторых случаях понят десятки про что 1:31:52 тоже 1:31:57 вих 10 стало быстрее это Ну да а там 1:32:03 местами в разы и вот эти задачи когда у тебя есть 1:32:09 возможность обратной связью что-то делать й как бы они вот такое как бы 1:32:16 мини агентное 1:32:22 применение так сказать тестируемый и будет вам счастье да да 1:32:29 прикольно Слушай мы знаешь о чём не поговорили мы не поговорили про пользу а Страх, что все разучатся программировать 1:32:35 или вред пользования этим для головы вот знаешь этот же страх что сейчас весь 1:32:42 молодняк будет как бы что-то делать но программировать то не 1:32:48 научатся не научится конечно и четвёртого питона больше не будет уже никогда Ну вот Да ты как вообще ты там 1:32:56 ещё второй страх есть что из-за того что Джуниора это не очень сильно нужны скоро сеньоров не будет потому что не из чего 1:33:04 расти Ну наверное не знаю короче Я точно могу сказать что 1:33:10 совершенно типа раз Ну вот вайп кодинг О котором ты говоришь даже если код ревью ить совершенно по-разному работает 1:33:18 голова у тебя даже если ты внимательно вайб Конгом занимаешься или если ты пишешь код сам Просто ну как бы это как 1:33:23 пазлы решать и не решать совершенно разные мозговые усилия Может оно и плохо А может и нет наверное чуваки которые 1:33:30 писали там в Восьмидесятых в девяностых на ассемблере про нас также думают ну типа совсем безумные чуваки ни фига не 1:33:36 знают что там на уровне железа происходит пишут на своём питоне там кля тамм вот а ты вот сам не боишься что вот 1:33:44 лично у тебя мозг атрофируется от того что ты этим всем пользуешься Я думаю что у меня атрофируется по другим причинам 1:33:50 он мке вообще меньше из проблем будет как бы в этом плане но Да не знаю Лёх 1:33:57 Если честно мне кажется оно развяжет руки сильно потому 1:34:03 что сейчас в печи которую ты хочешь технически но не можешь реализовать 1:34:08 потому что у тебя нет такого человека которого ты можешь попросить это сделать Просто ну слишком сложную задачу 1:34:14 какую-нибудь Я не знаю процедур ную симуляцию какого-нибудь там особой жидкости в игре ты хочешь делать Она у 1:34:20 тебя в процессор никуда не влезает и ты знаешь что пока ты не найдёшь такого редкого че который вот на этом съел собаку тебе это не светит вот такие фичи 1:34:27 они исчезнут То есть у тебя если это реализуемо у тебя с помощью мки любой подберёт решение долго Недолго но 1:34:35 подберёт вот а из-за этого у тебя вообще перестроится как бы отношение к тому что 1:34:43 ты можешь реализовать а Конкретно голова насколько у тебя паззлы перестанет 1:34:48 решать Да мне кажется ты сам властен если ты захочеш ты приду шахматы играешь 1:34:56 ещ что-нибудь придумаешь А если не захочешь то и без ты найдёшь способ 1:35:01 атрофироваться себе голову без проблем так-то правильно народ в общем-то говорит 1:35:08 что сейчас модели дают невероятный бун тем кто хочет как бы у кого вот есть 1:35:17 этот знаешь 1:35:26 залу По шапке делать это по кругу им теперь не надо иска бородатых старых программистов 1:35:33 и уговаривать что-то сделать они теперь могут как У узкоспециализированных моделей есть шанс? 1:35:41 бы я вот что хотел как бы 1:35:46 понять думаешь ли 1:35:52 упе чего-то имеют какие-то шансы на выживание или следующая модель не 1:35:58 специализированная но следующего поколения их всех будет при релизе автоматических хранить я верю специализированные модели 1:36:06 веришь да то есть она прямо то есть какая-нибудь игровая специальная 1:36:11 модель чтобы именно написать игры Ну вот у нас разное представление про ус 1:36:17 специализированной наверное ну наверное да то есть не а 1:36:24 вот обучать модели конкретно на играх Я скорее в это не верю 1:36:31 Да ну потому что задача разработки она как бы не сильно меньше 1:36:36 задачи такой более задачи разработки игр не сильно 1:36:41 отличаются от задачи в целом разработки поэтому не сделаешь ты модель 1:36:52 меньше если у тебя там задача Я не знаю Ну вот эти все классические сентимент 1:36:58 анализы Вот это ВС опять плохой пример потому что он решён индустриально в 1:37:04 общем-то неплохо но никто в здравом умении 1:37:10 использует гпт для сентимент анализа комментариев к продуктам потому что 1:37:16 дорого потому что медно А есть Милн 1:37:24 Неловко как мне стало сейчас а неловко 1:37:30 сталос на Шарманка есть которая такая типа хочет дизайнер или маркетолог 1:37:36 узнать про аудиторию этой игры я пинаю скрипт и он может поговорить с моделью 1:37:41 про Она читает все отзывы на игру и она и он может поговорить с ней А что э аудитория что хвалит что ругает А почему 1:37:48 Им бы чуваки которые много наили думают 1:37:53 это ок то есть поспрашивать этот нам рак нерак Уж не знаю Т Что там у вас будет 1:37:59 да А я больше как бы про общее там типа настроение пользователе ещё что-то то есть когда тебе это надо делать на Очень 1:38:07 большом количестве в этом когда прямо тьма тьма бесконечно этих отзывов я понял Ну да Ну 1:38:13 вот у меня например сейчас там задача банальная там продукты классифицировать 1:38:20 в одну из категорий очень ложится в задачи 1:38:25 категоризации как бы ну потому что очень много категорий там обычная классификация более маленькие количество 1:38:30 Да и вроде бы чат гпт это прекрасно может делать но как только ты понимаешь 1:38:37 что у тебя там в базе примерно 70 млн продуктов Угу а и посчитаешь Сколько 1:38:44 будет стоить Через чат гпт погнать категоризацию 70 млн продуктов 1:38:50 оказывается что маленькие модели имеют право на жизнь в этом плане Стопудово 1:38:58 Кстати я с тобой целиком согласен когда у тебя задача не требует безумного уровня модели но тебе надо массово 1:39:05 сделать что-то бач какой-то обработать реально локальная модель которая может не очень умная но она уже очень подвижная как бы по сравнению с давайте 1:39:12 так чтобы честно быть по сравнению с чат гпт 3 С5 Она очень умная вот просто она 1:39:19 по сравнению с State of the Art не очень умная но State of the Art как бы послезавтра тоже будет уже не очень 1:39:25 умный по сравнению с тем что там будет Да я согласен А ты думаешь модели вот эти грубо говоря у Внедрение локальных LLM в игры 1:39:32 там у Apple есть в всех девайсах сейчас специальный чип который считает именно 1:39:38 матрика на Тей чтобы ты грубо говоря основной процессор не нагружать посчитать А ты веришь в то что 1:39:45 в продукты встроенные маленькие локальные модели будут как-то 1:39:50 прямо важной Фой всех продуктов ка малека модель в каждой игре с делать 1:39:56 Ну не просто же так Олег сейчас все производители латов процессора 1:40:02 встраивают себет Мне кажется потому что Microsoft сказал что мы хотим чтобы вы встроили 1:40:09 как А потому что у нас Windows нативная поддержка этой фигни обновил себе компьютер буквально 1:40:16 две или недели назад меня [музыка] 1:40:22 есть чу локально Модели там е что-то у меня видюха активно трудится и у меня 1:40:27 графики открыты вот я ни разу не видел чтобы у меня загрузка сдвинулась с нуля он есть я не знаю не 1:40:37 использует я подумал типа А нельзя ли на нём учить обычные модели обучения типа у 1:40:42 меня из линуса чтобы это нече зан 1:40:53 ти моделе на амдм пу можно гонять 1:40:58 ни как это запустить Ну это винда она там сложно конечно сложная судьба всех 1:41:05 делать Гру У нас вот я помню мы в семнадцатом году ещё рези игру на iOS и Использование Core ML в iPhone 1:41:12 там это был были первый афо или не первый я не знаю в которых был Cor ML 1:41:18 это типа npu в которой специально у тебя для того чтобы прогнать модельку имы 1:41:23 была фича которая её использовал и грубо говоря когда мы конверти там в экс коде прямо конвертируемого чтобы она гонялась 1:41:30 именно на npu и ты её если гоняешь на NP у тебя на про вообще не влияет соответственно ты получаешь бесплатно 1:41:36 использование локальной какой-то модельки Я был уверен то там через 3 1:41:41 года у тебя вот эти маленькие модельки будут вообще в каждой игре что-то делать 1:41:47 потому что это же бесплатно тебе тебе не нужно процессоры грузить тебе не нужно оптимизировать Ну немножко батарея у нас 1:41:53 есть ничего страшного а фигушки я вот до сих пор не вижу даже в компом софте 1:41:58 единственное вот Z как бы Z мой текстовый редактор Любимый я не знаю это локальная у него модель или нет но у них 1:42:04 там сейчас автокот и в подсказке там Smart Edit что ли называется у них я не 1:42:10 помню он работает просто молниеносно быстро То есть как только ты что-то 1:42:15 напечатает причём большими кусками И вот я думал что после курсора мне в целом 1:42:22 курсор немедленно Да Лёх подсказывает довольно быстро он тебе говорит подсказку Да я думал что это уже более 1:42:28 чем достаточно мне но в Z ё С такой скоростью это делает что я понял что мне медленно было в курсоре оказывается 1:42:34 Понятно Вот локальные модельки как будто бы что-то не так Почему их не случается 1:42:40 Слушай а вот ты же пользуешься у себя в играх модельки Как вы их де бажи вот когда что-то пошло не так очень плохо 1:42:47 надо Ваню позвать в подкаст он вам слезами зальёт тут эфир Вот мне кажется ровно поэтому честно тебе скажу Ну мы 1:42:56 мы-то дураки как бы впихнуть настоящий Machine Learning в игры это нам это спасибо моей дурной голове за эту идею а 1:43:03 так-то в целом можно и без этого жить вполне было но у нас видишь у нас игра про машинное обучение и поэтому там хоть Почему LLM не используется в играх? 1:43:09 надо а я имею в виду прикладной способ то есть там чатбот какой-то локальный ещё чего-то ты думаешь он настолько 1:43:16 Неуправляемый что спилили настоящее машинное обучение Дави ж показывала на 1:43:21 последней презентации умв умных игроков построенных на 1:43:29 ашке Вот Но пока этого никто не видел и есть 1:43:34 маленькая проблема то есть слишком умный 1:43:41 бот нужен в играх кто же рассказывал Господи кто же рассказ 1:43:53 очень-очень умный интеллект по-моему и пришлось это ВС вырезать потому что 1:43:59 была проблема с тем что это просто неинтересно играть очень умный интеллект слишком умный Ты не можешь против него 1:44:07 играть неинтересно популярное же мнение в общем-то Мне кажется что NC должны быть 1:44:14 не умными они должны казаться умными как бы ить масима уб для этого 1:44:23 в старые структуры пытаемся встроить замену наверное же ну как вот помните 1:44:28 игра была там где ты в за вампира играешь и ходишь среди эллэ МОК у тебя город в нём живут лэм в разных Ну домах 1:44:36 люди которые за которыми элэм стоят и ты вампир и тебе нужно с ними так 1:44:42 поговорить чтобы они тебя пригласили войти Потому что ты как вампир ты не можешь входить без приглашения в дом и 1:44:47 твоя задача их как бы убедить как-то в диалоге чтобы они тебе сказали Ладно приглашаю тебя войти вот ну типа или 1:44:55 какие-то вот такие жанры которые обыгрывают вот это вот все недостатки и плюсы ллк как будто я вот думал что они 1:45:01 родятся раньше а что-то или кани Сим какой-то представить в котором городской сумасшедшая это Ленка как раз персонаж 1:45:07 который должен быть непредсказуемым Ну я видел ещё моды для Скайрима в которых 1:45:13 умных NPC встраивают было да точно было та что ты начинаешь разговаривать Разговаривать с кмто NPC он тебе ну 1:45:20 поддерживает диалог Но это по сути транслятор э диалогового ну медленно вот 1:45:26 эти задержки ему говориш он думает секунды п 1:45:31 такой Ну это же только сейчас начало А что будет в конце марта сейчас я тебя Страшная история про Tailwind v4 1:45:37 сейчас мы тебя напугаем вообще сейчас Лёха Если разрешит если посчитает нужным расскажет 1:45:44 историю тебе провин и Ты офигеешь что Не ну это ладно Это не связано с 1:45:51 играми Да но если серьёзно то вот этот динг Как 1:45:59 таковой он несёт отдельную неожиданную проблему для разработчиков 1:46:05 библиотек фреймворков и всего остального то есть вот как учится моделька она 1:46:11 учится условно на всм коде из гитхаба У тебя есть твоя версия библиотеки 1:46:17 там на которой есть Милн примеров кода Наги 1:46:23 уме вуте писать под твою библиотеку версии ты выпускаешь библиотеку версии 1:46:29 4 недавно выпустили V4 которая как бы лучше но слегка несовместима по 1:46:35 интерфейсам по тому как надо делать и ни одна модель не умеет ей пользоваться и в 1:46:41 результате все твои потому что они не учились на твоей библиотеке они не видели примеров кодов 1:46:53 воспользоваться твоим модным 4 вме с якой начинают орать что за фигня Почему 1:46:58 нифига не работает всё сломалось Да и оказывается как бы в результате если ты 1:47:06 автор популярной библиотеки или фреймворка у тебя появляется огромный 1:47:11 отвод от того чтобы не делать новую версию с изменёнными как бы хоть что-то менять потому что как только ты что-то 1:47:18 мее и делае мо 1:47:24 библиотеку это отдельно очень смешно то что те кто пользуется 1:47:32 оч моделями чтобы написать что-нибудь что работает с точными библиотеками 1:47:39 сталкиваются с этой проблемой что почему-то чат гпт знает только про до историческую версию оного библиотеки 1:47:53 напи рачий код для работы Если ты посмотришь даже 1:47:58 презентации вот там вот этот был это 10 1:48:03 дней Open Source или что там которые были перед Рождеством как раз в одной из 1:48:09 демок Они как раз писали Это какую-то демку где обращаться ко и он в результате у него там прямо видно у него 1:48:16 в отдельном окошке кусочек кода который работает современной библиотекой кот 1:48:22 модели со словами Но вызов копна и делай вот так потому что модель не может 1:48:28 генерировать как бы нормально принёс с собой потому что она не знает из 1:48:33 будущего ничего Короче Какой вывод из этого всего то c+ + с нами навсегда 1:48:39 никуда его никуда он не денется он настолько в обучающем корпусе широко распространён что При всём желании 1:48:46 никуда его не деть и будем мы с ним всё время жить учитесь плюс плюс вывод подкаста современный вывод такой да я бы 1:48:53 сказал Э кстати вот с точки зрения именно LLM как инструмент, учитель и наставник 1:48:58 учиться тому как всё устроено конечно с МКА Ну это просто невозможно себе 1:49:06 представить сейчас заново учить языки или учиться каким-то языкам программирования языки В смысле обычные 1:49:11 языки А без эллэ МОК Потому что ты настолько подсаживается на то что ты 1:49:17 любые тупые вопросы в любую глубину можешь задавать бесконечно типа А это почему А это Нафига так типа ты можешь 1:49:23 себя очень нагло вести как ты не мог себя вести в школе типа тебе в школе те объясняют Вот это так ты сейчас берёшь и 1:49:31 такой спрашиваешь это [ _ ] я так не запомню опиши мне так чтобы я запомнил Я
1:49:36
не готов как бы в таких терминах запоминать она такая она вокруг тебя начинает плясать А давай вот тут ассоциация на то на это вот давай так
1:49:42
запомнишь такой ладно так пойдёт Она такая Ну слава Богу Он согласился вот школе бы тебя выгнали нафиг уже оттуда
1:49:48
давно за то что ты там типа не хочешь что-то запоминать вот но кстати про обучение мысль прыгнула
1:49:56
вот почему-то многие как бы не осознают что модельками пользоваться тоже надо
1:50:04
учиться то есть всё вот это как бы генерирование кода яичко Если ты просто Сядешь и скажешь
1:50:11
типа наге нери мне что-то это будет тот самый ва кодинг тебе наге нери там нш
1:50:17
Тетрис и ты всем покажешь но чтобы этим пользоваться нормально этому надо
1:50:23
учиться как бы не Пользуясь постоянно ты не
1:50:33
сформирует где неэффективно как любой другой инструмент
1:50:39
магии в нём нет то есть это реально то есть ну яичка сейчас это инструмент им
1:50:44
Необходимо уметь пользоваться На мой взгляд Мы пришли к тому моменту когда любой разработчик который полье ше
1:50:53
он по умолчанию в более выгодном положении чем ты когда ты им не пользуешься
1:50:59
Поэтому да ты себе можешь даже сейчас какие-то устроить там github же выкатил
1:51:05
эти реквесты теперь можно делать прямо через кот Вот ты теперь себе полу не
1:51:12
пробовал ещ Я тоже не пробовал но в общем там вроде как теперь у тебя полный процесс кодре и ответ на кодре и код ты
1:51:20
можешь всё через ко пропустить ты себе получается можешь завести
1:51:25
наставника в виде мки и ты будешь писать код Ну как в институте грубо Гово Ты
1:51:30
сдаёшь работу тебе дают комментарии ты переделывает Ты также можешь писать код нуть те ответит что не так ну для
1:51:38
обучения Мне кажется вот если ты учишься то в чат гпт просто шли и уже локально
1:51:43
быстрее будет кстати без порек просто это то есть реально вот для
1:51:50
взрослых учащихся
1:51:55
Великая ты можешь учиться новой теме сходу Ну то есть я тоже там у меня Вот мои вот эти все странные хобби Ты знаешь
1:52:02
там про станочные иногда уходящие вообще в
1:52:07
удивительное там материаловедения ну и реально новую тему раскопать с
1:52:14
нуля то что обычно я бы там либо закапывал в какие-то суровые учебники
1:52:19
шестидесятых годов или этот ты задаёшь тупые
1:52:25
вопросы до бесконечности ты как бы тебе непонятно
1:52:30
тебе кажется что модель сказала Странно а ты слушай а почему вот это мне кажется нелогичным вот так и так и тебе это
1:52:37
объясняют это настолько круто но чтобы это работало надо уметь задавать
1:52:43
вопросы вот если ты как бы не умеешь спрашивать не умеешь понять что тебе
1:52:49
непонятно то это тебе не поможет пожа Ну
1:52:54
надо надо учиться да В общем тут в целом как с людьми тоже самое если ты не можешь спросить Так что тебя не понимают
1:52:59
то наверное то же самое такие же проблемы у тебя возникнут Какое у тебя Лёх мнение под конец хочу спросить вот
Как втянуться и попробовать LLM?
1:53:07
грубо говоря есть наверное среди слушателей особенно Мы перед эфиром вот говорили Лёха говорит что вспоминает
1:53:13
релизы которые в игровой индустрии были и у него сейчас таких рокн роль релизов
1:53:18
Нет более спокойны вот в игровой индустрии сидит куча программистов которы типа по уши заняты Ну типа просто
1:53:24
они там утонут они все задачи свои сядут делать 2 года подряд они не сделают их которые просто загружены по максимуму и
1:53:32
у них вот грубо говоря не хватает маны окна внимания сейчас чтобы сесть и
1:53:38
выкурить там я не знаю какой-нибудь пять тузов все попробовать попытаться интегрировать себе дали Как ты себе
1:53:44
представляешь оптимальный процесс вот для таких ребят которые ещё не попробовали чтобы въехать и вычленить
1:53:50
оттуда полезные практики для себя чтобы легче жить в этом пробовать А как то
1:53:56
есть вот я то есть давай так если мы говорим про работу то у меня в голову
1:54:03
сурово вбито что без разрешения работодателя рабочий код нельзя отправлять ни в одно Н вот это как бы
1:54:10
Суровое правило которое надо принять по умолчанию думать именно так потому что иначе ты можешь получить и кучу проблем
1:54:16
На работе но если работодатель за а ещ лучше если работодатель как горит
1:54:23
Господа программисты вот вам всем лицензия Пользуйтесь пожалуйста пользуйся то есть да по первости
1:54:29
непонятно по первости непривычно но банальный автокомплит от копилов тебе
1:54:36
жизнь Независимо ни от чего потом ты начнёшь задаваться вопросом а почему отдельно иногда автокомплит работает
1:54:42
хуже а иногда лучше может быть пойдёшь почитаешь документацию увидишь что оказывается автокомплит
1:54:49
использует все открытые вкладки в ВСС коде поэтому Типа если у тебя меньше открытых вкладок то он работает лучше не
1:54:56
очевидная штука но помогает Потом ты может быть посмотришь этот колот edits и
1:55:02
попробуешь Ну да по первости будет глупости Но пробовать иногда Почему нет
1:55:08
то есть настолько дешёвый цикл попробовал и этот Мы же все в сорс контроле как бы оно показывает див и
1:55:16
даёт тебе кнопочку настолько дёшево сейчас это попробовать что
1:55:22
из этого выйдет Я не вижу Причин почему нет я бы наверное какой-то ещё загуглил
Что можно посмотреть на ютубе
1:55:30
на тот момент на который вы слушаете этот подкаст загуглил на юту бы какой-нибудь там типа топ-10 фишек
1:55:36
курсор или топ-1 фишек пилота чтобы вам в видосе прямо показали что А вот так Я настроил компт а вот так я это использую
1:55:43
такой у меня хокей это всегда очень сильно выигрывает время потому что я сам ке как бы ну типа доке я прочитаю очень
1:55:50
не сразу И то если вспомнить а тут вроде человек для Вас как бы сделал и может будет полегче въехать в это всё
1:55:57
тогда ну есть я там могу посоветовать канал на ютубчик где чувак расписывает
1:56:05
прямо вот если делаете проекты с нуля то как правильно структурировать вот эти
1:56:10
все файлики с архитектурой файлики там это у него пря очень хорошие
1:56:18
видосы Давай приложим в описа сы да Угу
1:56:25
Да мы наверное про всё поговорили про что хотели вопрос слушатели мы ввели
Вопросы слушателей
1:56:32
прямо в план безшовна незаметно для Алексея Так что Миш Как у тебя вообще
1:56:39
дела-то у меня прекрасно так хорошо А если хотите есть Было пару вопросов в
Накапливаемость ошибок нейросетей
1:56:45
чате а давай давай так вопрос
1:56:52
Наско сечас актуальна проблема накапливайте информации говорят же что
1:56:58
начинается полная Жуть про то как ошибаются если их вовремя не поправлять
1:57:05
по сути Слушай вот моё мнение такое что надо
1:57:11
регулярно свать сбрасывать контекст то есть не надо использовать один чатик для
1:57:18
всего как бы вот каждый раз поди подожди
1:57:23
наверное вопрос ещё скорее в том что каждый раз когда ты задаёшь вопрос
1:57:29
университе она обучается по сути Нет нет нет совсем нет совсем нет то есть она от
1:57:36
тебя ничего не берёт тогда Подождите а почему тогда существуют полиси например Так
1:57:42
подожди подожди ёбана сейчас это самое Тут итератор
1:57:48
превращается ты значит Да ты что-то спрашиваешь работает
1:57:54
механизм инса это то есть оно предсказывает следующие символы в твоём
1:58:01
тексте ничего в самой модели не меняется при этом оператор вот этого модели API
1:58:09
Чего угодно может иметь полиси что типа но все запросы которые вы нам отправили
1:58:15
Мы имеем право использовать для дальнейшего обучения сетей когда они
1:58:21
будут тренировать следующую свою сетку Они возьмут и часть твоего кода прочего
1:58:27
загонят в обучающую выборку А вот почему нель окей да и не нулевая вероятность
1:58:34
что как бы после этого куски твоего кода или очень близкого к нему модель начнёт
1:58:39
выдавать по крайней мере в этом типа страх всех есть при этом важный момент
1:58:44
как бы который не стоит путать что тот же Open у него есть но — это фактически
1:58:51
рак То есть фактически он может
1:58:57
использовать он может решать из твоих текущих диалогов выделить отдельные
1:59:02
факты о тебе лично и записать как бы в текстовый Файлик и этот текстовый Файлик
1:59:08
потом подмешивать чтобы он что-то про тебя знал это не обучается на твоих
1:59:14
ошибках ни на чём таком моде действительном больше тебя чем длиннее у тебя тик тем больше
1:59:20
вероятно она не будет учитывать Да что она сойдёт с
1:59:25
ума Поэтому лучше всего использовать как
1:59:31
бы более короткие чаты у того же кда Ну и теперь ещё и Open есть Project когда
1:59:37
ты можешь загрузить типа в папочку документацию и в рамках как бы проекта и
1:59:43
дальше создавать новые чати в рамках этого проекта и он в рамках этих тиков даже может обновлять после этого части
1:59:50
этих документов в отдельных случаях И это прям чудесный
1:59:57
вариант но да просто вот этот как бы темная привычка у
2:00:02
нас один чат в которым мы переписываемся до бесконечности Ну не надо регулярно сбрасывать контекст вде причём можно
2:00:10
общаться с чатом гпт не про код просто вот в формате чата очень удобно чисто на кех и чисто у тебя панель и ты можешь
2:00:16
завести себе пром какие-то и грубо говоря ты не трогая мышку
2:00:22
новый чат легко с плейм пром который у тебя уже был например типа я тебе сейчас дам там цску А ты в ней что-нибудь вычли
2:00:30
и так далее вообще я в восторге это как бы странно не звучало это фича зда
2:00:35
который меня держит а код это уже вторично и никто у них до сих пор не сделал удобный на кех интерфейс общения
2:00:41
с нми по ключу видимо или я не видел или его нет но вди офигенно прямо вообще
2:00:48
какой-то мыше ненавистник всё на хоккея Ну удобно же хатки ты всё раз раз рынь
2:00:54
всё нажал Лёха а что ты Я сейчас мы ещё на час остаёмся в общем потому что я ше
Обучение нейросетей на своих же результатах
2:01:00
а а какая-то была тема про то
2:01:07
что с какого-то уровня модельки смогут генерить такой контент на котором можно
2:01:14
обучать следующие модельки не боясь что они будут сходить с ума и копить как бы в себе это безумие что там происходит Ты
2:01:21
знаешь Ну синтетические данные уже вовсю используются для обучения моделей
2:01:27
Да и получается китайцы идут в чат гпт герт синтетические данные для своей
2:01:33
потом во всех других моделях тоже для своей так все копят у сечас синтетические данные А слушай интересный
2:01:39
вопрос на самом деле Вот это классическое помнишь когда R1 запускали и его спрашиваешь Кто ты такой он
2:01:46
отвечает я Open а дадада и тут же крики а они типа украли Open АИ Что именно
2:01:52
украли никто не мог сказать но что-то наверное украли что-то точно Укра но
2:01:57
опять много-много-много данных ну типа текстов сгенерированных
2:02:02
моделями уже есть в интернете Угу г компании крупные скрепя от весь интернет
2:02:07
Угу как бы поэтому любой выборке очень много
2:02:13
заявлений я искусственный интеллект от ои я искусственный интеллект от Яндекс
2:02:19
там ещё кого-то Маруси и прочего подобного это просто естественно будет
2:02:25
попадать в выборку я могу сказать цифру у меня вот есть форум так в на форуме сейчас скажу
2:02:33
Сколько сообщений э 10 млн сообщений на форуме
2:02:39
ээ 340.000 тем в день в день сейчас его аиш
2:02:46
Скрепи А если все сложить где-то по 500.000 запросов примерно в сутки
2:02:52
нормально один ресурс один ресурс это все там КД Open все все всес обучаются я могу
2:03:00
это запретить но мне на самом деле не жалко Пускай там мне потом зачтётся это
2:03:05
зачтётся Это точно зачтётся может быть Получается ты как может быть Ты как У
2:03:11
Азимова в этот вй попал со своим форумом те кто успел сгенерить данных текстовых
2:03:17
до 2000 там какого-нибудь 18 года все мы попали в Foundation
2:03:22
В общем дада да потом будет интересно знаешь же сейчас как этот для точных
2:03:28
физических приборов достают металл со дна океанов от кораблей которые Были
2:03:34
потоплены до Второй мировой войны потому что до неё не было атомных испытаний и
2:03:41
сейчас фактически весь металл на Земле заражён радиа
2:03:51
океана Он супер ценен для сверх точных физических приборов А И вот Скоро твой
2:03:58
форум это будет как тот самый металл с одна океана сверхценные как бы чистые
2:04:04
данные до 2000 оди ламповый форум Да да возьми с
2:04:10
собой внучек скриптов Да я этих дома скриптов сгенерирует дед сам писал вотже Ну
2:04:19
примерно так да но глобально Я к тому что как бы да
2:04:25
используются выборки Да вовсю работают типа ну рионе вовсю обучаются как бы на
2:04:33
синтетически нных данных Да обучение учитель-ученик типа где учителем
2:04:40
выступает более крупная модель вовсю используется а дистилляция как техника
2:04:46
общая как бы Когда у тебя есть очень большая модель и Ты делишь из неё здание в более маленькую Ису фактически для
2:04:53
генерации обучающих там это есть это ВС вовсю
2:04:58
используется Мне нравится как Потом выходит этот Ян кун большой учёный
2:05:04
говорит презентацию что если хотите сделать Не занимайтесь мми вы ти
2:05:10
потратите Трансформерами Слушай извест
2:05:22
сказать так со временем двигается определение сильно вперёд каждый
2:05:27
раз Ну сейчас вот мы ВС ещё в состоянии когда у тебя какое мнение мы прошли тест
Прошли ли мы тест Тьюринга?
2:05:34
Тюрин или не прошли миллион Т назад уже настолько не актуален что просто это мы
2:05:42
его просто когда его проходили сначала типа было года про то что у него неправильная формулировка Давайте нам
2:05:48
правильну формулировку не дошли потом в итоге каждый остался при своё мнение и в итоге
2:05:55
в таком в не то не сё режиме мы пришли Когда Сейчас нам всем очевидно что мы уже давно прошли Слушай я мне
2:06:03
вот как бы Проси меня очень серьёзно я скажу что я вполне себе допущу то кто-то
2:06:11
из нас один троих Может сейчас полностью типа вот весь этот диалог генерировать аико вместе с видео Угу типа технология
2:06:19
уже там вот такой как бы Просто потрещать генерировать видео головы сидящей перед
2:06:25
монитором синхронизировать губы к тексту Ну никаких проблем это уже всё есть
2:06:31
Поэтому там не просто тест тьюринга а тест уже как бы этот видео звоночка Я думаю очень скоро если не Ещё
2:06:38
ещё не да э Миш там ещё второй вопрос да был если
Благодарности
2:06:44
ты не А нет я мы мы на него уже ответили это когда О’кей ладно что тогда 2 часа Мы уже
2:06:52
проговорили Я думаю что надо нам отпустить Лёху да то Лёха нам тут
2:06:58
офигенно всё рассказывал Короче я я супер доволен Мне очень понравилось во-первых с Лёхой поговорил раз в 1000
2:07:03
лет во-вторых лет 10 Мне кажется мы с тобой не общались
2:07:09
У нас есть с тобой чат специальный специальными людьми там каждый
2:07:16
день голосом редко к сожалению когда-нибудь
2:07:21
жить и будем чаще Спасибо Лёх большое Очень ты очень круто конечно Про это рассказываешь я не
2:07:28
знаю ты сам знаешь про это или нет но ты очень клёво про это можешь рассказать это прямо офигенно если кани Telegram
2:07:33
канал свой решишь снова возобновить то всеми руками за можешь сделать Бота который как ты пишешь твой этот канал на
2:07:41
самом деле вот я-то сижу и у меня ощущение Мне кажется я трещал некая и не
2:07:47
давал вам ничего сказать
2:07:58
гой диалог а потом спокойно до конца выпуска сидеть и это и и
2:08:05
радоваться так полим
Как Питчить Игры на следующей неделе
2:08:11
спасибо следующий выпуск у нас будет через 2 недели потому что мы немножко
2:08:17
сдвинули опять печи на следующей неделе как чи тигры э-э сейчас скажу есть ли у нас там места
2:08:25
возможно Нет Возможно даже нет мест Так что заявки не отсылай или отсылай но это уже будет на следующий на следующий эфир
2:08:33
как пич тигры А через неделю После него будет подкаст где вернётся ничипорчик с
Когда следующий подкаст
2:08:41
gdc так весь такой под впечатлением Да и расскажет нам хочешь Олег про gdc А ты
2:08:48
ешь на gdc я так это я смеюсь Нет я на не
2:08:58
[музыка] Еду БУ рассказывать Почему Вот приходи
2:09:04
Поспрашивай Алекса попытаешься
2:09:21
Даши планы Напоминаю что если вы захотите к нам прийти также в подкаст рассказать про интересное что-то что вы
Приходите к нам в подкаст
2:09:27
знаете и умеете как Алексей пишите на сайте cd.com есть
2:09:33
форма контактов можно написать я Вам отвечу через некоторое время и
2:09:38
организуем выпуск Да если вы конкретно например используете мки прямо для
2:09:44
разработки игр и каким-то вот способом особенным от того как мы сли уже сегодня поговорили супер интересно
2:09:55
УЗИ чтото может быть более интересно чем для тех кто именно игры делает Сейчас
2:10:01
подожди сечас как раз пойдут такие люди которые вот я ничего не понимаю ни в программировании ни в играх сделал игру
2:10:07
зарабатываю сотку баксов тысяч в месяц и мне норм Я слышал Есть один человек на
2:10:13
который как раз за деньгами едет
2:10:20
вот это надо почитать конечно то есть там как у людей бомбануло это ну обидные
2:10:28
Может они там делают десятками лет и не получается тут кто-то сделал на на шар суу Ну сделал же
2:10:36
молодец Всё Всем спасибо всем пока и Слава [музыка]
Завершение
2:10:41
роботам
2:10:50
счастливо L