В этом видео я покажу, как загрузить большие массивы данных, такие как книги и документы, в искусственный интеллект и заставить его работать максимально эффективно.
Вы узнаете:
- Как профессиональный промптинг помогает добиться точных и полезных ответов.
- Что такое RAG (Retrieval-Augmented Generation) и как векторные базы данных позволяют ИИ ссылаться на источники.
- Как сделать так, чтобы ИИ точно цитировал материалы, а не выдумывал данные.
- Как запустить автономный ИИ локально, без зависимости от облачных сервисов.
Если вы хотите использовать ИИ для профессиональной работы, улучшить обработку данных и создать безопасное локальное решение, это видео для вас!
Таймкоды
00:00:10 Введение в искусственный интеллект
- Миша рассказывает о технологии RTRG, генерация с дополнениями и извлечением информации.
- Обещает объяснить простыми словами, приводя примеры.
- Начинает с создания ассистента на основе ИИ, используя систему Deviar.
00:01:26 Создание ассистента
- Пример создания ассистента на основе писателя Эриха Марии Ремарка.
- Ассистент должен отвечать цитатами из книг “Триумфальная арка”, “Три товарища”, “Возле ближнего”.
- Настройка глубины беседы и добавление изображения для реалистичности.
00:03:22 Проблемы с точными цитатами
- Модель GPT-4 не может точно цитировать, несмотря на свою мощность.
- Проблема актуальна для всех ассистентов с ИИ.
- Пример с юридическим ассистентом, где точные цитаты важны для работы.
00:05:50 Решение проблемы с точными цитатами
- Добавление документов в промт для улучшения точности.
- Проблема с большими промтами, которые усложняют работу модели.
- Пример с бывшим директором Google, который обсуждает проблемы с контекстным окном.
00:08:38 Структурированные данные
- Добавление структурированных данных для улучшения работы ИИ.
- Проблема с ограничением контекстного окна и токенизацией.
- Пример с Библией, которая занимает много места и не всегда корректно обрабатывается.
00:10:04 Решение проблемы с большими данными
- Добавление возможности работы с выделениями и абзацами.
- Преобразование информации в специальный формат для работы с ИИ.
- Пример с проектом Deviar, где информация преобразуется в формат, понятный ИИ.
00:11:17 Проблемы с большими промтами
- Большая языковая модель принимает только чистый текст.
- Проблемы возникают при больших промтах, когда данные середины выпадают.
- Пример с Эрихом Марией Ремарком, который придумал несуществующую цитату.
00:12:12 Решение проблемы с промтами
- Использование формата маркдаун для профессионального промтинга.
- Возможность копирования данных из любого источника.
- Инструмент для работы с промтами, который помогает структурировать данные.
00:13:44 Тестирование и проблемы с моделями
- Возможность тестирования промтов на месте.
- Проблемы с моделями Google Gemini и G54 Mini из-за большой нагрузки.
- Модели с большим контекстным окном, такие как Gemini 1.5, могут обрабатывать большие промты.
00:14:54 Стоимость использования моделей
- Большие промты требуют значительных затрат.
- Возможность точного расчета стоимости использования моделей.
- Локальные модели бесплатны, но менее эффективны.
00:16:17 Проблемы с маленькими моделями
- Маленькие модели не справляются с большими промтами.
- Пример с моделью GEM2 с 9 миллиардами параметров.
- Модель не может обработать информацию из-за ограниченного контекстного окна.
00:17:54 Проблемы с большими моделями
- Большие модели, такие как G54 Mini, справляются лучше.
- Проблемы с превышением ширины контекстного окна.
- Модель сигнализирует о проблемах, если контекстное окно превышено.
00:19:07 Проблемы с большими проектами
- Большие проекты требуют много информации.
- Пример добавления промта для ассистента.
- Ассистент работает с большим промтом, что влияет на его ответы.
00:20:34 Анализ данных и проблемы
- Показан процесс анализа данных, отправленных в модель ChatGPT-5.
- Обсуждаются проблемы с отправкой больших объемов данных, которые не всегда нужны.
- Необходимость нового решения для оптимизации работы модели.
00:21:21 Отправка запросов и взаимодействие с ИИ
- Показана общая схема отправки запросов в модель ChatGPT-5.
- Вводятся переменные для хранения данных и документов.
- ИИ должен понимать контекст беседы, чтобы не повторять приветствия.
00:22:20 Добавление ссылок и актуальность данных
- Возможность добавления ссылок на сайты для автоматического отслеживания данных.
- Это помогает поддерживать актуальность данных в реальном времени.
- Решение работает в тестовом режиме и позволяет отслеживать три страницы сайта.
00:24:17 Контроль затрат и проблемы
- Инструмент для контроля затрат на запросы и данные.
- Проблемы с высокой стоимостью и сложностью поддержания данных.
- Необходимость новых решений для развития ассистентов и работы с ИИ.
00:25:08 Векторная технология встраивания
- Объяснение технологии векторного встраивания.
- ИИ работает с текстом, но внутри использует векторы.
- Большие языковые модели перерабатывают огромные массивы информации для анализа и предсказания смыслов.
00:27:50 Мерность и встраивание
- Объяснение мерности и встраивания в моделях.
- Показано, как модели используют вектора для предсказания смыслов.
- Вектора помогают ИИ лучше понимать и анализировать данные.
00:28:37 Восприятие пространства
- Мы живем в трехмерном пространстве, которое воспринимаем.
- Одномерный мир позволяет двигаться только по одной линии.
- Двумерный мир состоит из бесконечного количества одномерных пространств.
- Трехмерное пространство включает высоту, ширину и глубину.
00:29:38 Н-мерное пространство
- Н-мерное пространство состоит из ортогональных векторов.
- Нейросети обучаются, перерабатывая большие массивы данных.
- Пример: слово “привет” превращается в массив данных в Н-мерном пространстве.
00:30:38 Преобразование данных
- Нейросеть превращает объекты в вектора, такие как вкус и цвет.
- Веса нейросети представляют собой огромные массивы данных.
- Данные разбиваются на блоки и шифруются в специальное представление.
00:34:20 Квантование
- Квантование уменьшает точность весов, делая их компактными.
- Это позволяет запускать модели на менее мощных устройствах.
- Квантование размывает точки в Н-мерном пространстве.
00:36:18 Группировка объектов
- Объекты группируются в схожие области в Н-мерном пространстве.
- Положительные и отрицательные явления находятся в разных точках.
- Языковая модель находит ближайшие смыслы к введенному запросу.
00:37:24 Семантический поиск
- Семантический поиск находит ближайшие смыслы по запросу.
- Принцип основан на вычислении косинуса угла между векторами.
- Точки в Н-мерном пространстве представляют собой смыслы, которые легко найти.
00:40:11 Обучение больших языковых моделей
- Процесс обучения больших языковых моделей сложен и включает внутренние механизмы.
- Модель оперирует в многомерном пространстве, что позволяет вместить любую информацию в точку.
- Чем выше мерность, тем точнее семантический анализ данных.
00:41:56 Использование векторов для работы с данными
- Технология работы с векторами позволяет использовать большие данные.
- Создана возможность добавлять базы данных в векторы для работы с ИИ.
- Процесс создания баз данных включает использование специального инструмента.
00:43:25 Создание и загрузка баз данных
- Визуальное оформление для создания векторных баз данных.
- Пример создания базы данных для персонажа Эриха Марии Ремарка.
- Загрузка книг в базу данных и их преобразование в вектора.
00:46:11 Тестирование и результаты
- Тестирование базы данных на примере цитаты из книги Ремарка.
- ИИ находит и объясняет цитаты, используя векторные данные.
- Уменьшение потребления токинов при использовании векторных баз данных.
00:48:08 Подключение и использование баз данных
- Подключение базы данных к ИИ и удаление ненужных документов.
- Тестирование запроса с использованием векторной базы данных.
- Улучшение качества ответов и снижение потребления токинов.
00:50:01 Заключение
- Возможность создания и использования нескольких баз данных.
- Подключение баз данных к ассистенту для улучшения его работы.
- Демонстрация работы технологии с векторными базами данных.
00:50:38 Преобразование данных в векторную базу
- Документы переводятся в специальную модель искусственного интеллекта.
- Векторная база данных сохраняет данные в виде векторов.
- Пользовательский запрос преобразуется в вектор и сравнивается с векторами из базы данных.
00:51:36 Применение векторной базы данных
- Векторная база данных позволяет искать и дополнять текстовые запросы.
- Можно загружать не только текст, но и фотографии, аудио и другие данные.
- Пример: сканирование сетчатки глаза для доступа в лабораторию.
00:52:23 Будущее векторного представления данных
- Векторное представление данных позволяет создавать системы доступа и контроля.
- Фотографии и другие данные преобразуются в векторы для поиска.
- Прогнозируется миграция больших данных в векторное представление.
00:54:20 Локальное использование моделей
- Возможность использования локальных моделей без необходимости больших моделей.
- Автоматизация процессов на предприятиях с использованием автономных серверов.
- Пример: использование модели Gemma 2 для автономного решения.
00:57:03 Законодательные аспекты хранения данных
- Законодательство требует хранения данных в центрах обработки данных.
- Локальное хранение данных не нарушает законодательство.
- Пример: проект Deviar, сертифицированный для хранения данных.
00:59:48 Заключение
- Локальное хранение данных позволяет соблюдать законодательство.
- Deviar зарегистрирован как центр обработки данных и сертифицирован.
- Завершение прогулки по технологиям больших языковых моделей.
01:00:33 Работа с векторной базой данных
- Использование чистого текста для загрузки данных в векторную базу данных.
- Преобразование документов в чистый текст для предотвращения шума в базе данных.
- Структурирование сложной информации в виде таблиц для лучшего понимания.
01:01:34 Загрузка информации в базу данных
- Объяснение, какую информацию загружать в базу данных.
- Пример с инструкцией к пылесосу, где статичная информация загружается в векторную базу данных.
- Быстро меняющаяся информация добавляется в другие ячейки для актуальности.
01:03:31 Новые функции в конструкторе ассистентов
- Возможность рисования изображений и получения текстовых ответов.
- Функция лайков и дизлайков для улучшения ответов.
- Нейросеть самообучается на основе комментариев пользователей.
01:05:27 Тестирование и обратная связь
- Нейросеть программирует себя на основе замечаний пользователей.
- Тестирование новых функций в первой альфа-версии.
- Призыв к обратной связи и участие в телеграм-группе для обсуждения идей.
Ссылка – таймкоды сделаны при помощи Яндекс Браузера https://browser.yandex.ru/
Расшифровка видео
Поиск по видео
0:10
Всем привет это Миша естественный интеллект и сегодня будем разговаривать про искусственный
0:17
интеллект будем рассматривать одну проблему которую пытаются решить очень
0:24
многие это так называемая технология
0:30
генерация с дополнениями с дополнительным извлечением информации расскажу про то как это работает
0:37
постараюсь сделать это простыми понятными словами постараюсь Привести какие-то примеры для того чтобы это было
0:43
просто и Понятно Потому что много кто сейчас об этом пишет но везде написано очень сложно непонятно невнятно поэтому
0:51
буду рассказывать По личному опыту как я разобрался понял как я запустил эту
0:56
штуку как она работает всё про смотрим проверим протестируем начнём с простых вещей
1:04
начнём с пром когда мы создаём ассистентов работаем с искусственным
1:09
интеллектом мы придумаем для него инструкцию эта инструкция называется промт мы сейчас
1:16
будем создавать допустим есть такой писатель Эрих Маримар
1:28
немецкий можно делать в любой другой системе в которой поддерживается создание ассистентов с искусственным
1:34
интеллектом но так как я разрабатываю экосистему др буду показывать на ней но
1:41
это принцип один и тот же везде Вот вот мы смотрим как создаётся наш будущий Ассистент я уже
1:49
подготовил промт чтобы не тратить Слишком много времени просто говорит что ты писатель
1:55
Эрих Мария ремар ты знаешь все свои книги там все свои ответы построи из следующих книг Триумфальная арка Три
2:02
товарища возле ближнего перечислил его книжки И на любой вопрос он должен не просто давать ответ но также подкреплять
2:10
свой ответ конкретной цитатой из книги здесь мы напишем там
2:15
Привет я писатель Эрих Ария
2:22
Ремарк здесь мы регулируем глубину нашей беседы что это такое я
2:28
рассказывал немножко тоже разговоре расскажу выберем
2:33
G4 создаём беседу Вот она у нас уже создано я ещ загружу изображение чтобы
2:40
более похоже было на то что нам нужно вот у нас получился креатив Пусть будет у нас
2:48
повыше вот наш писатель Эрих Мария мы уже можем с ним работать
3:00
промт и этот промт это его роль то как он должен себя вести как он
3:07
должен отвечать на основании чего и в принципе вспомните ещё те времена когда
3:13
были такие целая мода была на пром были такие книжки записные в которые все добавляли эффективные проты для каких-то
3:21
задач здесь вот из того что я показал
3:30
у больших языковых моделей более экономно работают с английским языком Но это также не принципиально важно Всё мы
3:37
уже всё сделали и всё готово уже можно спросить Ремарка например вот по книге
3:45
Триумфальная арка а там была такая цитата про любовь которая не является зеркальным прудом в
3:52
которой можно вечно смотреться спросим об
3:57
этом что имел в виду равик
4:04
рассуждая про любовь которая не зеркальный
4:12
пруд Дай
4:21
цитату Ну вот смотрим нам отвечала gpt 4o mini а
4:30
что мы видим он рассказывает что в Триумфальной арке равик размышляет о любви как о чём-то более глубоком То
4:37
есть он поясняет цитата смотрим Любовь – это не зеркальный пруд Это нечто большее Это
4:44
нечто что мы создаём вместе Что требует от нас усилий и понимания друг друга я вам
4:50
скажу об этом следующее такой цитатой в этой книжке нет потому что точное
4:56
звучание цитаты любовь не зеркальный пруд который можно вечно смотреть у неё есть свои приливы отливы и там дальше
5:02
дальше дальше то есть мы видим что Несмотря на то что модель очень большая модель gpt 4o Mini это
5:11
практически ведущая модель мировая но тем не менее она играет роль Ремарка То
5:17
есть она взялась за работу всё она отвечает
5:23
старательно как бы близко к смыслу но цитаты дать не может и
5:29
Ну в итоге мы не можем работать с нейросетью полноценно И на самом деле
5:35
это проблема у всех ассистентов с искусным интеллектом Где бы они не создавались вот Итого У нас есть
5:41
проблема а ни одна модель не может давать точные цитаты э чего бы мы не
5:48
запросили А Это принципиально важно Ну вот например если мы создаём а юриста Да вот юридическое право Оно
5:56
настолько тонкое и сложное что там даже важно как подобранные слова в том или ином
6:03
законе или там какой-то статье И если мы не получаем точных цитат то мы не можем
6:11
создавать полноценного ассистента допустим юриста потому что это просто будут общие слова это несерьёзно и так
6:17
конечно работа идти не должна хорошо ладно допустим он не
6:24
справился но я захотел чтобы он вс-таки мог как-то
6:30
Ну всё-таки мог мне давать точные цитаты что мне для этого можно сделать я могу попробовать загрузить в него документ
6:37
когда я буду в него загружать документ Этот документ просто добавится к пром И на
6:43
самом деле этот промт просто станет очень большим большой промт это всегда плохо сейчас расскажу почему это
6:51
плохо Добавил я также возможность также возможность добавлять
6:57
большой промт увеличивать его размеры вот вот вот в этих кнопочки здесь фактически я добавил редактор редактор в
7:05
котором мы можем как в Ворде создавать для чего это нужно для того чтобы когда у нас вот такой вот маленький промт
7:12
который просто говорит о том что вот такая вот роль у тебя а проблем никаких нету но когда мы сюда начинаем загружать
7:19
большие данные А у нас возникает сложность поддерживания
7:24
этих данных а промт становится гигантским
7:31
и модель языковая модель начинает в ней путаться об этом даже говорил директор
7:37
бывший директор Гугла Сейчас я включу как это Эрик Шмидт
7:44
его зовут Вот это интервью и вот почему контекстное окно
7:49
по сути можно использовать как кратковременную память и я был потряс М что контекстные окна становятся такими
7:56
длинных при с обслуживать сложно вычислять и так далее
8:02
самое интересное в кратковременной памяти – это то что когда вы даёте ей задание прочитать 20 книг отправляя ей
8:09
тексты этих книг в качестве запроса а затем спрашиваете что в них написано она забывает середину А ведь именно так
8:16
работает и человеческий мозг что касается агентов и и сейчас есть люди
8:21
которые создают Ну и так далее То есть что мы здесь должны услышать из его речи
8:27
услышать мы должны следующее он говорит что мы Конечно можем в этот промт
8:32
добавить больше документов можем вот я добавил Тут ещё таблички например Зачем нужны таблички для того чтобы добавлять
8:40
какую-то структурированную информацию в отличие текста чтобы искусственный интеллект и ишка понимала ассистент и
8:46
могла работать с какими-то структурированными данными но мы упирается в проблему во-первых проблема
8:53
связана с тем что контекстное окно оно не резиновое допустим для вот этой
8:59
модели gpt 4o Mini 128.000 токенов Э что такое токены это –
9:06
э э ну несколько символов зачастую английского текста а и при этом русский
9:14
текст всегда съедает больше токенов чем английский потому что все
9:21
[музыка] токенизация
9:27
токенов – это допустим Не знаю 80.000 каких-нибудь
9:34
слов какой-нибудь книги для примера Я смотрел не по словам по строкам могу
9:39
сказать вся Библия в текстовом виде вот у меня есть весит 10 мегабайт и в ней
9:47
90.000 строк то есть вот для примера Чтобы понимать вот э Большая книжка которую можно читать всю жизнь Вот и
9:54
можно е конечно вставить нам сюда просто как документ но
9:59
проблема будет Вот та о которой Сказал только что бывший директор Гугла
10:05
проблема в том что большой промт работает плохо во-первых если мы будем
10:11
добавлять большой промт вот таким образом это будет каша и и не
10:16
понимает разделение блоков потому что в большой информации Там же есть главы
10:21
статьи заголовки это всё очень важно и оно должно влиять на выдачу и на
10:27
корректность ответа большой языковой модели искусственного интеллекта Вот для этого я сюда добавлял такую возможность
10:34
чтобы можно было работать с выделениями с абзацами там с с тем чтобы
10:41
текст можно было как-то разделять и таким образом мы частично решаем эту
10:47
проблему В итоге вот эта информация сохраняется в специальном формате Mar называется И после этого с такой большой
10:55
информацией и вс-таки уда работать
11:01
все равно вот таким вот образом Сейчас я покажу вот с левой стороны я добавляю информацию допустим про проект DVR с
11:09
правой стороны эта информация преобразована специальный формат который понимает искусственный интеллект большая
11:15
языковая модель для чего я использую формат Mar справа для того чтобы большая
11:21
языковая модель на вход принимает чистый текст мы не можем ему отправить там HTML PD некоторые люди думают что отправляют
11:29
они отправляют не ПДФ а извлечённый текст из этого документа Вот и вот этот
11:34
вот эти данные которые с правой стороны мы видим они будут пониматься ишков Кать правильно корректно
11:42
информацию из любого кусочка но как сказал опять же вот в показанном видео
11:47
бывший директор Гугла проблема возникает когда у нас этот пром становится большим большим большим большим выпадают данные
11:55
середины мы добавляем какую-то информацию а она спрашивает Не наш и ассистент молчит
12:03
либо начинает гонить как мы только что видели Ури Мари Ремарка который придумал цитату слюни её которая не существует во
12:10
всём его творчестве то есть в предыдущем мо видео мы решали проблему с большим
12:16
пром за счёт формата Mar за это время я сделал целый инструментарий такой
12:23
который помогает пром профессионально здесь мы можем добавлять копировать
12:30
источника можем копировать любые данные сечас Какие данные там любой
12:36
абсолютно сайт даже отсюда там может быть просто
12:42
копируем любой текст любую информацию
12:47
скопировали и просто её вставляем сюда в свободном режиме вот я вставил она сразу
12:53
же отформатировано и здесь она также ставилась но уже в том формате в котором
12:59
будет её понимать ишка на входе если мы отправляем эту информацию в открытом виде в виде
13:10
промтара вот этой вот длиной контекстного окна мы уже можем допустим здесь я сделал вот этот инструментарий
13:16
Сейчас я покажу как я на него перешёл вот здесь есть с левой стороны ключик если мы нажмём мы перейдём вот в большой
13:22
вот Вот в такой вот большой инструмент для работы с промтара таем с пром
13:29
профессионально создавая структурированные данные понятные большой языковой модели искусственному
13:34
интеллекту А здесь можем работать потом если мы здесь в процессе работы мы можем
13:40
тестировать выбираем нашу модель задаём вопросы он нам отвечает допустим
13:47
там о тарифах допустим
13:55
тестировать то есть мы в нашем инструменте здесь имеем возможность
14:00
сразу же всё это тестировать прямо на месте не возвращаясь обратно сюда а
14:06
прямо Вот здесь единственное вот я сейчас тестирую Сегодня у
14:11
нас почему-то сбоит немножко Google Gemini и gpt 4i большая
14:17
нагрузка видимо на их сервера сегодня Ну вот он ответил мы смотрим Что он прочитал наш Документ и дал мне ответ
14:23
также разбил по категориям
14:29
Я выбрал ни полтора фш У неё 1 млн токенов контекстное окно Это конечно
14:34
очень большое контекстное окно больше чем у gp4 о Mini у него
14:40
128.000 и это то про что говорил опять же тут директор бывший директор
14:45
Goog вот этот вот гигантский размер контекстного окна они добавили этой весной а в мае Они вообще
14:52
пообещали 2 млн токенов Но от этого проблема не меняется потому что как
14:57
выпадали данные середи несмотря на вот эти все технологии очень крутые там у них динг позиции и само внимание Да оно
15:07
по-прежнему работает Не идеально и мы видим Сколько уже на данный момент
15:12
съедает наш большой промт токенов вот 9402 токена съел мой вот этот вот промт
15:19
и вот чего он мне стоил уже сколько я оказался должен за один вопрос Расскажи
15:25
о тарифах сколько Я спалил уже денег здесь ищет сколько отправлено сколько
15:31
получено общая сумма то есть мы э создавая здесь промт можем очень чётко
15:37
понимать сколько мы будем тратить денег на то чтобы пользоваться вот данной
15:43
конкретной моделью здесь я добавил и свои собственные модели они развёрнуты
15:48
локально Они полностью бесплатны но у них не такая хорошая скорость они не
15:54
такие большие потому что у разных моделей есть такое понятие как веса то
15:59
насколько модель большая и вот эти модели локальные они гораздо меньше значительно в десятки в сотни раз меньше
16:06
больших моделей таких как Google J или gpt 4 от openi но зато они бесплатные и
16:14
пока я их отдаю бесплатно пока нагрузка не очень большая видеокарта выдерживает
16:20
можем использовать вот ну ответы конечно будут похуже мы можем выбрать Там какую-нибудь
16:26
дму 2 маленькую с двумя миллиардами протестировать как она ответит но я
16:32
предполагаю что она может ответить значительно хуже вот сейчас посмотрим при этом опять же Смотрим
16:38
А вот она вообще настолько плохо ответила на английском языке что-то
16:44
попыталась э в общем Никуда не годится слишком маленькая попробуем эту же
16:49
модель джема 2 выбрать с дев миллиардами параметром параметров и дать ей то же
16:55
самое задание Сейчас посмотрим как отреагирует
17:00
моделька побольше от этого же производителя уже даёт ответ но мы видим
17:06
что она у нас не смогла дать ответ на поставленный вопрос при том что Ответ
17:11
здесь есть по тарифам вот в чём проблема Проблема в том что у этой модели гема 2
17:17
9 млрд весов у неё маленькое контекстное окно 8192 а так как у нас вот здесь
17:24
информации больше мы превысили размер контекстного окна она резала В итоге
17:30
модель не смогла его обработать И забрала только 30 первых токенов из
17:37
отправляемого материала В общем такая работа конечно Никуда не годится то есть понятно что с большим протом маленькие
17:43
модели вообще работать практически не могут можем ещё поэкспериментировать взять что-то ещё побольше кн например 2
17:50
с по здесь 14 млрд весов это разработка китайская
17:56
по-моему аба её сдел вот эту модельку Сейчас посмотрим ей надо время
18:02
запуститься Сейчас она запустится загрузится посмотрим что она нам скажет И как она отреагирует и отработает на
18:08
вот этом большом нте мы пока ждём сейчас я просмотрю А так Итого у нас что
18:15
получается Какие проблемы пронт большой это дорого это нестабильно а тоже самое
18:23
не смог То есть как только как только моделька чуть меньше и промт большой э
18:29
он теряет информацию не может на неё ответить Ну gpt 4 Mini допустим сейчас протестируем Вот и путается люци они ет
18:38
даёт неверную ненужную информацию вот gp4 Mini отработала сразу же всё нашла
18:43
всё прочитала всё выдало всё проблем никаких нету то есть чем больше конечно модель опять же видим сколько у нас эта
18:50
модель съела денежек всё сразу можем оценить если есть
18:56
превышение ширины контекстного окна Вот это всё о кошко станет красным я сделал для того чтобы модель явно говорила о
19:03
том что есть проблема и её нужно решать а Какая ещё проблема смотрите вот когда
19:09
у нас много информации здесь а мы добавляем всё обо всём всё на свете э
19:16
если проект Большой Допустим или какой-то у нас ассистент сложный то мы о каждом проекте рассказываем А И это всё
19:23
на самом деле гоняется в каждом запросе то есть вот сколько мы будем писать нашему ассистенту
19:30
столько будет гоняться весь наш вот этот промт тот большой промт Вот например вот то что я сейчас показывал Я сейчас могу
19:37
добавить в нашего ассистента как это можно сделать я могу нажать на робота Вот Мы создали Эх
19:44
Мари добавить и сейчас этот промт уже отправлен сюда то
19:53
есть если Сейчас проверю я вижу что в нём вот здесь появилась галочка если мы откроем то мы увидим вот этот вот
19:59
большущий промт и теперь наш ассистент работает не только с вот этим вот описанием роли но и с большим большим
20:06
большим промпто я корректирую беседу А например спрошу ещё по Триумфальной
20:12
арке А расскажи Кто такой
20:18
правик подождём посмотрим что он ответит а потом покажу как это выглядит внутри
20:24
когда это всё отправляется в большую языковую модель
20:34
вот дал Он мне ответ всё хорошо всё в порядке Сейчас я нажму сюда и есть у нас
20:39
здесь такая ссылочка анализ анализ вот показывает Какая информация отправилась в нашу модель gp4
20:47
Mini вот наше описание которое мы описывали в начале вот наш начальный промт А дальше присоединился
20:53
присоединилась информация из того файла который мы загрузили и смотрим Сколько информации туда идёт то есть уже большой
21:00
кусок большой Вот мой вопрос который я задал и вот мой ответ ответ от модели
21:06
которую я получил В итоге а вот вот здесь вот я получил ответ и здесь от
21:12
модели Я получил Сколько токенов сожжено сколько средств потрачено то есть вот эту всю информацию Можно контролировать
21:18
но проблема в чём ещё Проблема в том что во-первых сколько бы я не писал сейчас
21:25
нашему Ассистенту снова и снова Ассистенту будет отправляться вот этот здоровенный файл который фактически
21:31
и не всегда то нужен потому что здесь рассказано буквально про всё при этом
21:38
мои вопросы допустим могут касаться только очень малой части от того что я сюда на добавлял и это проблема Это
21:46
дорого это вызывает путаницу потому что частично информация может выпадать как я показывал там
21:51
предварительно поэтому Понятно становится что нужно какое-то другое решение сечас я покажу
21:59
закрою Как это работает то есть вот допустим таким образом показана общая схема отправки запросов в модели
22:07
искуственного интеллекта Chat gpt 4 Omni А у него есть специальная переменная как
22:13
бы ячейки в первую переменную мы отправляем наш промт присваиваем нашу роль и добавляем все документы которые
22:19
нам нужны А дальше мы отправляем уже всю нашу беседу с искусственным
22:25
интеллектом с нашим ассистентом Здесь всё что написал пользователь ВС что ответил ассистент в ответ Следующее
22:32
сообщение что это и для чего это нужно это нужно для того чтобы чтобы в процессе общения моего
22:39
искусственный интеллект понимал о чём мы с ним беседуем чтобы он не здоровался со мной каждый раз снова и снова я ему
22:45
написал привет а он если он раньше со мной здоровался то он не должен здороваться повторно и если раньше мы
22:50
какую-то тему обсуждали он должен помнить эту тему но как таковой памяти у него нет Поэтому при каждом запросе
22:58
Вот это отправляем Вот это допустим да большой какой-то документ сюда можем загрузить документ сюда можем документ
23:05
просто здесь отличие Вот здесь мы просто документ загружаем вордовский допустим А здесь мы можем корректировать любой
23:11
момент и таким образом поддерживать актуальность данных Ну понятно сюда можем добавлять
23:17
ещё таблички какие-то с какими-то прайсы ещё что-то я здесь ещё добавил ещё одну вещь
23:22
это возможность добавления ссылок на сайты вот вставляем любые ссылки на любую страничку нашего сайта и он будет
23:30
запрашивать информацию ещё из этих страничек сайта чем это хорошо тем что если у вас есть такие странички которые
23:36
часто меняются и вам нужно актуальные данные и вы не хотите вручную где-то здесь эти данные периодически вносить то
23:43
вот это решение вот это ссылочное оно позволит вам автоматически отслеживать
23:48
пока я дал возможность три странички любого сайта могут отслеживаться
23:53
искусственным интеллектом вашего Ассистента в реальном времени это очень удобно посмотрим развивать пока это ВС в
23:59
тестовом режиме работает вот что у нас получается
24:05
Итого У нас есть проблема Да я уже много назвал причин этой проблемы это и
24:11
стоимость и плохая работа и сложность поддержания данных и итоговая цена на
24:16
пром кстати опять же по каждому запросу вот мы смотрели да заходили в анализ смотрели что у нас куда отправилось как
24:23
оно выглядело Какой его размер обм тоже самое
24:29
это быстрый инструмент он показал что у нас в этой модели 128000 токенов контекстное окно ширина отправлено у нас
24:35
уже 10316 токенов в одном запросе получено 591 токен и вычитаемое мы не работаем
24:43
вслепую мы видим сколько модель тратит наших средств и контролируем этот момент
24:48
В любо в любое время Ну вот и всё то есть э вот
24:53
проблема меня очень долго беспокоила потому что как двигаться дальше как
24:59
развивать ассистентов Как делать надёжные хорошие ассистенты И вообще работать с искусственным интеллектом
25:06
если у нас такие большие проблемы Ну и одной из одним из решений этих проблем
25:12
является технология векторная технология встраивания
25:17
кстати вот я когда ещё разбирал документацию чата gpt от openi и смотрел
25:24
их все модели которые они дают я обращал внимание что у них есть интерес мо вот
25:29
таки что это за модели вообще непонятно зачем они нужны Сейчас я расскажу зачем
25:35
они нужны как это всё работает скажу
25:40
следующее Мы привыкли что искусственный интеллект общается с нами словами и
25:46
когда мы создаём мты мы отправляем в виде промпто слова на русском языке на английском языке если мы загружаем
25:53
документы это ВС равно текст Откуда бы он не излел с загруженного или с
25:59
какой-то базы какой-то своей или с таблички или По ссылкам методом парсинга
26:05
неважно всё равно идёт в искусственный интеллект в большую языковую модель В
26:11
трансформер идёт чистый текст но на самом деле внутри искусственный
26:17
интеллект работает иначе вот Многие знают вот я сейчас опять же упоминал что есть разные модели они разного размера
26:25
есть большие модели допустим gp3 и 5 Turbo вот которая была первой из
26:31
популярных моделей Open ai у неё 175 миллиардов параметров если я не
26:38
ошибаюсь вот модельки которые доступны бесплатно которые я развернул на сервере
26:43
на собственном сервере на на видеокарте А у неё у этих моделей Вот 9b это 9 млрд
26:50
22 млрд в мистрали и меньше чем меньше тем хуже она работает Так что такое
26:55
вообще сами эти веса почему чем больше и крупнее модель тем лучше Она
27:02
работает Дело в том что в процессе обучения любая большая языковая модель
27:09
она перерабатывает огромную огромный массив информации и этот массив информации она как бы Впитывает себя
27:15
вырабатывая вот эти все свои суждения рассуждения обучаясь анализировать
27:21
сопоставлять и фактически любая нейросеть на самом деле языковая это не
27:27
источник знаний это не поисковая система А это статистический анализатор данных то есть всё что она делает это
27:33
предсказывает слова э исходя из того А на каком объёме данных она обучена
27:41
Исходя из этого э у неё возникает способность угадывать
27:48
смыслы предсказывать смыслы то есть Мы помним Да что большие языковый модели Это тот же самый Т9 который предсказывал
27:54
слово только сейчас он предсказывает не слово а целые абзацы и всё это работает
28:01
на самом деле внутри за счёт вот этих весов а веса – это фактически динг беддинг встраивание – это специальные
28:08
вектора Сейчас я покажу что это такое то есть вот мы просмотрели что оказывается э openi используют ещё некие модели Вот
28:16
вот они такие вот интересные зачем они нужны непонятно одни из параметров этих моделей которые они указывают это их
28:24
мерность мерность Что такое мерность а сейчас
28:30
расскажу сейчас расскажу и Даже покажу сейчас я открою
28:36
А мы знаем что мы живём в три в трёхмерном пространстве которое мы
28:42
способны воспринимать есть одномерный мир допустим это линия в номерном мире
28:47
Если бы жил какой-то персонаж он бы мог сдвигаться только по одной линии влево вправо допустим если это однор мир
28:55
допустим X да есть двумерный мир это уже мир Плоский
29:01
Да вот мы знаем мультик S вспоминаем нарисованная мультяшные
29:08
персонажи на плоскости получается в двухмерном мире он состоит из бесконечного количества
29:16
одномерных пространств Ну и все знают трёхмерное да представление XY то есть благодаря ещ
29:24
одной мерности мы получаем совершенно другой опыт у нас уже есть там высота ширина глубина мы способны на Вот это
29:31
трёхмерное восприятие Ну и это в принципе всё на что мы способны Да вот 3D 3D
29:40
представление То есть фактически Это что такое Это мерность – это ортогональные
29:47
вектора которые всегда перпендикулярны друг другу и на основе этого мы выстраиваем некие пространства и всё что
29:55
мы способны воспринимать фактически строится состоит из неких точек в этом мерном пространстве А вот они здесь
30:02
показаны так вот что я могу интересно вам рассказать по этому поводу дело в
30:07
том А что есть что как сама нейросеть большая
30:14
большая языковая модель так и нейросети для специализированные вот эти динги они
30:20
когда обучаются то есть например вот Большая языковая модель обучается перерабатывая огромные массивы данных
30:26
она их превращает специальный формат вот как формат этот
30:31
выглядит на этом экране я показал Как выглядит в одной из таких моделей слово
30:38
привет Посмотрите вот я написал слово привет И оно выдало мне огромный массив каких-то странных данных Да что это за
30:45
данные такие выглядит реально пугающе на самом деле всё что
30:51
сделала ишка она превратила мо слово в точку в меном пространстве вот в данном
30:58
примере я использую нейросеть которая оперирует мерным пространством
31:03
представляете то есть модель настолько много знает о мире или в
31:09
процессе обучения модель вырабатывает для себя некое мерное восприятия Ну для
31:15
примера простой пример там яблоко Да у него есть параметры с человеческой точки зрения у яблока есть там размер цвет вес
31:22
вкус кислый сладкий целый ряд параметров которые У
31:28
нас вот мы описываем словами А нейросеть же все объекты в мире превращают в некие
31:35
в некие вектора Вот вот эти вот как x y z только она строит Вектор там Вектор
31:40
вкуса Вектор цвета допустим да условно потому что точно никто не знает как она это делает Я не нашёл никакой понятной
31:47
информации о том как фактически росет строит вот эти мерные вектора у себя внутри в процессе обучения А И вот мы
31:55
получаем тогда То есть фактически Виса ро сети это
32:02
просто огромные массивы Вот таких вот данных то есть всё что она обучает всё
32:09
что она воспринимает она потом записывает В итоге в такие координаты Вот например я сейчас покажу как я делаю
32:15
при загрузке книги и вот в технологии рак которой я сейчас расскажу данные разбиваются на блоки
32:23
называются чанки каждый этот блок шифруется в в специальную Вот это
32:29
представление Bing и таким образом и все эти данные потом вписываются в специальную базу данных векторную
32:35
которая умеет оперировать и работать вот вот с этими данными и мы видим что А что
32:41
вот в этом примере где я слово привет написал мы здесь получили такой объём Текста Текста цифр вот этих вот что
32:48
здесь здесь уже не одно слово привет А здесь целый кусок э текста и он уместится в такого же размера э блок
32:56
здесь Потому что для если мы оперируем и работаем в мерном пространстве нам
33:02
неважно какой объём информации мы должны загрузить в неё потому что в итоге Всё
33:07
равно всё превращается в точку фактически вот эти все цифры это
33:13
вспомните Да точка в трёхмерном пространстве xyz то есть мы тремя цифрами задаём точку в этом пространстве
33:20
так вот здесь 1224 точки не точки А координаты этой
33:26
точки и Ну кажется это просто какое-то безумие да на самом деле опять же у
33:32
каждой такой нейросети которая работает с встраивания у неё есть также
33:37
контекстное окно ширина Вот например я не могу в неё встроить вставить слишком большой кусок просто потому что она не
33:46
поддерживает большой контекст Обычно вот эти нейросети встраивания они вот 88.000 примерно 190 токенов себе
33:54
могут вмещать А так как мы работаем с русским текстом мне здесь пришлось подстраховаться есть специальная формула
34:01
по которой можно пересчитать реально расходы токенов для русского текста
34:07
Кроме того когда мы работаем И шифру это всё разбиваем на вот эти чанки нам нужно ещё чтобы каждый кусок текста перекрывал
34:14
один другой то есть чтобы было некое накладывание одного кусочка текста на другой кусочек текста Потому что когда
34:21
мы потом будем извлекать эту информацию текст должен быть связанным в
34:26
итоге и сразу же параллельно расскажу что такое квантование Да многие уже слышали что вот Многие модели вот
34:33
допустим вот эти опять же модели которые я показывал маленькие модели за счёт чего они такие маленькие вот мы видим
34:39
что здесь есть джема 9 млрд параметров весов А также есть джема
34:46
2 млрд и работают они по-разному 2 млрд работают гораздо хуже Почему Хотя изначально у них у каждого быстрее всего
34:53
был один и тот же предок что сделали те люди которые пытались сделать эти модели
35:00
более компактными они более компактные Они конечно хуже чем большие модели Работают но они тратят гораздо меньше
35:07
ресурсов если я gpt 4 Mini никогда в жизни не запущу на одной видеокарте а там работают их там десятки сотни то вот
35:15
такую модельку я запускаю спокойно на видеокарте средней ценовой категории и
35:20
она работает получая собственные автономный как бы и искусственный интеллект так вот как это происходит как
35:27
осуществляется э квантование квантование сводится к тому что вот мы видим да
35:33
А вот у нас одна из координат там 1.2
35:38
четырёхмерная координат координата один из параметров этой координаты вот такое вот большущее большущее число Да так вот
35:46
квантование сводится к тому что у этих весов отрубается вот это вот точность то
35:52
есть мы допустим всё сводим допустим К десятым да Или сотым значениям каждого числа в итоге веса становятся
35:59
многократно меньше Но вот эти точки которые мы видим здесь они как бы размываются они Как как блюр да то есть
36:07
они становятся неточными не совсем точными и опять же по этим точкам я
36:12
сейчас расскажу Зачем они вообще зачем и как это вообще всё
36:18
работает в общем мы уже поняли да что и в процессе обработки текстовой
36:24
информации и неважно даже не обязательно текстовой он может обрабатывать другую информацию это могут быть и фотографии и
36:29
аудио любая информация в итоге он приводит её к некой своей собственной системе в мерном пространстве и строит
36:38
на этой системе вот такой вот некие точки так вот что получается получается
36:44
что разные объекты они группируются в схожих областях что имею
36:51
в виду например там добро тепло Привет
36:58
благость То есть например какие-то положительные вещи они будут в одной точке какие-то негативные там зло там
37:06
какие-то убийства там ещё что-нибудь Ну я для примера очень грубо они будут где-то в другом месте В итоге находиться
37:14
вот в точках координат в некотором другом пространстве и они будут как бы группироваться то есть схожие по
37:20
семантике по смыслу явления будут находиться недалеко друг от друга так вот вся работа языковой модели основана
37:28
на том что в итоге в процессе генерации она с огромной скоростью находит
37:35
ближайшее ближайшие смыслы к тому смыслу который мы ввели в и на этом основана
37:40
вот эта технология Рак да которую я сейчас представлю и который в конце
37:46
видео об этом Вы уже сможете этим пользоваться Посмотрите я уже это
37:51
выложил свободный доступ можете пробовать в общем Как вы поняли что сюда
37:58
можно загнать любой текст этот текст будет представлен в виде точек эти точки
38:04
разбиты по семантике вспоминайте как мы раньше искали информацию в Ворде допустим да мы у нас есть некий
38:10
текстовый документ нам нужно найти какую-то информацию в нём мы нажимаем поиск и ищем в этом поиске Вот например
38:18
Здесь я ищу допустим нажимаю Поиск
38:28
и дальше Я уже двигаюсь смотрю где вот эти все они выделены и просматриваю
38:33
их таким образом был устроен поиск раньше везде
38:41
но допустим есть же слова синонимы или вот какие-то то есть мы можем например в тексте может не
38:48
содержаться нужного слова но при этом этот текст может описывать то явление которое нас интересует Согласно нашему
38:55
запросу это назвается поиск так вот принцип этого семантического поиска основан на том
39:02
что и вот этот механизм поисковый который находит закономерности он очень
39:10
быстро находит ближайшие точки точки эти высчитывается как косинус угла
39:18
между расстояние косинус угла между векторами то есть там там несложные
39:24
формулы есть несколько подходов там очень всё сложно когда читаешь там евклидово пространство ВС Это для
39:31
математиков просто для того чтобы это понимать достаточно понимать что есть некоторые точки эти точки представляют
39:39
из себя смыслы смыслы э взаимосвязаны за счёт того что В
39:44
математической модели Трансформера эти точки всегда находятся недалеко друг от
39:49
друга чем ближе смыслы какой-то информации тем ближе точки находятся и тем легче их найти и поэтому когда
39:56
генерируется токены в ответ на самом деле они генерируются исходя из вот этих вот смыслов которые были найдены по
40:02
нашему запросу Итого сейчас я попробую сейчас рассказать как теперь всё это
40:08
работает а так это работало э в процессе обучения
40:14
больших языковых моделей в некоторых внутренних механизмах в процессе работы
40:21
[музыка] токенизация я сейчас рассказал вот есть
40:28
векторизация и данные хранятся внутри модель думает вот этими вот параметрами
40:33
она думает в мерном пространстве поэтому тут начинаешь задумываться да что А
40:39
когда уже Я сейчас слышу для себя что вот мир возник из некой точки А некий
40:44
взрыв с очень маленькой точки и сейчас мне это в это немного легче поверить
40:50
потому что я сейчас прекрасно понимаю что Любую информацию можно вместить в точку если эта точка работает
40:57
достаточно в пространстве достаточно высокой мерность Вот то есть если если
41:03
мы видим сейчас что и работает и она оперирует мерными пространствами
41:09
допустим у Open Там они оперируют вообще 372 мерно
41:14
пространство создания системы чем больше мер тем точнее получается семантическая
41:19
вот это вот семантический анализ данных если это уже работает фактически
41:26
то нету причи не верить Вот в такую возможность супер компрессии когда любые
41:31
данные можно вмещать и любую информацию для примера даже
41:36
1224 мерное пространство может содержать столько информации сколько не содержится
41:42
э атомов в нашей Вселенной то есть там числа с С 200 и более
41:50
нулями они не не не осознаваемые человеком и при этом всё это работает и это удивительно поэтому для меня в
41:57
процессе работы с и открываешь некоторые вещи пересом их и многие вещи являются
42:04
просто открытием к чему я всё это рассказываю на самом деле свести можно теперь к
42:10
очень простой идее если и хорошо работает языковый модели за счёт вот
42:16
этой технологии работы с векторами Почему бы нам сейчас не использовать эту
42:22
технологию для работы для того чтобы закидывать туда данные большие Да зачем нам забрасывать
42:29
эти данные в промт вот сюда и гонять их туда туда-сюда когда мы можем использовать такой же самый подход
42:35
сделать такие же вектора такую же базу данных векторную и её прикрепить к нашему искусственному интеллекту и я это
42:42
сделал работа была непростой потому что я для себя это тоже открывал в первый
42:47
раз в жизни всё делал в первый раз проходил этот путь Что я сделал Я сделал
42:54
возможность добавлять данных в векторе который содержит структурированную информацию понятную
43:00
простую для и А здесь оно показывает что у нас ещё нет
43:05
баз данных и предлагает создать мы переходим в специальный инструмент
43:10
инструмент вот он здесь мы уже Мы уже были здесь вот здесь Мы работали с markdown форматом для больших данных вот
43:17
я сейчас нажму перейду вот то что мы здесь находились сейчас я нахожусь вот здесь векторная база данных и мы можем
43:23
приступить к созданию баз данных а в начале ролика этот ролик очень тяжёлый Я
43:28
прошу прощения что он такой тяжёлый сложный много слов но я хочу один раз просто и понятно по возможности
43:34
объяснить как это всё работает и больше мы к этому возвращаться не будем будем пользоваться просто технологией не не
43:40
вдаваясь уже так глубоко в общем я сделал визуальное
43:45
оформление для того чтобы вы не вдаваясь в сложности могли создать свою собственную векторную базу данных
43:51
которые внутри содержат вот эти вот все волшебные вещи сейчас я покрываю потому что уже
43:57
тут путани ВС что вам нужно сделать нажать на кнопку создать базу данных Я
44:03
буду создавать базу данных для уже созданного нашего персонажа эриха Мария Ремарка поэтому я создам базу данных
44:10
база для Ремарка Ну и описание здесь будут книги
44:19
и марка сохраняю как то Бау данных яхни
44:27
с левой стороны количество баз данных ограничено пока всё работает в тестовом режиме для бесплатных тарифов это одна
44:34
база данных и несколько книжек можно добавить для тарифов повыше несколько
44:40
баз данных и книжек можно в каждую базу данных загрузить больше сейчас мы будем загружать книги Сейчас я
44:47
найду перейду где у меня Книги лежат
45:01
так библиотека Так это у нас Тесла Мы работаем сейчас
45:08
с Ремарка вот у меня есть книжка Ремарка триумфальна арка которой я
45:14
спрашивал в начале я её
45:20
загружаю ожидаем Ника не оче маленькая по
45:27
для того чтобы ВС загрузилось в данный момент что сейчас происходит книга
45:32
загружается на сервер дальше эта книга отдаётся специальную нейросеть которая
45:38
превращает разбивает её на кусочки вот то что я показывал вот здесь вот на такие вот кусочки превращая е её вот
45:44
такие вектора дальше эти данные все записываются в саму векторную базу данных и эта векторная база данных уже
45:50
будет работать совместно с нашим искусственным интеллектом Всё мы загрузили фалья арка здесь рассказывал
45:57
мы можем сразу же тестировать можем спросить например мой предыдущий
46:03
вопрос что имел
46:08
[музыка] Введу в цитате о том или там сейчас любовь не
46:18
зеркальный труд отправим посмотрим что получится
46:23
насколько я удачно конечно здесь сформулировал нуно посмотрим
46:30
смотрим Что нам даёт Несе теперь любовь не зеркальный прут в который можно вечно
46:35
смотреться у неё есть переливы отливы и обломки кораблей потерпевших крушения и затонувшие города осьминоги бури то есть
46:42
вот э Вся красота которая была у Ремарка Да сейчас она доступна ишке во-первых
46:48
теперь и нам дал точную цитату выделив ВОХ кори сни
46:57
мы опять же видим сколько токенов съело смотрим Что токенов Теперь съедается гораздо
47:02
меньше и здесь Я вывел для того чтобы вы тестировали и видели как это работает
47:08
база данных векторная нашла по смыслу не по точному текстовому совпадению а по
47:13
смыслу нашла четыре чанка вот то что она нашла при этом она
47:22
которые наплыва один на другой есть вот эче кусочка из своей базы данных она их
47:27
склеивает вот мы получаем связанные текста и дальше и их использует как
47:33
материал для корректных ответов И цитирования как я рассказывал вот
47:38
показывая вот эти вот точки она высчитывает расстояние между ними И чем ближе расстояние тем оно
47:46
больше стремится к единице то есть мы видим что похоже с моего запроса на точное
47:52
соответствие составляет 0,79 расстояние между точек Ну также
47:58
высчитывается ещё ранговой текста Вот чем ближе к единице тем точнее совпадение и вот в принципе всё чудо
48:06
которое и требовалось получить дальше как я показывал вот здесь вот мы нажимаем на
48:12
голову этого робота выбираем куда мы отправим эту базу данных и отправляем
48:19
всё отправлено если мы сейчас [музыка] перегрузил уже стоит напротив базы
48:26
данных и вот мы видим что база для Ремарка которую создавал содержит один Документ
48:31
и оно уже всё подключено Этот документ который я загружал большой Я вообще
48:36
удалю чтобы он вообще не сбивал он нам сейчас не нужен То есть я удалил нажал сохранить галочка исчезла всё смотрим
48:45
теперь смотрим теперь убираем вот это вот всё удаляем
48:51
предыдущий материал перезагружаем вот прошлый мой запрос что
48:57
имел в виду равик рассуждая про любовь которая не зеркальный пруд дае цитату и он здесь Несмотря на то что эта модель
49:03
большая gp4 о Mini Передовая он мне сфа Тази э цитату теперь я возьму нажму
49:11
карандашик А и пере это же самое задание
49:16
вышлю ему ещё один раз но теперь у нас подключена база
49:21
данных векторная Вот она для Ремарка а смотрим что во-первых его ответ стал
49:28
короче чётче Он дал точную цитату и разъяснил эту цитату согласитесь Это же
49:34
прекрасно При этом если мы посмотрим сколько мы сожгли токенов мы сожгли 4953
49:41
токена в отличие от тех размерностей которые мы э объёмов которые мы
49:46
отправляли если бы мы эту книгу загрузили вот сюда или вот сюда то есть
49:52
в виде файла прикрепили допустим А вот такая вот у нас получилась
50:00
красота что ещ хотел сказать
50:06
сейчас ещё раз покажу Итого как всё у нас работает вся технология сейчас с
50:12
этой базой данных Вы можете делать и другие базы данных создавать вставлять можно как здесь как я делал на робота
50:19
нажимаю выбираем куда мы отправляем какого свого ассистента и оно отправляется прикрепляется так и здесь
50:25
открываем асин з будет сколько баз Мы создали столько они будут отображаться просто выбираем
50:30
их корректировать и вс
50:38
работает закрываю чтобы не отвлекало Итого в наши документы были в
50:43
момент загрузки переведены в специаль отправлен модель это тоже ещё одна модель искусственного интеллекта она
50:55
преобразовалась запрос искусственному интеллекту этот запрос опять идёт в этот в эту модель
51:02
искусственного интеллекта которая превращает его текст в такой же Вектор этот Вектор э ищется по базе данных
51:10
находится максимально похожая чанки Вектора из документов предварительно загруженных но в ответ мы получаем
51:17
чистый текст текст этих блоков которые были вектори Зро этот текст дополняется
51:23
подмешивать то есть наш сам запрос сюда добавляется
51:29
и уже результат поиска в векторной базе данных семантический результат добавляется подмешивают к этому же
51:36
запросу этот запрос Идёт уже большую языковую модель получаем ответ то есть всё в
51:42
принципе просто Теперь всё понятно как работает ничего сложного страшного нет как оказалось В итоге схема простая всё
51:49
логично и понятно Кроме того Вот в эти точки можно загружать не только текста
51:55
как я говорил аудио любой материал вплоть до того
52:01
вот как в фильмах да про будущее когда мы смотрим идёт некоторый какой-то
52:07
персонаж заходит в лабораторию У него сканируется сетчатка глаза початке глаза этот пользователь узнаётся ему
52:13
открывается дверь Или например прикладывает ладонь сканируется допустим сеть вен с ладони Вот это всё на самом
52:20
деле для И это тоже вектора и име свою
52:26
моде векторизации вот модель мы можем точно также на этом же сервере на этой
52:32
же технологии создать базу данных вот этих всех параметров например то есть фотографии зрачка не зрачка сетчатки
52:39
глаза или там венозную изображения схемы вен на руке и
52:45
сделать систему доступа контроля прямо как показано в фильмах
52:50
про будущее Потому что сейчас это не проблема многие из нас думали Как же
52:55
например есть поисковые системы которые ищет по фотографиям как это так они находят по фотографиям особенно когда загружаешь
53:02
фотографию оно находит похожее так вот принцип в этом все фотографии превращаются в точки векто векторов эти
53:08
точки потом осуществляется поиск по расстоянию косинусное расстоянию между точками и данные выводятся в итоге мы
53:15
можем например найти похожих на себя людей только потому что допустим существует некоторая база в который люди
53:21
загружают свои фотографии эта база хранит информацию в векторных данных в виде вот этих вот
53:27
массивов из чисел и тогда всё это будет работать и тогда это всё не кажется волшебством потому что это
53:34
уже понятно и просто и здесь уже нет ничего такого чего мы не могли бы
53:39
осознать И отталкиваясь от этого я
53:46
прогнозируют которые работают с большими данными так вот ближайшее будущее будет состоять в том что эти данные начнут
53:52
постепенно иммигрировать в векторное представление и появится такие вот
53:59
агрегаторы или как бы хостинг Вот как вот все знают да вы когда
54:05
сайт содержим поддерживаем оплачиваем мы оплачиваем работу сервера на котором он лежит также и все информации которая там
54:11
хранится так вот в ближайшем будущем понадобятся новые площадки для хранения
54:18
векторных данных вот и это вот новое направление которое сейчас будет
54:23
развиваться что сейчас этой систе мы ещ получили сейчас ещ раз
54:28
последний момент я расскажу смотрите так как нам сейчас не
54:35
нужна так как нам сейчас не обязательно иметь супер большую модель для того чтобы она всё на свете знала и Съела
54:42
весь интернет в процессе обучения А мы уже ей доки дым информацию видя своей
54:48
собственной базы данных которы которые мы загружаем свои книги то нам уже не обязательно использовать гигантские вот
54:55
эти модели Мы всегда используем за деньги данные уходят на другой Континент в США где-то там хранятся или
55:02
анализируются мы не знаем что с ними происходит сейчас можно использовать свои модели локально вплоть до того что
55:09
есть если есть предприятие мы автоматизируем там процессы мы можем ставить сервер автономный без внешнего
55:16
интернета внутри предприятия загружать всю документацию на этот сервер и всё будет работать при этом Нейрон можем
55:24
запускать опять же вот локальная моя допустим вот это китайская Я сейчас добавлю ещё раз на ней поработаем
55:30
бесплатная модель корректировать переотправить запрос чтобы эксперимент был
55:35
[музыка]
55:42
чистым а вот пожалуйста то есть моделька ответила А теперь я её попрошу А
55:50
Объясни мне значение этой цитаты
56:11
немножко медленно печатает Вот эта скорость зависит от мощности видеокарты видеокарта пока одна поэтому не всегда
56:18
быстрый ответ то есть мы видим что даже маленькая модель модель гма 2 от
56:25
компании deepmind от команды с 9 млрд параметров всего-то потому что напоминаю
56:31
ещё раз у gpt 3,5 Turbo а 175 по-моему
56:36
миллиардов параметров у gpt 4 около по-моему 450 млрд А здесь малюсенькая
56:42
Джемма з 9 млрд дала нам корректный ответ ничего не Галю
56:49
зонировать что Это говорит о чём это говорит Это говорит о том что мы можем разворачивать теперь умное решение
56:55
автономно у себя на сервере Где бы мы не находились вот у меня прямо здесь в Моём
57:00
кабинете рабочем на любом производстве и Мы также можем выступать как хостинг для
57:08
ии предоставляя его различным компаниям а также храня информацию у себя
57:14
последнее что я хотел ещё сказать сейчас всё это очень сильно развивается технологии развиваются
57:21
А все очень на хайпе все создают что-то тех же ассистентов создают но проблема в
57:27
том вот очень многие люди писали под моим видео А чем лучше того же сервиса
57:34
ко других серверов которые работают с ассистентами я объясню
57:40
чем законодательством законностью Дело в том что На текущий момент почти во всех
57:46
странах Есть законодательство регламентирующее хранение информации работа с персональными данными для того
57:56
персональными данными данные должны располагаться на в центре обработки данных в цоде и компьютер на котором всё
58:03
это хранится должен иметь статус цот а специалисты которые работают с этими данными должны быть квалифицированными и
58:10
по законодательству например страны в которой я живу в Беларусь такие люди должны проходить
58:16
специальное обучение они даже называются операторы по работе с персональными данными и сейчас по закону вот я знаю
58:22
что и в Российской Федерации хранение данных каких материалов допустим Если вы
58:27
компания И хотите сделать ассистента своей компании для того чтобы
58:33
улучшить процессы автоматизировать и вы загружаете свои документы данные в тот
58:38
же чай gpt классический стандартов gpt Да создавая себе асистента вы таким образом нарушаете закон вы не можете
58:44
хранить эту информацию удалённо располагая их на серверах в США или в каких-то ещё облаках потому что любые
58:51
облачные вот эти хранилища – это некие сервера чаще всего это сервера в Америке и сейчас законы массово разрабатываются
58:59
в эту сторону будет всё становиться строже поэтому решение которое я сейчас показал локальное решение Оно ещё хорошо
59:06
тем что мы не нарушаем Закон и мы можем располагать информацию и иметь свой искусственный интеллект локально по
59:11
месту по месту работы нашей компании нашего предприятия для компании для какой-то организации купить мощную
59:18
видеокарту и поставить такой сервер нежно и не является большой
59:25
проблемой сейчас то что я сейчас показал DVR в данный момент вот проект который
59:30
на над которым я работаю как Энтузиаст бесплатно без извлечения прибыли просто потому что это перспективно и это нужно
59:37
развивать э сам сервер вот этот с искусственным интеллектом с видеокартой зарегистрирован в бел geia как центр
59:44
обработки данных он сертифицирован и на нём можно хранить информацию То есть например даже располагая данные в DVR вы
59:52
не нарушаете закон если вы работаете там Беларусь Россия Украина там страны СНГ А
59:58
смотря какое у вас законодательство Но вообще в конкретном случае при работе с
1:00:05
DVR эти данные э хранятся правильным образом вот э Ну вот на такой вот ноте
1:00:12
буду завершать буду завершать вот эту нашу сегодняшнюю прогулку по технологиям
1:00:19
А за сегодня мы разобрались как работают большие языковые модели что у них
1:00:25
происходит внутри как они думают Как происходит выдача и подбор информации Как происходит внутренний семантический
1:00:33
поиск теперь вы знаете гораздо больше Теперь вы можете работать
1:00:38
профессионально Вы имеете инструментарий все ссылки будут даны под этим
1:00:44
видео Вы можете работать то есть теперь когда вы готовите например книги для загрузки векторную базу данных векторную
1:00:51
базу данных ещё раз вот что я не сказал ещё важный момент один очень чуть не забыл Когда вы загружаете данные в
1:00:57
вектор здесь уже наш мадаун который мы в прошлых в наших видео создавали не
1:01:03
подойдёт потому что формат markdown за счёт вот наличия Вот таких вот символов он создаёт шум он создаёт шум в нашей
1:01:12
базе данных сейчас перейду зашумят её поэтому Нам нужен
1:01:17
чистый чистый текст Поэтому я здесь сделал ещё вот такой раздел где мы любую информацию переводим в чистый текст
1:01:23
загружаем любые документ HTML копируем сюда туда получаем чистый текст скачиваем туда загружаем либо закидываем
1:01:29
сразу вот таким вот образом через вот это вот робота нашего вот в принципе всё если у нас
1:01:35
структурированная сложная информация мы делаем её в виде таблицы вот наша табличка вот как и её видит и он
1:01:41
понимает эту структуру можно делать в виде Mar можно делать в виде CSV вот
1:01:47
тогда вот такой формат но и тогда должен знать что что э таблица в формате CS обязательно перед этой информацией
1:01:53
должна быть объяс надпись всё в принципе я надеюсь что всё
1:01:59
рассказал очень много времени потратил на саму технологию опять же ещё раз
1:02:05
секундочку ещё одну вещь расскажу очень важная вещь что мы должны вообще загружать что мы должны загружать вообще
1:02:11
в вектор в эту базу данных как теперь понять вот у нас сейчас есть целая куча
1:02:16
полей Сейчас я покажу наши поля целая куча полей у нас и сюда мы можем что-то писать документы можем
1:02:23
загружать и сюда таблицы что-то можем ссылки вставлять куда Какую информацию нужно загружать очень простое объяснение
1:02:30
вот у меня в руках есть инструкция инструкция к пылесосу А сейчас покажу
1:02:36
Это у нас моющий пылесос от крхер и она просто вот исписала вот различный а
1:02:42
информации тут и как эксплуатировать и как работает и устранение неисправностей
1:02:47
и эта информация если бы мы её гоняли в промтеп мы её загнали Допустим мы создавали бы эксперта по консультациям
1:02:54
для пылесосов крхер нам бы это всё если бы мы загнали это в промт в просто как документ это были бы
1:03:01
гигантские данные При этом они всё время гонялись бы туда и обратно при каждом запросе в холостую так вот такую чёткую
1:03:07
информацию которая не меняется практически Вот она статичная она прописана для для какой-либо области эта
1:03:13
информация чёткая Ясная мы её добавляем в векторный базы данных то есть мы её загружаем
1:03:18
А вот сюда информацию которая описывает роль какую-то быстро меняющуюся
1:03:24
информацию которую нужно держать актуальный мы добавляем сюда или
1:03:29
сюда или сюда добавляем в эти вот ячейки вот сюда например
1:03:35
и также можем как бы размещать у себя на сайте и просто ссылаться вот этими Вот
1:03:41
ссылочка вот в принципе и всё последнее что ещё хотел рассказать
1:03:47
это ещё два новшества которые добавились в конструкторе ассистентов очень много множество людей уже работает в этом
1:03:53
конструкторе на котором я всё Это показывал сейчас Ещё появилась такая функция Как
1:03:59
рисование изображений нарисуй
1:04:09
девушку то есть мы видим с огромной скоростью сейчас на основе флакса я сделал возможность прямо здесь не только
1:04:17
получать текстовые ответы но и получать изображение Кроме того если нам не
1:04:22
нравится ответ мы можем нажимать лайк или дизлайк Вот я допустим
1:04:28
мне не понравился ответ я нажал прокомментировал что мне нужна точная
1:04:34
цитата Ну сво любое своё замечание что конкретно мне не понравилось в ответе
1:04:40
И после этого у нас появляется ещё один блок Посмотрите с роботом с головой уже
1:04:45
знакомого нам робота И если мы нажмём неть сама себя под правила она для себя
1:04:51
записала добавлять к ответам точные цитаты из указанных книг Ремарка с указанием названия книги и если возможно
1:04:56
номера страниц или главы то есть что мы получили мы получили то что нейросеть на
1:05:02
основе то есть мы её как бы дооб Буча Да Таким образом мы нашу систему как бы
1:05:08
можем дооб учать ещё и комментируя её ответы и она результат будет записывать
1:05:14
сама вот в этот раздел в дальнейшем когда здесь спится какое-то количество
1:05:20
то есть Она фактически занимается самостоятельным самопробы
1:05:25
основе нашего замечания мы потом эти данные Можем перенести себе допустим скопировать отсюда и перенести допустим
1:05:32
в наш Вот вот этот вот пром допустим Ну любое другое место а то место допустим очистить и продолжив он тогда не будет
1:05:39
смешивать Таким образом получается что нейросеть сама себя программирует она на
1:05:45
основании наших замечаний сама дописывает для себя пронт таким образом
1:05:50
чтобы соответствовать нашим ожиданиям и это тот случай когда мы даём возможность ишке совершенствовать саму себя само
1:05:58
пром Ну довольно оригинальная идея На мой взгляд Поэтому вот такой элемент я добавил будем
1:06:06
тестировать всё что я сегодня рассказал Все Эти новшества сделаны За
1:06:11
последние полтора месяца всё работает в первой Альфа версии самой-самой
1:06:16
начальной поэтому могут быть многочисленные ошибки какие-то задержки
1:06:22
какие-то подтормаживает всё делал в первый раз делал разбирался
1:06:28
как мог советоваться особо Мне не с кем получилось так что ну не так много людей
1:06:36
касались этой области Вот поэтому сильно прошу не
1:06:43
критиковать можете оставлять комментарии советы предложения под этим видео
1:06:48
Напоминаю что у нас есть Telegram группа ссылка на которая будет Дана в конце этого видео Приглашаю всех в неё
1:06:56
если есть идеи какие-то будем вместе обсуждать потому что большинство того что я делаю сейчас это сделано
1:07:03
по вашим советам вашим подсказкам вашим материалам которые вы высылает в эту
1:07:11
группу поэтому буду рад Всё читаю стараюсь на всё отвечать на этом буду
1:07:17
заканчивать всего м самого лучшего самого доброго очень большой у на полу ролик
1:07:22
извините такая поно хватить все самого лучшего Всем пока