Что если теперь у тебя может быть свой приватный виртуальный помощник, который может устанавливать и запускать программы, писать код, редактировать фото и видео и даже лазить в интернет при необходимости.
Создавайте и редактируйте фотографии, видео, PDF-файлы и т.д., управляйте браузером , составляйте графики, анализируйте большие наборы данных
Можно работать с файлами:
Text (.txt, .csv, .json, .xml, etc.)
Image (.jpg, .png, .gif, etc.)
Document (.pdf, .docx, .xlsx, .pptx, etc.)
Code (.py, .js, .html, .css, etc.)
Data (.csv, .xlsx, .tsv, .json, etc.)
Audio (.mp3, .wav, etc.)
Video (.mp4, .avi, .mov, etc.)
демонстрация работы на примере бесплатных больших языковых моделей с открытой лицензией.
Расшифровка видео
0:00
Всем привет как мы привыкли работать за
0:01
компьютером но мы включаем его и
0:03
запускаем какое-то специальное
0:04
приложение и начинаем какие-то
0:05
манипуляции если мы хотим работать с
0:07
текстом Значит мы запускаем текстовый
0:08
редактор типа Ворда если мы хотим
0:10
работать с фото или с видео значит
0:12
запускаем фото или видеоредактор типа
0:14
пример Pro Да Vinci фотошоп и начинаем
0:16
работать с ними А что если вам скажу что
0:18
не надо ничего запускать достаточно
0:20
запустить одну программу и сказать ей
0:22
какой результат вы хотите получить и она
0:25
всё сделает за вас то есть что-то типа
0:27
вашего личного электронного помощника
0:29
Итак называется это чудо Open interpret
0:31
то есть открытый интерпретатор и здесь
0:33
ниже описано что он может различные
0:35
манипуляции с фото видео различными
0:37
файлами контроль за поиском в интернете
0:41
например с помощью Хрома Да анализ и
0:43
обработка ваших данных Например у вас
0:46
есть там куча текста и вы хотите с ним
0:47
что-то сделать представить в виде
0:49
графиков или ещё что-то отсортировать
0:50
там например но здесь достаточно
0:52
короткое описание поскольку этот Open
0:54
ипре создаётся как аналог того что уже
0:57
есть в чате gpt здесь вот при выводится
1:00
сравнение что позволяет делать Вот этот
1:02
открытый интерпретатор по сравнению с
1:03
тем что есть у Chat gpt то есть здесь
1:06
они пишут что здесь А есть доступ к
1:08
интернету у чата gpt нет доступа к
1:11
интернету дальше здесь нет лимитирование
1:14
по установке каких-то приложений нет
1:16
ограничений по максимальному размеру
1:19
файла который можно там скачать или
1:21
закачать а также времени в течение
1:23
которого с этим файлом можно работать ну
1:25
и другие ограничения теперь можно
1:27
посмотреть какие функции прописаны у
1:29
самого чата gpt там более развёрнутая
1:31
есть вот здесь описано более детально
1:33
Как можно работать с различными файлами
1:35
значит можно использовать текст картинки
1:38
документы код а данные аудио или видео и
1:42
дальше Вот ниже можно увидеть примеры
1:44
конкретно как это можно использовать
1:46
например накладывать фильтр на
1:48
изображение а представлять видео
1:50
определённого формата там например
1:51
resolution поменять если мы говорим про
1:54
аудиофайлы то можно например вырезать
1:57
какие-то участки например в данном
1:59
случае здесь вырезаются участки там где
2:01
тишина до и после потом то что касается
2:05
текста то можно по различному
2:07
обрабатывать эти текстовые файлы
2:09
конвертировать например из ПДФ в док и
2:12
обратно можно делать манипуляции с самим
2:15
текстом например представлять в виде
2:16
каких-то таблиц изображений если мы
2:18
говорим про модели
2:20
мультимодальные вот то что касается кода
2:23
то можно просить его что-то написать
2:26
объяснить или даже пофиксить какие-то
2:28
ошибки что касается данных то то что мы
2:32
уже описывали То есть можно каким-то
2:34
образом эти данные отсортировать
2:38
проанализировать или представить в
2:40
каком-либо виде там например в виде
2:41
графиков таблиц и так далее то что
2:44
касается установки установить его
2:45
достаточно просто здесь предлагают
2:47
Экспериментальный способ с помощью одной
2:50
команды то есть копируете вот эту
2:52
команду вставляете в терминал
2:54
запускается она у вас качает вот этот
2:56
файл установочный и запустит его для
2:58
установки как обычно все команды все
3:01
ссылки скину в Telegram канал значит
3:04
либо вот этот способ либо я вам
3:06
рекомендую воспользоваться вторым
3:07
способом это с помощью пайтона то есть
3:10
нужно сначала установить Python если у
3:11
Вас он ещё не установлен и дальше с
3:13
помощью пип инсталлер Запустить вот эту
3:15
команду опять же в терминале и она уже
3:18
установит вам этот интерпретатор и
3:20
дальше также вот эту команду запускаете
3:21
и у вас начинает работать приложение
3:24
Итак Давайте попробуем установить
3:25
программу начиная с Python копируем
3:28
ссылку на 31 пото что более поздние
3:31
версии могут выдавать ошибки по-моему
3:33
такую же версию я скидывал в Telegram
3:35
канал Ну либо можете сами
3:37
найти открываем запускаем
3:40
устанавливаем дальше копируем ссылку на
3:43
установку программы с помощью Python
3:45
либо отсюда либо опять же с Telegram
3:48
канала вставляем и
3:53
запускаем вот Похоже у нас произошла
3:55
успешная установка Давайте попробуем
3:57
теперь запустить всё что нужно это
3:59
нажать
4:00
Э ко запустить в терминале да Судя по
4:04
всему ВС в порядке для того чтобы
4:06
продолжить видите он Пит что нужно
4:08
ввести Open ключ Те у кого есть доступ к
4:13
gt4 ключу то нужно ввести этот ключ и
4:17
дальше пользоваться поскольку gp4
4:19
мультимодальная модель то в принципе
4:22
достаточно неплохой функционал появится
4:24
у кого некой воз и я в
4:28
том
4:30
сечас я покажу как это сделать так
4:31
давайте немного поясню Что произошло мы
4:33
установили наше приложение но оно не
4:35
запускается без какого-то ключа Что это
4:37
значит на самом деле достаточно
4:38
стандартная ситуация когда компания
4:41
выпускает продукт например Open
4:44
выпустила ча gpt год назад он стал Мега
4:46
популярным в том числе возможно из-за
4:48
простоты использования его интерфейса но
4:50
они на этом не остановились как и многие
4:52
компании Они хотят зарабатывать деньги
4:54
не только на этом продукте Но и на
4:57
других продуктах построенных на базе их
5:00
модели потому что специфика вернее
5:03
ноу-хау заключается не в веб-интерфейс
5:06
который они выпустили Хотя он тоже
5:08
по-своему привлёк наверное внимание но
5:10
конкретно в способностях их модели
5:13
которые находится у них на серверах и
5:15
вот чтобы другие компании получили
5:18
возможность использовать их модель
5:19
доступ к которой они продают они
5:22
предлагают использовать вот такой доступ
5:23
с помощью вот этих ключей и у кого будут
5:26
эти ключи те получат возможность делать
5:28
запросы на на backend их серверов таким
5:30
образом строить свои приложения поверх
5:34
интерфейсов которые предоставляет Open
5:36
то же самое можно сказать в принципе и
5:38
про любой другой продукт что они ещё
5:39
сделали так создали библиотеку пайтон
5:42
вскую а в принципе со свободной
5:43
лицензией назвали Open IP Вот и с
5:46
помощью неё и ключей которые есть у
5:49
клиента можно делать запросы на сервер в
5:52
том числе используя Python вот как
5:53
раз-таки этот способ мы и будем
5:55
использовать вот здесь есть документация
5:58
здесь написано как обращаться с помощью
6:00
запросов таким образом используя вот эту
6:03
библиотеку Open Python многие а в том
6:05
числе бесплатные модели делают
6:08
возможность интеграции своих свободных
6:10
локальных моделей используя интерфейс
6:12
Open Python Итак после того как вы
6:15
загрузили свою модель в моём случае это
6:18
вот этот смесь экспертов и перешли на
6:20
вкладку Local Server нажали Стар Север
6:23
увидели что всё успешно запустило можно
6:25
LM Studio свернуть перейти в терминал и
6:28
набрать какую команду interp Local это
6:32
скажет ему о том что он должен
6:34
обращаться в данном случае к локальной
6:36
модели вот он это увидел и говорит что
6:40
пожалуйста Используй L Studio и вот
6:42
сделай те действия которые мы уже
6:43
проговорили давайте ему напишем Хай
6:45
посмотрим что он
6:47
ответит видите он даже определил мою
6:51
системное имя Итак давайте начнём с
6:53
простого задания такое вот
6:56
задание посмотрим справится он с ним или
6:58
нет
7:01
вот он спрашивает запустить ли этот код
7:03
Единственное что здесь нужно
7:05
переключиться на английский и ответить
7:09
Why Итак он говорит что всё готово и
7:13
можно проверить используя Ну или
7:15
файловый терминал или так далее Давайте
7:18
проверим вот папка тест в ней файл один
7:22
всё в
7:23
порядке вообще это офигенно вот то что
7:25
вы видите это просто переворачивает наше
7:28
представление о том как мы раньше
7:29
работали с компьютером то есть мы просто
7:31
на словах говорим компьютеру сделай вот
7:33
это И вот это и он это делает без нашего
7:37
участи Давайте теперь более сложное
7:39
задание Вот такое сделаем посмотрим как
7:41
он с ним справится Но вообще уже даже то
7:44
что мы сделали Сейчас самое простое это
7:47
уже ну по мне так это очень
7:49
перспективная
7:53
штука Итак после того как я его попросил
7:56
он говорит что это очень много ресурсов
7:58
займёт особенно много займёт дискового
8:01
пространства Хотя отчётом пустые папки
8:03
практически Ну ладно давайте запустим
8:06
опять нужно английском подтвердить ему
8:08
чтобы он это запустил Ага какая-то есть
8:11
ошибочка и вот что самое прикольное я её
8:14
уже раньше пробовал использовать он а
8:17
видит то что написано и исправляет вот
8:19
сейчас посмотрим он должен увидеть свою
8:21
ошибку и исправить её что очень круто Я
8:28
считаю
8:30
Итак как вы видите он проанализировал
8:32
ошибку Прочитал её а потом дал
8:35
комментарии как её исправить И сейчас
8:37
пишет более корректный
8:45
код дадим ему второй шанс Ага снова
8:55
ошибка Итак я решил проверить в чём же
8:57
дело и обнаружил что в настройках У меня
9:00
количество GPU Ну то есть видео слоёв
9:05
вот этих равно нулю Хотя здесь нужно
9:07
ставить по моему опыту моей видеокарты
9:11
где-то минимум
9:13
25 Так стоп
9:16
сервер и применить
9:23
изменения
9:25
Итак Давайте попробуем ещё раз запустить
9:29
интерпретатор только уже с моделью
9:32
которая использует большее количество
9:34
ресурсов видеопамять Надеюсь это
9:39
поможет такое задание мы уже делали
9:41
прошлый раз она зафер как
9:44
сейчас дая это проблема с моделью сейчас
9:49
проверим
9:51
А мы забыли сервер запустить либо он
9:54
вылетел
9:58
интересно сейчас он
10:02
запущен ещё
10:09
раз
10:13
задание сервер
10:20
работает ну вот намного быстрее стала
10:23
скорость Видно уже что Похоже на то что
10:26
используется больше
10:28
ресурсов видеокарты конечно нужно это
10:30
всегда учитывать и плюс Мне кажется она
10:35
умнее
10:41
смотрим смотрите первого раза создала
10:49
папки 100
10:52
штук
10:54
открываем
10:56
прекрасно прекрасно то что Я просил
11:05
здорово Вот он сказал что всё должно
11:07
быть успешно с первого раза получилось
11:09
то что в прошлый раз у нас через
11:11
пень-колоду так и не получилось О’кей
11:15
сейчас будет следующее задание Ура Итак
11:18
давайте теперь выполним вот это
11:22
задание
11:24
Ой я же не запустил
11:27
интерпретатор
11:32
запускаем интерпретатор даём ему
11:40
задание проверяем как работает код пока
11:43
ошибки
11:49
нет
11:51
да кажется это сработало у нас появилось
11:56
видео не знаю Оно уже скачалось или
12:04
нет
12:15
Да
12:18
работает вот таким образом мы скачали
12:21
видео с
12:23
YouTube Ура Это прикольно Теперь
12:26
смотрите у нас есть вот это видео в
12:27
папке которое мы скача с помою вот этого
12:30
интерпретатора и я иму хочу дать
12:32
следующее задание чтобы он переименовал
12:36
видео как-то слишком много слов Пусть
12:39
будет более короткое название посмотрим
12:41
как он с этим
12:45
справится Как вы понимаете один файл –
12:48
это понятно что ничего такого но когда у
12:51
вас их например там
12:53
100
12:54
то это может быть полезно вот смотрите
12:58
что произошло файл
13:01
переименован Круто мне понравилось эта
13:04
фишка сработала Ура попробуем дать ему
13:07
ещё такое задание чтобы он обрезал видео
13:09
то сейчас оно там пару минут Я хочу
13:13
чтобы оно было например 30 секунд
13:17
длительностью Ну что
13:24
проверим В общем это задание там где
13:27
нужно отреза до 30
13:30
секунд у него вызвало какие-то сильные
13:33
сложности Постоянно какие-то ошибки
13:34
возникают Я думаю
13:37
что не стоит его продолжать часть опытов
13:41
с открытым интерпретатором я решил
13:43
сделать на базе Linux и с использованием
13:45
ещё одного подхода значит можно
13:48
запускать открытый интерпретатор
13:49
используя Script Python для этого нужно
13:52
создать файл с пайном
13:54
импортировать туда вот эту сущность
13:56
интерпретатор и дальше здесь можно ещё
13:59
выставлять различные опции в частности
14:01
здесь есть опция работать оффлайн или
14:04
онлайн Давайте её пока раскомментировать
14:11
интерпретатор от интернета чтобы
14:14
обезопасить себя от того что какие-то
14:16
документы могут попасть в сеть каким-то
14:18
образом можно вот эту опцию включить и
14:20
тогда он не будет иметь доступа к онлайн
14:22
активность Кроме того здесь я хочу
14:24
использовать такую библиотеку как Алама
14:26
она делает то же самое что
14:29
LM Studio когда у неё включается вот
14:33
этот локальный сервер то есть по сути
14:35
ама запуская ламу мы получаем доступ к
14:40
C в таком же виде как это получается при
14:43
запуске LM Studio и его локального
14:46
сервера То есть это тоже AP в виде Open
14:51
и соответственно можно к этому
14:54
обращаться также я здесь прописал IP
14:56
адрес моего сервера Где находится
14:59
видеокарта То есть это унту сервер он
15:02
находится на отдельной машине и вот Я
15:03
обращаюсь к нему по стандартному порту
15:05
который предлагает у нас открытый
15:08
интерпретатор ой вернее Алама Вот и
15:11
дальше запускается вот этот чат вот
15:13
такие настройки Ну и скорее всего
15:15
большинство из вас будут запускать
15:17
интерпретатор и свою локальную модель на
15:19
одной машине Поэтому в этом случае вот
15:22
здесь можно либо оставлять как есть либо
15:24
прописывать Local Host это будет тоже
15:26
самое У меня просто физически моя
15:28
находится вообще на отдельной машине
15:30
помимо этого я по SS подключился к этому
15:34
локальному серверу и измеряю там
15:37
температуру вот сейчас 40° моя
15:39
показывает видеокарта загрузка то есть
15:42
максимальная у неё загрузка 24 гигабайта
15:45
и когда мы начнём обращаться тут как
15:48
раз-таки она нагрузить видно что она
15:50
используется Почти по максимуму и вот
15:52
здесь видно что на ней же запущен вот
15:55
этот
15:57
Алама это шине и собственно именно этот
16:02
процесс задействует видеокарту также я
16:04
здесь открыл Этот монитор ресурсов
16:07
который позволяет видеть что происходит
16:08
у нас с оперативной памятью и с
16:10
нагрузкой на ядро процессора и открыл
16:13
текущую папку в которой мы будем давать
16:15
задание нашему открытому интерпретатору
16:17
Также хочу отметить то что здесь я
16:19
использую Алама но также через вот этот
16:23
Python Script можно использовать и LM
16:25
Studio и Web Generation и H2 все
16:27
интерфейсы которые рассматривали которые
16:29
предоставляют возможность работать с их
16:32
IP можно использовать вот этот подход
16:35
через запуск через Python Script теперь
16:37
показываю Как запустить вот этот
16:39
открытый интерпретатор с помощью Python
16:42
скрипта значит здесь пишем обращение а к
16:46
этому
16:48
файлу у нас здесь
16:51
Алама вот сейчас мы запускаем Python
16:55
запускает вот этот файл и этот файл
16:57
считывает соответственно инструкции
16:58
которую мы там прописали вот сейчас мы
17:01
должны увидеть что пойдёт обращение к
17:04
нашей
17:05
видеокарте ещё раз нажимаю вот у нас
17:08
запустился открытый интерпретатор и он
17:10
сейчас должен попытаться загрузить вот
17:14
этот процесс который находится на
17:16
видеокарте Итак мы видим Что загрузилась
17:20
наша модель видеопамять вот 22 ГБ из 24
17:24
используется и первым делом он почему-то
17:26
всегда запускает вот этот э задание
17:29
якобы ему кто-то дал создать реакт
17:31
приложение Хотя я ему такое не создавал
17:33
задание я его отменяю значит Теперь
17:37
попробуем сделать несколько простых
17:39
заданий Давайте дадим ему первое задание
17:41
например
17:42
Пусть откроет
17:49
калькулятор возможно он сейчас по ошибке
17:52
поймёт на какой системе мы находимся
17:53
либо придётся ему либо подсказать либо
17:57
предварительно сказать что я нахожусь в
17:58
системе Linux Открой калькулятор Давайте
18:00
не будем ждать чем это закончится Просто
18:03
я сейчас выйду и
18:10
скажу вот я сейчас запустил уточнил свою
18:13
инструкцию возможно Он поймёт как это
18:16
сделать более
18:27
точно соглашаемся
18:29
вот он справился с заданием У нас
18:32
открылся калькулятор Ура Интересно что
18:35
будет если усложнить задание сказать
18:38
чтобы он открыл калькулятор и попробовал
18:40
там что-то сложить
18:43
посчитать Ага Как видите он почему-то
18:46
решил нам дать просто подробную
18:48
инструкцию Ну вот когда он Сталки с
18:50
какими-то проблемами Видимо он переходит
18:52
такой режим А я что я ничего я просто
18:54
модель в общем такая фишка видимо не
18:56
прот есть что-то закрыть что-то создать
19:00
он может а дополнительные действия
19:02
сделать там уже начинаются сложности
19:04
либо нужно его этому учить не знаем В
19:07
общем какие выводы по этой части мы
19:09
попробовали ещё дать ему более сложное
19:12
задание проанализировать текст как было
19:13
в описани этого открытого интерпретатора
19:17
что он якобы Может это делать Видимо он
19:19
это может это делать но заставить этого
19:23
сделать нужно каким-то специфическим
19:24
способом Ну вот на поверхности это пока
19:27
не лежит либо можно смотреть какие-то
19:29
материалы как это делать читать
19:31
документацию дополнительную Хотя
19:33
сомневаюсь что конкретно вот манипуляция
19:34
с конкретными файлами Там будет написано
19:37
Ну вот так вот интуитивно не получилось
19:39
у нас достигнуть какого-то результата
19:41
простое действие Как открыть калькулятор
19:43
создать папку что-то там переместить и
19:47
переименовать то есть действие с
19:49
файловой системой он хорошо
19:51
справляется Если же речь идёт уже о
19:54
каком-то
19:55
анализе каком-то редактировании и так
19:57
далее где нужно задействовать сторонние
19:59
библиотеки особенно начинаются проблемы
20:01
с одной стороны после установки
20:03
библиотек могут быть какие-то
20:04
неправильные команды с другой стороны
20:06
даже на момент установки библиотек он
20:09
может впасть в ступор и сказать что я не
20:11
могу ничего делать Я всего лишь языковая
20:13
модель поэтому конечно функционал
20:17
какой-то у этого открытого
20:18
интерпретатора есть видимо его можно
20:21
использовать Но перед тем как его
20:23
использовать нужно посидеть с ним Давать
20:26
ему подробные инструкции и чем подробнее
20:28
будут эти инструкции тем ближе вы видимо
20:31
будете к желаемому результату То есть
20:34
например погонять его по каким-то вещам
20:37
типа там отредактирован мне фото
20:39
отредактирован мне видео а он через
20:42
какую-то итерацию наконец Успешно
20:45
создаст все необходимые библиотеки То
20:47
есть их установит после этого
20:51
возможно начнутся уже какие-то успешные
20:53
действия и уже на базе этого можно
20:55
двигаться к какой-то автоматизации то
20:57
есть Когда у вас будут все необходимые
20:59
библиотеки установленные с помощью
21:01
открытого интерпретатора можно будет
21:03
давать ему задания на базе того что уже
21:05
установлено и по крайней мере это уже не
21:07
будет являться препятствием для того
21:08
чтобы какие-то вещи автоматизировали но
21:11
когда у вас голая система ничего нет Для
21:13
этого ну вот первое время получается
21:15
сложновато то есть для того чтобы что-то
21:18
сделать в автоматическом режиме ему
21:20
нужно пользоваться какими-то
21:22
библиотеками А чтобы их поставить также
21:24
могут возникать трудности Поэтому вот
21:25
это вот нужно преодолеть и дальше
21:27
двигаться в направлении подробных
21:29
инструкций общения с ним выработки
21:31
каких-то паттернов которые вы заметите и
21:35
для себя учёте что вот так вот работает
21:37
лучше Вот так вот хуже такие-то лучше
21:39
давать инструкции Ну то есть по сути
21:40
Работа как с таким зелёным зелёным
21:42
джином То есть вы ему даёте задание он
21:45
постепенно обрастает какой-то
21:48
необходимой информацией обрастает
21:50
какими-то навыками ваша система
21:52
обрастает необходимым окружением для
21:54
того чтобы исполнять действия вот таким
21:57
вот образом можно двигаться но пока вот
21:59
так вот интуитивно взять и начать работу
22:01
с нуля пока сложновато такие выводы Ну
22:04
тем не менее что-то у нас получалось
22:06
что-то открывалось что-то само делалось
22:08
уже прикольно Так что всем пока