Интерфейс, функции, возможности, как у чата GPT только бесплатно.
Ollama + Open WebUI это:
- Простая установка: легко устанавливается с помощью одной команды или установочного файла.
- Интуитивный интерфейс: похож на ChatGPT, обеспечивая удобство использования.
- Подсветка синтаксиса кода: улучшает читаемость кода.
- Полная поддержка Markdown и LaTeX: улучшает взаимодействие с помощью обогащенного форматирования.
- Локальная интеграция RAG: позволяет легко взаимодействовать с документами в чате.
- Возможность просмотра веб-страниц: позволяет включать веб-контент в чат.
- Загрузка / удаление моделей: позволяет легко управлять моделями прямо из веб-интерфейса.
- Создание файловой модели GGUF: позволяет легко создавать модели Ollama, загружая файлы GGUF.
- Поддержка нескольких моделей: позволяет переключаться между различными моделями чатов.
- Мультимодальная поддержка.
- Конструктор файлов моделей: позволяет легко создавать файлы моделей Ollama через веб-интерфейс.
- Беседы со многими моделями: позволяет взаимодействовать с несколькими моделями одновременно.
- Чат для совместной работы: позволяет использовать коллективный интеллект нескольких моделей.
- Интеграция с OpenAI API: позволяет легко интегрировать OpenAI-совместимое API для универсальных диалогов.
- Поддержка голосового ввода: позволяет взаимодействовать с моделью с помощью голосового ввода.
Расшифровка видео
обзор проекта Ollama
0:00
Всем привет Итак наконец рассмотрев основные базовые темы Мы можем взять такие проекты как Алама Алама – один из
0:05
моих любимых проектов я давно им пользуюсь И на днях они выпустили очень важное обновление до недавнего времени
0:11
установить ламу можно было как минимум с помощью Докера как максимум только в среде Mac или Linux сейчас они добавили
0:18
поддержку Windows то есть они выпустили экзешник который позволяет установить это на вашу Windows систему Итак что же
0:25
такого в этой аламе во-первых Это её быстрота с первого дня е исполь Я заметил что она даёт наиболее быстрый
0:32
ответ по сравнению со всеми интерфейсами которые Я использовал до этого возможно это конечно субъективно но тем не менее
0:37
Я это заметил очень чётко Я думаю что на данный момент это очень важно поскольку имея минимум ресурсов вы получаете
0:46
максимально комфортную работу с нейросетью во-вторых простота её установки и использования теперь
0:51
абсолютно все пользователи что Mac что Linux что Windows могут с помощью одной команды или установив одну программу
0:58
запустить её и начать рабо работать в-третьих Она имеет модульную структуру что позволяет использовать её в различных проектах очень удобно по
1:05
умолчанию Когда вы её ставите одной командой у вас появляется возможность обращаться к модели через терминал опять
1:11
же большое количество терминалов здесь можно использовать но кого это не устраивает можно установить веб-интерфейс или Web или как приложение
1:17
и пользоваться через удобные кнопочки менюшки и так далее Здесь тоже вариантов великое множество можно найти себе тут
1:24
больше десяти дальше у неё есть различные библиотеки которые она поддерживают эти библиотеки позволяют Алам ть в различные комбинации в
1:31
различных проектах и использовать максимум ресурсов которые она даёт также у неё есть различные расширения И
1:36
плагины которые уже имеют какие-то готовые решения позволяющие использовать Аму и подключая как модуль к различным
1:42
проектам Ну и кто смотрел предыдущее видео про открытый интерпретатор вот пожалуйста как раз-таки в этом проекте
1:48
мы использовали Аму запуская её и работая с ней как отдельным сервисом Кроме того Этот проект активно
1:54
развивается и поддерживается сообществом это также под mit лицензии то есть свободной лицензии почти 40.000 звёзд и
2:00
функционал постоянно расширяется и он очень приятный у Алама есть своя библиотека моделей есть перечень моделей
2:06
которые они определённым образом подготовили Так что запустить их можно с помощью одной команды вот смотрите вот
2:12
вот эта Гемма появилась буквально пару дней назад и она уже доступна у них в библиотеке Я думаю многие для себя
обзор интерфейса openWebUI
2:18
отметят что чем-то этот интерфейс напоминает чат gpt в принципе разработчики не скрывают что они
2:23
вдохновлялись именно им и какое-то время назад он совсем был на них похож но сейчас вот они сделали немножко
2:28
стилизацию под себя Итак на передней панели мы видим всё что связано с чатом То есть у нас здесь есть менюшка выбора
2:34
модели то есть здесь может быть их несколько А дальше здесь у нас есть какие-то предустановленные МТИ
2:39
собственно здесь можно печатать что-то какие-то команды давать здесь можно загружать файлы вот этот интерфейс
2:44
поддерживает мультимодальной модели Это значит что вот здесь можно загружать картинки и давать запросы по картинкам
2:50
также здесь есть возможность вводить промт голосом на меню слева у нас здесь есть возможность создать новый чат также
2:57
здесь есть история чатов Ну вот Можно например сделать чат и потом этот запрос
3:03
у нас сохранится в истории чатов пока Пусть он делается дальше здесь у нас есть также возможность Вот работать с
3:09
документами но пока эта функция Ну так же как в H2 мы смотрели пока эта функция
3:14
находится в активной разработки Я думаю что отдельно по нём сделаю обзор дальше у нас здесь есть промт То есть можно
3:21
какие-то предустановленные промт делать также здесь есть вот Model Files Model Files такое понятие – это возможность
3:28
создавать специфический модели а которые вы нашли например на гин фейсе и
3:33
описывать в специальном файле и вот этот файл соответственно здесь можно будет потом импортировать или экспортировать
3:39
Итак вот тот вопрос который я е попросил сделать забавный факт о Римской империи
3:45
Вот она прислала такое сообщение значит что здесь можно увидеть что есть возможность редактировать своё сообщение
3:51
ну как-нибудь уточнить её или Изменить можно скопировать можно поставить лайк и дизлайк тоже здесь не удивляйтесь лайк
3:57
дизлайк ставится здесь и никуда не высылает это можно использовать для того чтобы собирать такую базу данных
4:02
собственную по собственным вопросам ответам и потом использовать её в тонкой настройке собственной модели но это уже
4:08
в дальнейшем мы когда-то с вами этим займёмся дальше здесь есть статистика по генерации этого сообщения продолжить
4:14
Если вы её останавливали и сделать ещё раз повтор Давайте теперь пройдёмся по настройкам что у нас здесь есть можно
4:20
выбрать тему так системный пром что очень важно потом дальше что здесь есть
4:26
здесь есть возможность у нас работать с AP вот здесь по умолчанию у нас стоит
4:31
видите Local Host 11434 Это стандартный порт который использует AP амы сервера то есть здесь
4:38
вот если Посмотрите у нас работает вот эта Лама сервер Да вот он здесь же вот этот Алама сервер работает и Обращаемся
4:45
мы к нему Вот по этому адресу Local Host 11434 AP также здесь есть возможность
4:50
вставить какой-то сторонней AP использовать его дальше модели тоже клёвая штука здесь можно загружать
4:56
модели прямо вот из этого интерфейса то есть что нужно сделать нужно жно здесь ввести точное имя как оно указано у них в библиотеке то есть вот эта библиотека
5:03
Да находите то что вам здесь нужно Здесь кстати можно выбрать не просто какой-то название и по дефолту вам загрузится
5:09
модель которая разработчики предлагают здесь можно сделать вот так перейти например вот Давайте возьмём например Мистраль Да переходим на вкладку модели
5:17
и здесь вот есть команда по которой она у вас загружается на сервер Да но эту команду можно уточнить а значит нажать
5:24
вот здесь на тег и здесь видите сколько появляется возможностей то здесь можно выбрать определённую степень квантити
5:30
зации этой модели то есть Вот например э часто используется вот Q4 M Да вот э вот
5:36
степень квантити зации То есть можно вот прямо взять Вот так вот скопировать сюда и использовать вот конкретно вот это вот
5:41
название потом перейти сюда и сюда его вставить и нажать скачать оно будет закачивать дальше уже Если у вас есть
5:48
определённый список моделей то вы можете выбрать здесь какую-то модель нажать удалить она у вас удалится из вашей
5:54
системы тоже очень удобно но на этом прелести не заканчиваются здесь они сейчас недавно добавили фишку то что
6:00
можно загружать модель прямо файлом То есть файл То есть вы идёте на сайт гин фейса качаете модель кладёте в какую-то
6:07
папку потом нажимаете сюда и из этой папки забираете эту модель и она у вас загружается прямо в вашего Лама и
6:13
появляется вот в этом списке Ну вот здесь вот дальше у нас здесь есть настройки каких-то интерфейсов здесь
6:18
тоже под себя можно подобрать какие-то режимы в принципе ту уже обсуждали аудио настройки Вот это интересная тема Здесь
6:24
есть такой режим conversation Mode То есть если его включить то модель будет ожидать от нас запроса с с помощью речи
6:30
и соответственно отвечать Нам тоже сразу будет с помощью языкового движка вот эти движки находятся вот здесь движки которые у Виндовса получается
6:37
установлены по умолчанию Ну з есть можно какой-то конкретный выбрать так и вот что из интересного здесь вот именно
6:43
движок который преобразует речь в текст здесь можно использовать как дефолтный который стоит в системе так и видите
6:49
Viper Вот это очень интересная тема отдельно её разберём То есть это вот э движок можно тоже отдельно установить
6:56
есть более продвинутые версии по сравнению с браузером которая более тонко более точно переводит речь в текст
7:03
тем более то что касается других не английских языков в частности русского и дальше просто смотрите картинки
7:09
то есть здесь есть возможность использовать stable diffusion web UI то есть здесь мы просто вставляем напиш от
7:15
stable diffusion и используем это в чате для генерации картинок Так и как это сделано чат gpt Вот это просто офигенно
7:23
дальше у нас идут настройки чатов значит что здесь можно импортировать экспортировать наши чаты удалить а
7:28
экспортировать чаты всех пользователей потому что у нас здесь есть возможность подключать различных пользователей а
7:34
также можно вот удалить Вектор на хранилище как помните была у нас как раз-таки возможность это сделать H2O вот
7:40
здесь тоже есть возможность ну это связано с с поиском по документов это очень важная штука ну и остались такие
7:46
общие вещи как сведения о профайлер что-то менять и соответственно
7:52
здесь можно посмотреть версию которая используется То есть это версия нашего веб интерфейса и версия нашего сервера
7:58
вот внизу внизу есть ещё одно меню с теми же настройками что мы уже видели А также есть здесь админ-панель которая
8:05
отображает список всех пользователей вот Админ – это текущий профиль который у нас сейчас здесь загружен если зайти на
8:11
этот же Local Host 8080 то есть на это же приложение через другие настройки
8:16
пользователя то есть указать другую почту и пароль то вы попадёте в это же приложение но уже в качестве юзера и у
8:22
этого юзера будут немножко другие настройки у него будут урезанный функционал например не будет вот этих
8:28
вот настроек моделями с файлами моделей не будет возможности там работать с
8:33
документами То есть у него будет возможность только чатиться Соответственно что это даёт возможность это даёт возможность вам добавлять сюда
8:39
пользователей чтобы они могли пользоваться вашим кэндо вот этим вот да вот этот БК энд то есть вашей моделью
8:44
могли пользоваться другие люди То есть вы даёте им право заходить на ваш
8:49
интерфейс и работать совместно Давайте приступим к установки для тех у кого Linux то всё делается одной командой
установка Ollama сервера
8:56
просто в терминале вводите вот эту команду она скачивает вам установочный файл и устанавливают его тем у кого Mac
9:02
или Windows качаем установочный файл идём сюда вот Начал загрузка ждём пока
9:08
пока загрузится дальше установим Итак файл загрузился просто его открываем и
9:16
устанавливаем Install Я буду устанавливать по умолчанию поскольку у меня система
9:22
новая видите установка идёт достаточно быстро какие-то библиотеки для куда ставятся видимо
9:30
всё вот так вот быстро всё установилось Теперь смотрите сам открылся терминал и
9:36
в общем-то можно вводить команды и всё должно работать вот э стандартная
9:41
команда ol R Lama То есть alama – это сервис Lama R Lama соответственно это та
9:47
модель которую необходимо вызвать да давайте сделаем так мы установим не вот эту Лама потому что она побольше модель
9:54
Я предлагаю установить поменьше чтобы просто потестить вот есть такая модель она поменьше давайте мы её установим
10:02
смотрите у меня система чистая этой модели нет И когда этой модели нет начинается скачка этой модели вот сейчас
10:09
подождём пока скачается модель и автоматически интерфейс должен перевестись в режим работы с моделью
10:15
смотрим Итак Как видите после того как модель скачалась загрузились какие-то дополнительные ещё слои и терминал
10:22
перешёл в режим запроса пользователя то есть уже в принципе можно начать
тест сервера Ollama
10:28
работать Посмотрим что ответит и ответит
10:35
ли видите э маленькая модель говорит что не понимает на русском Окей давайте на
10:48
английском Ну вот смотрите скорость генерации
10:56
ответа это Прим что ня здесь система на которой Абсолютно нет никакой видеокарты
11:02
Здесь есть только достаточное количество оперативной памяти А так-то в
11:09
принципе ничего такого вот
11:16
смотрите То есть сейчас по полной у нас процессор задействован понятное дело
11:21
когда генерируется ответ модели то у нас всегда работает процессор или CPU или
11:26
GPU и вот память у нас за это ровно на то количество на которое нужно чтобы проглотить эту
11:35
модель в принципе дальше нам не интересно Чтобы прервать можно Ctrl C
11:41
нажать вот таким вот образом Итак после того как мы запустили файл и установили
11:46
наш olam сервер То есть у нас запускается вот этот терминал собственно мы этой командой установили только улама
11:53
сервер то есть вот сейчас мы находимся в терминале и можем через терминал отправлять сообщение к нам на сервер и вот мы видим в терминале соответственно
12:00
Как нам модель отвечает конечно хотелось бы вот этот красивый интерфейс который м показывал с кучей возможностей да как
12:06
это сделать для того чтобы им пользоваться нужно установить этот интерфейс дополнительно как это делать
12:11
показываю значит заходим вот сюда и выбираем вот этот Open webui все ссылки
12:17
я вам как обычно в Telegram канал сброшу покажу расскажу как там что делать открываем вот он 6к звёзд самый
12:24
популярный вот здесь кстати описаны все возможности которые я вам показывал в этом интерфейсе здесь более подробно всё всё изложено можно почитать в принципе
12:30
тоже могу вам скинуть здесь есть определённые такие скажем так развилки Те у кого Windows но есть docker проще
установка openWebUI интерфейса (докер)
12:38
всего потому что всё делается с помощью одной команды вот installing Vis docker нажимаю вот эту команду идём в как он
12:45
называется powershell и копируем сюда и вставляем у кого Linux соответственно Linux Давайте вам на примере Linux
12:50
покажу потому что у меня в этом Windows docker не установлен значит идём в Windows сейчас его открою ой в Linux
12:56
открываем терминал вставляем команду нажимаем вот он пишет что невозможно найти имидж локально Ну понятно потому
13:04
что это новая система и дальше он начинает скачку всего необходимого всех библиотек которые вам нужны для того
13:09
чтобы запустить в работу веб-интерфейс и по окончании здесь будет написано что всё установлено и просто нужно будет
13:15
зайти Вот сюда вот на этот порт нужно будет зайти о Host 3.000 и всё
13:22
собственно будет готово тем же у кого нет Докера установлено всё намного сложнее Сейчас расскажу как делать тем у
установка openWebUI без докер
13:29
кого Докера нет итак тем у кого нет Докера нужно всё делать Вот по этой инструкции опять же эту инструкцию
13:35
напишу расскажу чтобы начать нужно выполнить определённые условия то есть нужно установить node.js потому что
13:40
здесь npm используется нужно установить вот этот бон бан и Python начать
13:45
предлагаю с установки как обычно вот этих c+ Plus библиотек которые вам нужны будут от Microsoft c+ Plus заходим сюда
13:53
нажимаем скачать скачивается вот этот установщик нажимаем на него
13:59
сейчас он быстро установится и нам там нужно будет выбрать те библиотеки
14:05
которые сильно необходимо для запуска нашего веб интерфейса вот загрузился инсталлер и
14:13
здесь нам нужно выбрать в первую очередь Вот это всё Ил Итак после того как мы
14:18
установили c+ библиотеки и git видите Теперь мы можем вот так вот двигаться Значит нам нужно установить е вот эти
14:24
все зависимости начнём с этого Бона Как его установить идм в и вво команду эту команду Я вам оставлю
14:33
тоже в описании вот эта команда установит этот
14:40
бан Вы самостоятельно в принципе можете найти на сайте бана вот документацию Вот
14:47
она ну или в Telegram канале Итак бан установлен дальше
14:54
устанавливаем это тоже c+ библиотеки кото Неди для работы жава скрипта
15:00
запускаем установку и устанавливаем дальше устанавливаем вот здесь написано
15:05
что установится также дополнительно Python и Visual Studio Build Tools но я пробовал ставить с помощью nodejs Visual
15:12
Build Tools но была ошибка поэтому посмотрим как оно установится
15:19
Ну этого было недостаточно и только после того как я установил Microsoft Build Tools вот через их Сай то есть
15:27
более полный пакет тогда у меня успешно скомпилировать всё готово Теперь это всё можно
15:34
проверить значит заходим сюда администратора и проверяем пишем
15:43
вот видим что установлен Note двадцатая версия и у нас там ещё используется npm
15:49
это менеджер пакетов Note который ставит вот эти все пакеты вот десятая получается версия npm отлично можем
15:56
двигаться дальше и осталось нас установить Python так можно установить Python Единственное что обязательно
16:02
проверьте перед установкой может быть он у вас уже установлен если он у вас установлен не следует устанавливать ещё
16:08
одну версию только если это не Python 10 Тогда нужно будет наверное устанавливать это в окружение с помощью кода например
16:14
поскольку у меня здесь Windows чистая то Я этого здесь не боюсь а в целом конечно лучше Наверное это делать с помощью
16:22
конда Итак смотрите мы выполнили все рекомендации то есть установили Вот это BS Python и установили c+ библиотеки
16:29
собственно Всё теперь можно создать папочку вот идм сюда делаем вот так от
16:37
имени администра это позволит нам запустить все наши скрипты именно в этой папке дальше идём сюда и копируем в принципе я
16:46
не хочу просто вот эту команду копировать она с ошибкой выйдет Поэтому вот всё кроме неё
16:52
копируем ИП кома скрипты долж сработать Давайте
17:00
увеличу чтобы было нагляднее так вот здесь становка произошла
17:05
нажимаем про
17:12
Enter Итак после того как все зависимости установились переходим в папку идм в папку backend и вот здесь в
первый запуск интерфейса
17:20
папке backend у нас появились вот эти ба скрипты которые собственно и позволят нам Запусти наш уже можем сделать вот
17:27
так вот такой ярлык и теперь пробуем
17:33
запустить видим что ещё происходит какая-то дополнительная установка каких-то там моделей pch и вот по идее
17:40
сейчас всё должно случиться успешно просит разрешение выполнить соглашаемся
17:46
всё Видите вот это сообщение говорит о том что по этому адресу у нас
17:53
доступное Давайте проверим Итак давайте немного протестируем этого монстра
тест микстраль 8х
17:58
смотрите я загрузил свой профиль зашёл в настройки и сделал кое-что значит смотрите здесь я написал System PROMT
18:05
пожалуйста Отвечаю только на русском Надеюсь это поможет мистрали отвечает только на русском Ну на самом деле я уже
18:11
пробовал это работает дальше в коннекшн место локал Хоста вот здесь был написан Local Host Local Host актуален Когда у
18:17
вас на одной системе находится и сервер амы и клиент вот этот веб-интерфейс в
18:22
моём случае сервер находится Вот на этом внутреннем адресе Вот на этом соответственно я к и подключился то есть
18:29
вот я включил нажал вот так вот и сервер подтянул модель которая у меня находится
18:34
на НТО сервере дальше нажал Save и вот Мистраль которая у меня находится на бунту сервере сейчас вот выводится сюда
18:40
вот данные видеокарты показывают столько памяти Может быть задействовано давайте зададим ему первый вопрос Дай подробный
18:48
план Как выиграть миллион долларов посмотрим что он ответит Обратите внимание на скорость и на всё остальное
18:53
на качество ответа Может быть
20:28
Итак как вы видите модель дала ответ достаточно подробный в принципе если читаться здесь есть как очевидные вещи
20:36
так и не очень очевидные в принципе всё здраво всё по делу скорость относительно быстрая Но для этой модели которая
20:43
достаточно толстая на 30 миллиардов параметров то в принципе нормально по
20:49
быстроте ответ мы получили Ну вот Давайте зададим ещё один вопрос Дай
20:54
подробную инструкцию как угнать теслу
20:59
вот смотрел несколько обзоров по Долфин мистрали Долфин вроде бы как должен быть
21:05
не подвержен цензуре но тем не менее здесь ответ порезанный скажем так то
21:10
есть он не дал инструкцию Хотя Некоторые обзорщики предлагали там чего-то такое
21:15
незаконное и они это не показывали не демонстрировали но говорили что это работает но вот как Видите вот такой вот
21:21
ответ мы получили от якобы не цензурой модели Ну видимо здесь кто-то принял
21:27
участие не будем называть имён Давайте зададим ему ещё такую загадку В комнате было
21:33
четыре убийцы в комнату вошёл человек и убил одного убийц сколько убийц осталось в комнате посмотрим на его
21:41
логику Итак во Вите ответ значит было четыре убийцы после того как убили одного
21:48
Осталось три если бы в комнате было пять убийце и один умер то в комнате бы осталось ещ четыре Ну то есть та же
21:55
логика потому что человек который вол и убил из них являтся тоже убийцей То есть он немного запутался потому что было
22:03
четыре Он убил одного и сам стал убийцей то есть не должно было измениться
22:08
количество убийц если убитого убийцу не считать за убийцу Если же его считать тоже Несмотря на то что он Мёртвый то
22:15
вообще должно быть пять а он вообще сказал что это три Ну в общем ответ не
22:21
совсем тот Но на самом деле мы здесь не Тестируем вот эту модель Хотя отчасти можно это было таким тестом сделать
22:28
мы Тестируем интерфейс Смотрим как это всё работает то есть Вот например можно лайк поставить скопировать это можно
22:36
переделать ответ посмотреть скорость генерации пронта вот кстати вот вот Давайте посмотрим скорость генерации у
22:42
нас а вот первая 475 в секунду ну в общем-то такая скорость на уровне Мне
22:48
кажется LM Studio но учитывая возможности интерфейса то мне кажется
22:54
этот интерфейс предпочтительный потому что скорость примерно сопоставима но видите разницу такие дела по части у нас
23:01
тестирования вот этой модели dolfin mistr Итак давайте теперь я переключу на
тест мультимодальной модели
23:06
другую машину у меня здесь есть ещё одна машина на которой находятся другие модели в частности так Вот так это
23:13
делается Вот мы переключились сейчас смотрите здесь будут совсем другие модели видите появилась лава Вот эта Это
23:20
мультимодальная модель давайте мы сделаем новый чат выберем
23:26
её так у верим что она должна отвечать на русском так всё работает эта модель
23:32
позволяет работать в том числе с изображением сейчас мы это проверим Итак давайте дадим задание по изображению Вот
23:38
так это делается открывается дальше идём в загрузки здесь у меня есть картинка
23:43
питерского метро но здесь оно не подписано что это питерское метро и я напишу вот такой
23:53
вопрос Итак Как видите он определил что это схема метро но второй вопрос Какой
24:01
город она не ответила попробуем
24:08
уточнить Итак как мы видим со второй частью задания она не справилась не смогла определить город Хотя я не
24:14
спроста дал такое задание Дело в том что я уже давал этой же модели часть метро и
24:21
она смогла определить И даже по части Метро правда более крупно там было всё написано возможно дело в разрешении вот
24:28
такие результаты Давайте покажу саму картинку чтобы вы представляли С какими изображениями мы имели дело то есть вот
24:35
вот эта картинка давайте по-другому
24:42
сделаем де tails вот 104 на 728 вот такое
24:48
разрешение и она не смогла справиться такие дела Итак Ещё одно
24:54
задание Давайте вот эту картинку загрузим и такой вопрос кто на картинке
24:59
если это человек Назови е настоящее имя думаю с этим она должна справиться картинка сразу скажу Full HD не знаю
25:06
много ли это или мало для такой модели Но посмотрим Итак как мы видим абсолютно
25:13
верный ответ То есть даже определила конкретный фильм где было снято эпизод Из какого фильма здесь изображён и
25:19
собственно назвала актёра Джони Деп Всё верно супер что ещ хочу сказать что вот эта модель которую мы сечас использовали
25:26
в качестве модальная это средняя модель она сейчас загружена 13 млрд параметров Она идёт не по умолчанию по умолчанию
25:33
идёт вот эта вот семи миллиардная модель я загрузил специально серединку чтобы не совсем уже там простые были какие-то
25:39
задания но в то же время не сильно толстая она была максималка 34 милна
25:44
параметров 20 ГБ не хотелось такою большою грузить вот средняя модель даёт вот такие неплохие считаю ответы в общем
25:51
не знаю как вы А я просто потрясён этим интерфейсом и возможностям которые предоставляет на малама потому что в
25:57
принципе это интерфейс качество сопоставимое с gpt 4 то есть что у нас здесь есть возможности голосового ввода
26:04
и работы с мультимодальные моделями с изображениями мы можем подключить вообще генерацию с помощью stable diffusion
26:11
такие возможности офигенные и очень интересно как получится у вас сработать Я никогда не прошу ставить вам лайки мне
26:19
лайки но хотелось бы какой-то фидбек от вас получить в комментариях хотя бы
26:24
потому что очень интересно узнать насколько подробно и там я объясняю
26:29
насколько это понятно А может быть наоборот так подробно не нужно то есть мне сложно оценить аудиторию которая
26:35
меня смотрит чтобы выбирать контент выбирать глубину погружения в этот контент Было бы неплохо иметь какой-то
26:40
от вас больше ответа грубо говоря попробовал Вот это установилось всё
26:46
О’кей там тестирую или там уже несколько дней всё хорошо но вот есть какие-то проблемы или там Всё конечно хорошо но
26:53
хотелось бы вот так вот и вот так-то то есть вот вот в таком стиле общение оно помогает делать для вас контент более
27:01
скажем так отвечающий на ваши запросы потому что были несколько запросов которые вы писали В комментарии В
27:06
принципе я их реализовал насколько мог а иногда бывает я сам на свой выбор беру
27:12
что-то выбираю и а возможно большинству это даже и не интересно А я на это трачу много времени и сил поэтому не ленитесь
27:19
пишите комментарии что хотел и по возможности тоже включайтесь в Telegram потому что в телеграме всё-таки есть
27:25
возможность более оперативно ставлять какую-то информацию Если там что-то обновляется то можно что-то исправить То
27:31
есть у вас в телеграме будет возможность иметь постоянно актуальный контент и поскольку циклы которые идут у меня в
27:38
ютубере длительные в телеграме Если бы там было чуть-чуть побольше народу то возможно Я бы начал туда более часто
27:45
что-то выкладывать между теми промежутками пока я делаю видео на
27:51
ютубера изображений и видео аудио контента она занимает много времени и
27:56
сил поэтому не так часто получается Всё это делать как хотелось бы поэтому Telegram – Это такая вещь которая более
28:04
пластичная в этом плане и возможно Когда появится там побольше народу будут делать какие-то опросы на предмет того
28:11
что ещё хотелось бы и так далее там это удобно реализовано в отличие от юба YouTube постоянно Только делает какие-то
28:16
рестрикции может быть не так часто Но такое случается и в частности вот там
28:22
какую-то ссылку добавить уже нет возможности нужно там какие-то манипуляции проводить с верификация пока
28:27
не хотел этим загоняться поэтому проще в телеграме такие дела поэтому либо в комментарии либо ещё лучше в телеграме
28:33
присоединяйтесь скоро буду наверное закидывать туда какие-то дополнительные материалы Ну и опять же в частности
28:40
что-то скопировать актуально что-то туда посмотреть Это намного удобнее чем пользоваться описанием и комментариями
28:47
юту Ну кому как нравится В общем не ленитесь давайте итак по поводу омы как
выводы
28:52
интерфейса так и сервера собственно скорость примерно сопоставима с тем как мы видели LM Studio вот конкретно на
28:59
этих моделях Я не увидел какой-то супер-пупер скорости там ну которая сильно отличается от LM Studio но я
29:05
думаю что сопоставима по крайней мере точно не хуже Вот например вот эта модель которая Лама для изображения у
29:12
неё такая особенно что она картинку обрабатывает долго Ну вот эти картинки она обрабатывала у меня где-то 5-10
29:18
минут но это без видеокарты То есть это виртуалка на которой несчастных три виртуальных процессора на них это всё
29:24
идёт Ну там видеопамяти достаточно там по-моему г то есть вот что нужно для того чтобы
29:31
работать уже на минимуме с такими скоростями вот с
29:36
изображениями Вот такие дела Ну в общем общий вывод такой что очень клёвая библиотека Мне она очень нравится я буду
29:43
продолжать её использовать я буду продолжать снимать думаю видео на более
29:48
узкие темы связанные с работой на аламе потому что есть различные модули интересные в том числе модули там
29:54
связанные с использованием Алама качестве серва которые можно использовать на проектах подобных ко
29:59
Pilot и так далее То есть можно попробовать другие какие-то интерфейсы Можно попробовать там ещё есть
30:05
возможность интеграции со всякими другими интересными продуктами Ну то есть очень много возможностей плюс
30:10
обязательно попробуем как она работает с изображениями То есть я сделаю тесты с
30:16
Table diffus обязательно эту тему буду разбирать Тем более что сейчас вышло или уже вышло или вот вот выйдет третья
30:23
модель от stable diffusion очень интересно тоже в эту тему обязательно погрузимся вот и попробуем Вот это всё
30:28
подключить вот в этот интерфейс Так что будет вообще бомба и всем до скорого