Да, и это не кликбейт. Самое полное руководство – как заставить нейросеть работать локально на твоем ноутбуке, даже без видеокарты и интернета, абсолютно бесплатно и никаких лимитов, только твое время. Я рассмотрю несколько интерфейсов для нейросетей, которые можно установить на компьютер и пользоватся ими для загрузки нейросетей, генерации текста и изображений и их тонкой настройки.
В видео рассмотрены такие приложения – chat4all, Lm studio, text generation webUI. Я показал как их установить, настроить и начать пользоватся.
Расшифровка видео
0:00
Итак сегодня мы начинаем работу с
0:01
нейросетями локально Для чего нам это
0:03
нужно но вы понимаете если мы
0:05
устанавливаем это локально
0:06
соответственно мы ни за что не платим
0:08
Никуда ничего не отсылаем соответственно
0:10
это безопасность в-третьих мы можем
0:12
что-то там установить до установить
0:14
сделать какие-то штуки которые будут э
0:17
друг с другом работать и увеличивать
0:19
наше КПД если детальнее я вам покажу
0:22
несколько интерфейсов которые позволяют
0:24
работать с нестями то есть загружать их
0:26
настраивать отправлять запросы получать
0:28
ответы Итак погнали первый с чего я
0:30
предлагаю начать называется gpt For All
0:32
очень классный инструмент и вот то о чём
0:34
я вам говорил безопасность никаких GPU
0:37
или интернета Соответственно что мы
0:40
здесь видим заходим на их сайт здесь
0:42
можно скачать на любые из трёх самых
0:44
популярных платформ дальше Вот так вот
0:47
он выглядит и здесь у нас есть обзор тех
0:50
нейросетей которые у них есть вот Model
0:52
Explorer Здесь вы видите что их тут
0:54
достаточное количество здесь вот они
0:57
делают упор собственно на тени роти
0:59
которые могут запуститься на стандартных
1:01
там даже каких-то ноутбуках Видите вот
1:03
здесь
1:04
указано необходимая оперативная память
1:06
то есть максимум Здесь вы видите 16 Гб
1:08
нейросети с 13 миллиард параметрами
1:11
запускаются в принципе я пробовал это
1:13
действительно работает соответственно Вы
1:15
можете скачать установочный файл отсюда
1:17
вот просто кликается и начинается
1:19
закачка вот я уже его качал
1:20
соответственно скачиваете дальше очень
1:22
простая установка то есть запускаете
1:25
далее Далее далее Она к вам
1:27
устанавливается на компьютер если
1:29
открыть
1:30
страницу то здесь мы увидим описание их
1:33
проекта то есть какая-то информация
1:35
которая на сайте не написана например
1:37
вот вы видите количество звёзд 60.000
1:39
это очень много дальше Вот немножко
1:41
внутренности самого проекта и здесь
1:43
можно увидеть ссылки на документацию
1:46
которую можно почитать и Здесь также
1:49
есть вот те же установщики которые
1:51
представлены на сайте то есть по сути Вы
1:52
можете зайти сюда сразу на github
1:54
почитать здесь более детально и прямо
1:57
отсюда нажать на установку Да из
1:59
ограничение здесь единственное нужно
2:01
смотреть чтобы модель была вот в этом
2:03
формате GF Universal Format А также
2:06
чтобы ваш процессор поддерживал вот эти
2:08
вот инструкции Но как правило если у вас
2:10
достаточно новая система то я думаю что
2:13
они будут поддерживать такие инструкции
2:15
которые там позволяют работать с
2:16
какими-то тяжёлыми операциями типа там
2:19
рендера 3D моделирования вот как
2:22
раз-таки работа с нейросетями и так
2:23
далее То есть вы просто пробуете если у
2:27
вас что-то не получается то возможно вы
2:29
Уте вот проблем но в 95% случаях Если
2:33
система там не более 5 лет то всё это
2:35
будет в порядке можно не париться Итак
2:37
Когда вы Установите стартануть
2:38
приложение увидите Примерно вот такое
2:40
меню Не пугайтесь если у вас вот эта вот
2:42
часть будет заблокирована она
2:44
разблокируется как только вы скачаете
2:46
модель Как скачать модель вот Заходим в
2:48
меню если оно у вас будет закрыто
2:49
нажимаем downloads и здесь вы увидите
2:52
список моделей которые в принципе
2:54
доступны для скачивания то есть здесь вы
2:56
даже Видите вот и gp4 здесь есть вот
2:59
здесь можно нажать дальше и увидеть
3:02
остальные доступные для скачивания
3:04
модели здесь такое достаточное
3:06
количество вот значит нажимаете просто
3:09
вот download и пошло скачивание видите
3:13
соответственно это я скачивать не буду
3:15
так закрываем идём в этот
3:18
чат значит здесь что мы видим здесь мы
3:21
видим вот настройки а нет это новый
3:24
разговор вот настройки модели самой то
3:26
есть вот у меня выбра например
3:29
орка здесь вот так можно переключаться
3:32
между нейросетями то есть смотрите вот
3:35
сейчас например у меня выбрана вот эта
3:37
модель она восьми миллиардная
3:40
соответственно она там занимает около
3:43
4,5 гиб место и вот вы видите она
3:47
загружена у меня в память вот если я
3:49
сейчас выберу другую обратите сюда
3:50
внимание здесь вырастет потребление
3:54
оперативной памяти вот меняем например
3:57
оп та выгрузить Э пошла грузить
4:01
ско в рете будет заня памя должно быть
4:07
больше ну давай быстрее Ну вот уже видно
4:11
что больше ну то есть около восьмёрки
4:12
она сечас будет потреблять
4:14
соответственно будет находиться в памяти
4:17
Вот она загрузилась вот 9 ГБ Ну
4:21
соответственно сама система ещё гигабайт
4:23
потреблял поэтому
4:28
8 какой-нибудь пронт там например
4:34
4 п
4:39
4 вот сейчас мы видим что она начинает
4:43
инициализировать сначала и потом начнёт
4:45
вы давать уже текстовый промт сейчас у
4:47
меня загружена вот эта большая модель 13
4:50
млрд параметров соответственно она
4:53
инициализируется дольше и работает
4:55
медленнее Если вы хотите чтобы скорость
4:58
была побольше то
5:00
загрузите семи или миллиард модель она
5:04
будет работать примерно в два раза
5:05
быстрее поэтому тут нужно балансировать
5:07
между там качеством или там специальными
5:10
задачами которые вы хотите решить или
5:13
уже соответственно скоростью ну если Вы
5:17
никуда не спешите то собственно Почему
5:19
нет Ну вот она соответственно дала
5:20
корректный ответ вот если мы сейчас для
5:22
сравнения загрузим маленькую модель
5:25
Посмотрим есть вы обрали внимание
5:28
скорость она быстро символы печатает
5:30
Сейчас мы вот попробуем Вот она быстрее
5:33
во-первых загрузилась да то же самое
5:35
сейчас ей напишем 4 п 4
5:40
равно так ну удиви нас в хорошем
5:44
смысле вот она Несмотря на то что
5:47
маленькая но 4 + 4 наверняка знает
5:49
сколько будет хотя знаете у многих
5:51
неверо сетей с математикой проблемы
5:53
поэтому ничему не
5:54
удивлюсь так Ну уже давай быстрее вот
5:57
восем отлично всё нам больше не нужно
6:00
никаких
6:02
объяснений Так что это не тоже
6:04
справилась дальше у нас ещё есть
6:06
возможность работать с локальными
6:07
документами вот здесь вы можете добавить
6:09
свой локальный документ но здесь она Вам
6:11
скажет что нужно для начала скачать
6:14
специальную модель которая вот э которая
6:18
будет для вас делать и бендинг этой
6:20
модели то
6:21
есть специальная модель которая поет фа
6:24
вать для того чтобы можно было с мра
6:28
см варите нужно будет его скачать вот
6:31
этот он достаточно мало весит 1 Гб а
6:34
даже не 1 ГБ памяти 1 Гб на самом деле
6:36
весит Вот мало то есть берёте скачиваете
6:40
и всё и пользуетесь
6:43
так Ну а вот эти вот вещи это уже
6:46
отправлять статистику я собственно этим
6:49
не пользуюсь И как я уже говорил после
6:51
того как вы скачали модель Вы можете
6:53
вообще отрубить интернет и пользоваться
6:55
этой моделью Абсолютно без доступа к
6:56
интернету что удобно Итак следующим мне
6:59
предлагаю ра stud очень классное
7:02
приложение тоже здесь есть сразу на
7:05
сайте установочные файлы нажимаете
7:06
скачать и вот установочный файл этот
7:09
занимает где-то 500 меб скачивается
7:13
запускается Вот и в отличие
7:17
от здесь достаточно большое количество
7:21
моделей можно использовать именно не те
7:23
которые у них там прописаны А здесь по
7:25
сути любые То есть вы можете пойти на
7:30
например вот скопировать название так
7:34
так где вот сюда вставить например вот
7:37
таким образом Ну Единственное что может
7:38
быть Вот это убрать так и вот он нашёл
7:42
вот сразу вот эту модель То есть можно
7:47
брать и собственно пользоваться вот
7:49
здесь даже есть вот если так нажать
7:50
можно снова вернуться увидеть
7:53
описание так если сделать более широкую
7:57
выборку например
7:59
вот профиль человека который достаточно
8:02
много делает различных адаптаций
8:06
нейросетей то здесь вот э можно видеть
8:09
то что некоторые горят вот таким вот
8:12
цветом пожирнее некоторые вот таким но Я
8:14
рекомендую качать именно вот которые
8:17
recomended вот эти они 100% запустят
8:20
потому что вот эти могут не запуститься
8:22
ещё Если э нажать вот здесь Здесь у меня
8:26
сейчас горело чтобы он
8:30
только те модели которые запускаются у
8:32
меня на компьютере Ну вернее подходят по
8:34
настройкам Не факт что они запустится
8:36
можно найти такую которая не будет
8:38
работать например видите неподходящий
8:40
формат потому что вот этот gpq формат он
8:43
не поддерживается здесь нужно смотреть
8:45
что был вот это вот этот формат тоже
8:47
например скорее всего не будет да А ну
8:49
видите может будет может не будет Ну в
8:52
общем 100% будет
8:55
поддерживаться формат кото
8:58
смотрели соно Если хотите запустить
9:00
именно эту модель вот нужно вот найти её
9:01
вот она здесь оп есть либо сразу же
9:05
нажимать вот
9:07
так и тогда он будет фильтровать по тем
9:10
моделям которые именно доступны вернее
9:14
рекомендуются по настройкам к вашей
9:15
операционной системе вот тут что на что
9:19
нужно обращать внимание то что если у
9:21
вас не самое мощное железо там
9:25
слабенькая видеокарта то лучше брать там
9:27
сево и или максимум 13 миллиардов
9:31
параметры соответственно которые там
9:33
будут весить там 8 ну максимум там 10
9:35
наверно
9:36
гигабайт другие вряд ли пойдут если у
9:39
вас там не не видеокарта там 12 ГБ плюс
9:43
так дальше когда вы скачали модель она у
9:47
вас будет Вот доступна вот на этой
9:50
вкладке Конкретно она кладётся вот в
9:54
папку которую вы укажете либо по дефолту
9:57
там какая-то соотвественно этой папке
9:59
Вот такая вот специальная структура то
10:00
есть сначала идёт профиль человека
10:02
который выложил эту модель дальше идёт
10:04
папка с названием модели дальше уже сама
10:06
модель именно в такой последовательности
10:08
Потому что есть возможность скачать эту
10:11
модель Ну то есть не через интерфейс
10:14
этой программы а отдельно например вот
10:16
зайти сюда сюда файлы и выкачать прямо
10:20
здесь Но тогда нужно положить будет Вот
10:23
конкретно в таком порядке в которой я
10:25
писал то есть сначала создаётся папка с
10:27
названием профиля
10:29
ровно как вот здесь указано да то есть
10:32
вот вот это потом название папки с
10:35
моделью и дальше уже сам файл это нужно
10:37
учесть Итак после того как модель
10:39
загружена она у вас будет доступна вот
10:41
здесь вот в списке здесь Е можно выбрать
10:44
тоже когда вы е выбираете вот так вот
10:46
она начинает грузиться в память
10:49
соответственно соответствии с
10:50
настройками которые вот здесь указали
10:52
сечас мы настройки
10:53
посмотрим
10:58
Зару ответ
11:00
ой 4 +
11:03
4 так вот
11:06
и она сейчас должна по идее она здесь
11:10
должна отвечать чуть быстрее чем мы
11:12
видели
11:14
на предыдущем примере приложения Вот
11:17
видите достаточно быстро потому что
11:19
здесь вот какая-то наверное более
11:22
продвинутая система с работой
11:24
оперативной памяти используется потому
11:26
что Несмотря на то что там она тоже
11:28
загружалась оперативную память здесь как
11:30
вы видели
11:32
отклик быстрее идт Давайте теперь
11:35
пройдёмся по вот этим вот немножко
11:37
параметрам значит у каждой модели здесь
11:39
есть свои параметры и пресеты То есть
11:42
если пресеты доступны то они сразу
11:44
подгружается вот сюда если нет
11:47
специального пресета то убирается вот
11:48
какой-нибудь
11:50
дефолтный дальше из
11:52
интересного здесь есть
11:57
вот и
11:59
А где-то вот инициализация и вот здесь
12:03
видите птичка Keep in Mod in Ram То есть
12:06
это загружать и держать модель в памяти
12:09
компьютера в оперативной памяти
12:11
компьютера Что это значит Это значит что
12:14
модель целиком находится в оперативной
12:16
памяти и для того чтобы К ней обратиться
12:19
нужно минимальное количество времени
12:21
если вот это этим не пользуется то
12:23
соответственно процессору нужно будет
12:26
обращаться к этой модели через
12:29
жёсткий диск А это медленнее Поэтому у
12:32
кого нет проблем с оперативной памятью
12:34
то конечно рекомендуется эту птичку
12:36
нажимать и использовать вот эту опцию
12:38
так оно будет работать быстрее то есть
12:41
связка оперативная памяти и Центральный
12:43
процессор в этом случае работает быстрее
12:47
за счёт того что обращение к жёсткому
12:50
диску намного медленнее чем обращени той
12:54
же модели находящейся в оперативной
12:55
памяти там на порядке на несколько
12:57
порядков отличается знаете там жёсткий
13:00
диск там по-моему ну там сотни
13:03
мегабайт мегабит в секунду
13:06
а оперативная память там ну Гигабит
13:09
несколько Гигабит в секунду поэтому на
13:12
порядке вот также здесь есть возможность
13:15
использовать если мы дальше посмотрим
13:17
вот это вот
13:18
р GPU То есть если у вас есть хорошая
13:21
видеокарта тоже можно нажать птичку и
13:24
здесь вот опытным путём установить
13:26
количество леров которые можно
13:27
задействовать для того чтобы получать
13:29
ещё более быстрый ответ вот здесь вот
13:32
указано что у меня это используется Ну
13:35
вот по дефолту здесь используется четыре
13:36
ядра процессора так ну в общем-то всё
13:40
ещё очень важным плюсом этого приложения
13:42
L Studio Я считаю что и вот эта вот
13:45
часть локальный сервер то есть что Он
13:48
позволяет делать
13:49
запускаете Вот и у нас получается эта
13:53
модель доступна Вот по этому энту То
13:57
есть вы теперь можете и его использу для
13:59
того чтобы обращаться к ней с помощью
14:01
http запросов то есть Вот например я
14:04
сейчас открою браузер
14:06
так и обращусь к ней оп Вот видите вот
14:11
сейчас если влоги Посмотрите то здесь у
14:14
нас Get запрос пошёл ну-ка так вот Get
14:19
Видите вот мы его здесь соответственно
14:23
видим вот
14:25
об
14:27
2 Так ведь да
14:30
соответственно дальше когда мы с вами
14:32
будем делать всякие интересные
14:35
приложения То есть когда можно будет
14:37
интегрировать
14:39
а саму модель в другие приложения то вот
14:43
это вот Очень полезная штука таким
14:45
образом можно будет создавать такой инс
14:46
и обращаться к самой модели которая
14:48
находится у вас на локальном сервере это
14:50
очень важно Ещё один очень классный
14:53
интерфейс который хочу рассмотреть Чуть
14:55
более посложнее но он того стоит
14:58
называется Text Generation webui значит
15:01
здесь что из плюсов Из плюсов то что
15:03
здесь расширенная поддержка файлов
15:05
смотрите есть поддержка gpt формата avq
15:09
и вот эти все вот этот мы уже видели в
15:11
действии соответственно Кто хочет
15:13
конкретно вот такие форматы то возможно
15:17
это будет единственная альтернатива
15:19
вообще оно тоже достаточно популярное и
15:22
строится на базе вот здесь даже написано
15:25
на базе gro gradio – это
15:27
такой проект
15:29
осный который был написан то есть
15:32
веб-интерфейс который был написан на
15:35
пайтоне И видимо поэтому он приобрёл
15:37
популярность в отличие от жава скрипта
15:39
что видь очень многие вещи здесь по
15:43
нейросетям работают именно с
15:44
использованием Python скриптов вот
15:47
поэтому вот этот грао проект собственно
15:49
лёг в основу и Table diffusion
15:51
интерфейса я вот помню такая вот похожая
15:54
кнопочка и вот этого просто чтобы Мы
15:56
понимали откуда ноги растут Итак Давайте
15:59
попробуем всё это дело установить вот
16:00
чуть-чуть спускаемся ниже здесь видим
16:02
how to Install самый простой способ
16:05
просто нажимаете и начинаете качать файл
16:10
вот когда этот файл скачается Заходите в
16:14
папку так
16:16
распаковывается вот эта
16:19
Папочка Так значит там дальше нужно
16:22
запустить какой-то файл Сейчас
16:25
посмотрим Run Значит у меня Linux я
16:28
запускаю вот этот файл Ну у кого Windows
16:31
запускается соответственно батник вот
16:32
этот в принципе без разницы
16:36
так ещё раз Start
16:39
Linux Start Linux вот этот
16:43
файл А ну возможно ещё его нужно
16:46
исполнить так сейчас посмотрим что я
16:48
здесь
16:50
Ага
16:56
так вот пошла установка каких-то пакетов
17:00
которые там наверное прописано в
17:02
рекомендациях вот здесь есть
17:04
requirements я так что понимаю то есть
17:08
есть часть пакетов
17:10
которая касаются работы на процессоре А
17:14
есть который с видеокартой но почему-то
17:16
он сразу
17:18
начинает А наверное в процессе
17:21
инсталляции наверное сейчас задаст
17:23
вопрос Вот он устанавливает конда это
17:26
кстати очень важная штука потому что
17:28
кода она изолирует виртуальное
17:32
пространство и получается зависимости
17:35
которые могут
17:36
ломаться в данном случае Бут в порядке
17:39
вот дальше идёт соответственно установка
17:41
пакетов и нужно дождаться пока всё
17:44
пройдёт успешно вот и через какое-то
17:46
непродолжительное время он предлагает
17:48
ответить на вопрос каков ваш графический
17:51
процессор у меня вообще есть N но я
17:54
думаю что я для частоты эксперимента
17:57
выберу что у меня нет я хочу работать на
17:59
центральном процессоре выбираем нет вот
18:01
и в соответствии с моим выбором он
18:04
дальше устанавливает необходимой
18:06
библиотеки ждём успешного установки Если
18:09
вдруг автоматическая инсталляция которую
18:11
вы запускали произошла с ошибкой либо
18:14
прекратилось и ничего не происходит то
18:17
видимо В вашем случае нужно сделать всё
18:19
вручную Здесь тоже ничего страшного
18:21
значит вот идём вот к этому пункту и
18:24
начинаем чит первое нам нужно установить
18:26
саму кончит качаем ку кода запускаем для
18:30
установки дальше создаём окружение конда
18:33
с определённой версией пайтона дальше
18:35
активируем это окружение и попадаем
18:38
получается в папку Вот это конда где
18:40
находится наше окружение дальше нам
18:43
нужно установить pytorch причём именно
18:46
той версии которая подходит под вашу
18:48
конфигурацию то есть в большинстве
18:50
случаев у вас будет либо Вот это
18:52
соответственно вы устанавливаете вот эти
18:54
пакеты либо вот это как вы решите с NV
18:57
или без N соответственно если без NV то
19:00
устанавливается Вот Эти пакеты это самая
19:02
длительная установка будет после того
19:04
как вы это
19:05
установили третий этап значит скачать
19:08
Снова Вот эту вот папку T Generation
19:13
либо с помощью либо с помощью файла
19:17
распаковать если это файл Зайти в эту
19:20
папку и Запустить вот эту команду эта
19:23
команда запускает установку всех
19:25
необходимых скриптов посде у вас опять
19:29
же вилка Какая у вас конфигурация то и
19:31
соответствующий скрипт нужно будет
19:33
подставить после вот этого R вот сюда то
19:36
есть вместо вот этого подставляем
19:39
что-нибудь из вот этого или вот этого в
19:41
случае NV например вот это да Потому что
19:45
если мы посмотрим внутрь репозитория то
19:48
вот у нас несколько вариантов вот как
19:49
раз-таки один из этих файлов Мы выбираем
19:52
например возьмём CP откроем и увидим что
19:55
здесь внутри просто библиотеки
19:57
определенных версии по которая подходит
19:59
под вашу
20:00
конфигурацию Надеюсь это понятно так
20:03
после того как все эти библиотеки
20:05
установлены Вы если не активировали коду
20:08
то активируйте её Заходите в папку если
20:11
не заходили и уже находясь в этой папки
20:14
запускаете Вот эту вот команду Давайте
20:16
вместе с вами я запущу
20:19
просто запускаем эту
20:22
команду в терминале и
20:26
ждём вот
20:28
ра то есть мы можем сейчас скопировать
20:31
это URL и попасть на наш веб-интерфейс
20:37
наконец вот вот он и загрузился ура ура
20:41
Итак на веб интерфейсе У нас есть
20:43
несколько вкладок значит вот главная
20:45
вкладка Где мы можем делать запросы
20:48
модели и Одна из таких тоже основных –
20:51
это вот это эта вкладка нам необходима
20:54
потому что после того как Вы всё сделали
20:57
то моде у вас пока никакой нет Напоминаю
21:00
что это всего лишь у нас ннд часть морда
21:02
Да и для того чтобы всё работало нам
21:05
необходима сама модель то есть тот самый
21:07
огромный файл который нужно скачивать
21:09
тут есть два пути либо делать это вот
21:11
здесь то есть здесь
21:13
можно сделать вот
21:17
так скопировать отсюда Да и вставить
21:22
сюда дальше нажать Down и он
21:26
соответственно скачает вам этот файл
21:28
модель либо откачать Это здесь вручную
21:31
для этого нужно перейти на вот эту
21:33
вкладку то есть по умолчанию вот так
21:34
переходите на вкладку Файс и нажимаете
21:37
здесь скачать выкачивает эти гигабайты
21:40
которые выбираете в зависимости от того
21:43
какие у вас там видеокарты сколько у вас
21:45
ресурсов и так далее делайте свой выбор
21:48
дальше скачанную модель необходимо
21:50
поместить вот в эту папку Так у нас она
21:54
находится Вот в этой папке Text
21:56
Generation мы сходили
21:58
у нас находится вот здесь вот это папка
22:01
в которо нужно складывать модели
22:02
обязательно нужно назвать папку так как
22:04
модель и сам файл положить сюда внутрь
22:08
после того как вы это сделали у вас вот
22:11
здесь в списке она появится Вот теперь
22:14
можно выбрать подгружаются параметры
22:16
этой модели можно выставить необходимые
22:18
параметры почитайте внимательно что они
22:20
обозначают тут как бы
22:26
основном Что например вот это ра да это
22:30
такое понятие которое чаще всего
22:32
используется как раз таки diffus для
22:34
того чтобы делать Вот эту L адаптацию То
22:39
есть это специализация базовой модели
22:42
под конкретные какие-то узкие задачи Вот
22:45
поэтому скорее всего это вот это
22:48
касается именно фишек и вот эти вот
22:50
Многие из них тоже соответственно Что
22:53
нужно сделать
22:55
загружаем да кнопку
22:58
ло Вот видите происходит процесс
23:01
загрузки этой модели скорее всего её
23:03
грузят в оперативную память теперь она
23:06
готова То есть можно перейти вот в чат и
23:08
уже задать какой-нибудь вопрос Например
23:12
напиши
23:16
[музыка]
23:18
рифмованный текст на тему пиво интересно
23:23
что она ответит здесь мы видим тоже что
23:27
происходит процесс
23:29
инициализации в принципе когда мы чатом
23:31
gpt пользуемся там тоже есть какая-то
23:32
пауза когда он это всё информацию
23:35
переваривает поэтому всё происходит не
23:37
мгновенно конечно так если сейчас
23:40
посмотреть на наши
23:43
ресурсы H топ
23:48
Ой
23:50
H А здесь это не установлено Ну
23:54
ладно Ну ладно пока она пишет Я в
23:57
принципе могу
23:59
быстренько
24:02
установить Ох как интересно Ох это пиво
24:05
моё любимое оно спасает в горячий день
24:07
то есть Что удивительно видите эта
24:08
модель нормально реагирует на русский
24:10
язык потому что чаще такое не
24:14
получается не проходит она начинает
24:16
отвечать на английском и так далее Ну
24:19
вот да она загружено в памяти
24:22
Вот то есть-то около 4 ГБ заня
24:25
получаемой модель ви тут когда она
24:29
что-то пишет активно работает
24:31
Центральный процессор как собственно мы
24:32
и настраивали нашу систему мы
24:34
настраивали нашу систему на то чтобы у
24:36
нас работал именно Центральный процессор
24:38
а не графическая процессор на видеокарте
24:42
Ну вот такой результат Итак давайте
24:44
подведём итог мы рассмотрели несколько
24:46
вариантов интерфейсов которые позволяют
24:49
работать с нейросетями локально Значит у
24:52
нас был Chat For All было LM Studio и
24:56
webui значит то что касается Chart forol
24:59
самый такой простой базовый Вариант А в
25:02
принципе из плюсов возможно ещё это
25:05
быстродействие потому что я заметил на
25:06
гитхабе что Он написан на плюсах
25:08
возможно Если сравнивать то будет
25:10
чуть-чуть быстрее потому что там работа
25:13
идёт в том числе с тринадцати миллиард
25:15
параметрами А это для обычного ноутбука
25:18
это серьёзно поэтому возможно она чуть
25:21
быстрее чем эти варианты но не факт
25:23
дальше было LM Studio которая мне
25:26
понравилось может быть чуть больше
25:27
потому что она также проста например в
25:29
инсталляции но после инсталляции
25:31
появляется огромная возможность по
25:33
выбору моделей а также по настройке
25:36
какой-то более-менее тонкой параметров
25:39
ещё огромный плюс то что там можно
25:41
запускать локальный сервер по сравнению
25:43
с Chat forol так и у нас ещё был текст
25:47
Generation webui это чуть Более сложный
25:50
вариант
25:51
а в плане установки но зато здесь есть
25:56
огромная туча параметров
25:58
Особенно это касается работы с
26:00
нейросетями которые на графику
26:02
направлены там stable diffusion например
26:04
Так что пишите свои отзывы кто кому
26:07
удалось запустить с первого раза без
26:09
проблем На в автоматическом режиме вот
26:11
этот вариант будет интересно насколько
26:13
это безотказно работает потому что у
26:14
меня с первого раза не запустилась
26:16
поэтому я дальше проходил Вот именно
26:18
ручной вариант всё Надеюсь было очень
26:21
полезна Всем
26:23
пока