В этом видео мы поговорим, как установить локально нейросеть Llama 3.1 8b, чтобы пользоваться ей бесплатно + кастомизировать эту нейросеть через Anything LLM. Так же рассмотрим, как использовать RAG-файл через LM Studio и Anything LLM
Детально разберем, как установить локально себе на ПК бесплатную нейросеть LLama 3.1 8b на 8 миллиардов параметров, чтобы можно было ей пользоваться без интернета, безлимитно и абсолютно приватно.
А так же сделаем тюнинг и развернем ее через привычный нам интерфейс ЧатаGPT.
Таймкоды
00:00:00 Введение
- Настройка рак файла с данными для нейросети Лама 3.1.
- Использование данных локально на ПК без интернета.
- Анонимность и удобство интерфейса.
00:00:54 Приветствие и цель видео
- Андрей Бурдин представляет канал “Нейрогик”.
- Пять шагов для запуска рак файла локально.
00:01:16 Установка LM Studio
- Установка LM Studio через официальный сайт.
- Распаковка и запуск программы.
- Загрузка модели Лама 3.1.
00:02:06 Работа с LM Studio
- Загрузка модели Лама 3.1 через LM Studio.
- Локальная работа без интернета.
00:03:05 Два способа работы с рак файлами
- Сложный и легкий способы работы.
- Использование приложения LLM для загрузки рак файла.
00:03:53 Настройка LLM
- Установка и запуск LLM.
- Связывание LM Studio с LLM.
00:05:04 Создание локального сервера
- Создание локального сервера в LM Studio.
- Копирование адреса сервера и его использование в LLM.
00:06:29 Настройка рабочей области в LLM
- Создание рабочей области в LLM.
- Выбор поставщика LLM для LM Studio.
00:07:24 Загрузка документов
- Способы загрузки документов в LLM.
- Пример использования PDF файла и сайта.
00:08:01 Тестирование работы рак файла
- Тестирование работы рак файла с PDF файлом.
- Пример использования информации с сайта.
00:09:39 Легкий способ работы с рак файлами
- Использование LM Studio без связки с LLM.
- Простое и удобное использование.
00:10:59 Заключение
- Кому подходит сложный способ, а кому легкий.
- Призыв к подписке и лайкам.
- Анонс следующего видео о голосовом помощнике ChatGPT.
Ссылка в Яндексе на таймкоды https://300.ya.ru/v_9ehztYFi
Расшифровка видео
0:00
в этом видео вы узнаете Как настроить к
0:02
файл с любыми вашими данными и запустить
0:05
его через нейросеть Lama 3.1 чтобы
0:08
нейросеть использовала именно ваши
0:10
данные для составления
0:14
ответов и всё это абсолютно бесплатно
0:17
полностью локально на вашем ПК без
0:20
необходимости включать интернет а значит
0:22
вам не нужен никакой VPN чтобы
0:24
пользоваться нейросетью плюс это 100%
0:28
анонимно все ваши данные хранятся только
0:31
на вашем личном ПК вы сможете загрузить
0:33
в систему любые документы от текстовых
0:36
до PDF файлов и заставить ламу отвечать
0:39
на ваши вопросы основываясь на этих
0:41
данных всё это будет доступно в удобном
0:44
интерфейсе похожем на Chat gbt как
0:46
всегда записал для вас супе
0:48
информативный ролик поэтому
Андрей Бурдин
0:53
усаживается Всем привет С вами Андрей
0:56
Бурдин и вы на моём канале который скоро
0:58
будет переименован в гик на моём канале
1:01
постоянно выходят новые ролики про самые
1:04
топовые нейросети и конечно же
1:06
актуальным топчим является использование
1:08
файлов мы разберём пять простых шагов
1:12
чтобы запустить файл
Установка LM Studio
1:16
локально для того чтобы работать с
1:18
файлом нам нужна локальная нейронка и мы
1:20
её с вами сейчас будем устанавливать
1:23
через платформу LM Studio для этого мы
1:25
переходим на их официальный сайт LM
1:28
Studio сразу на главной странице Мы
1:31
видим что это мультиплатформенные
1:32
приложение можно установить на Mac на
1:34
винду и на Linux у меня Mac поэтому я
1:37
качаю приложение для Мака установка
1:39
супер Элементарная открываем файл
1:41
перетаскивай LM Studio в applications
1:44
далее программа распаковывается занимает
1:46
Она около 1,7 ГБ затем открываем саму
1:50
программу и залетаем в неё если мы
1:53
только что скачали LM Studio и у нас ещё
1:55
нет загруженных
1:58
нейронокс чать нашу
Запускаем Llama 3.1 8b
2:05
ламу для этого мы переходим в самый верх
2:07
экрана и жмём кнопку Select A Model to
2:10
Load Что в переводе на русский выберите
2:13
модель для загрузки и у меня сразу же
2:15
волшебным образом выскакивает нужная мне
2:17
модель Lama 8b похоже LM Studio умеет
2:20
читать мои мысли что я хочу скачать жмём
2:23
зелёную кнопку download Lama 31 размер
2:26
файла будет около 5 Гб И видим что у нас
2:29
пошла загрузка У меня она заняла 2 12
2:32
минуты потому что у меня скорость
2:34
интернета 500 Мб по оптоволокну дальше
2:37
после загрузки LM Studio сразу
2:39
предлагает нам загрузить модель мы
2:41
соглашаемся и жмём кнопку в левом нижнем
2:44
углу экрана Load Model буквально
2:47
пару-тройку секунд и мы видим что модель
2:50
загрузилась мы можем сразу же задать ей
2:52
простой вопрос Привет Чем ты можешь мне
2:55
помочь и она Шустро отвечает напомню Это
2:58
всё работает локально на на вашем ПК при
3:01
помощи вашего железа без доступа к
3:03
интернету друзья важная информация у нас
3:06
с вами будет сразу два способа как
3:08
работать с рак файлом сначала будет
3:10
сложный который вы сейчас смотрите а
3:12
потом суперлёгкий не торопитесь что-то
3:15
делать дальше пока не досмотрите до
3:17
конца всё видео чтобы понять какой
3:20
способ подойдёт именно
Установка Anything LLM
3:23
вам чтобы подгрузить наш к файл мы будем
3:27
использовать приложение anything llm для
3:29
этого мы переходим на их официальный
3:31
сайт anything lm.com.br
4:00
файл копируется он занимает примерно 1
4:03
ГБ затем открываем приложение жмём Get
4:06
started далее жмём стрелку вправо чтобы
4:08
зарегистрироваться вводим свой email тут
4:11
вообще всё Элементарно и всё теперь мы
4:13
попали в интерфейс anything
Связка LM Studio с Anything LLM
4:17
llm чтобы всё работало нам нужно теперь
4:21
связать LM Studio с anything llm для
4:24
этого мы жмм значок ключика в левом
4:26
нижнем углу затем выбираем вкладку
4:30
поставщики и и снизу жмём предпочтение
4:34
LM перевод на русский немного Кривова но
4:36
как есть дальше идём вправо во вкладку
4:39
поставщик llm и кликаем на надпись
4:42
anything llm и в выпадающем списке
4:45
выбираем LM Studio и у нас открывается
4:47
окно для связки LM Studio с anything llm
4:51
через URL Здесь также стоит функция
4:53
автоопределение но так как мы ещё не
4:55
создали локальный сервер в LM Studio у
4:57
нас тут ничего не подтянулась поэтому Мы
Создание сервера в LM Studio
5:00
возвращаемся в LM
5:01
[музыка]
5:03
Studio для передачи данных между LM
5:06
Studio и anything llm нам потребуется
5:09
локальный сервер и чтобы создать
5:11
локальный сервис у вас обязательно
5:13
должен быть выбран режим Power User
5:16
далее мы переходим по кнопке второй
5:18
слева сверху где у нас нарисовано окошко
5:20
с кодом и написано Developer дальше мы
5:23
должны обратить внимание на вкладку
5:25
loaded Models то есть на загруженные
5:27
модели у нас там должно быть написано
5:29
ready зелёными буквами и снизу название
5:32
модели Если вдруг там ничего нет то
5:34
нужно снова загрузить модель Например
5:36
если вы закрыли программу и выключали
5:39
свой ПК то нужно снова загрузить Если
5:41
всё ок И модель готова к запуску то мы
5:43
жмём зелёную кнопку Старт сервер и видим
5:46
что сервер запустился теперь в правом
5:49
нижнем углу у нас наш адрес сервера мы
5:52
его копируем и далее идём с ним обратно
5:55
в anything llm
Связка Anything LLM с LM Studio через локальный сервер
5:59
и тут у нас есть два варианта Как
6:01
сделать связку можно нажать синюю кнопку
6:04
autodetect тогда связка включится
6:06
автоматом либо вставить адрес нашего
6:09
сервиса который мы скопировали из LM
6:11
Studio и чтобы всё работало на конце там
6:14
нужно будет добавить версию AP через СШ
6:17
она у нас будет SL V1 и Вот видите у
6:20
меня уже автоматом сразу выбралась
6:22
модель Lama 31 8b далее жмём Справа
6:26
сверху синюю кнопку Save changes дальше
6:29
жмём стрелку назад снизу слева Back to
6:32
workspace и далее выбираем кнопку слева
6:35
сверху новая рабочая область дальше мы
6:38
даём имя этой рабочей области и когда
6:40
она у нас создалась Мы выбираем
6:42
шестерёнку слева сверху и Заходим в
6:45
настройки в настройках Мы выбираем
6:47
вкладку настройки чата и в самой верхней
6:50
вкладке Мы выбираем поставщика LM для
6:53
рабочего пространства тут мы выбираем LM
6:56
Studio и затем спускаемся вниз и жмём
6:59
кноп update workspace и затем жмём
7:02
кнопку default чтобы вернуться обратно в
7:04
рабочую область диалогового окна теперь
7:07
снизу по центру мы должны кликнуть по
7:09
тексту upload document чтобы зайти в
7:11
расширенные настройки загрузки и тут нас
7:14
ждёт целая куча способов загрузки
7:17
документов Вы можете просто перетащить
7:19
файл тогда он будет использован только
7:21
разово и для одного сообщения но Также
7:25
вы можете добавлять документы сюда в
7:27
память через кнопку добавить Но что ещё
7:30
более интересно Вы можете просто
7:32
скопировать адрес сайта и anything llm
7:35
вытащит информацию с этого сайта и
7:37
завернет её формат HTML документа чтобы
7:40
Вы могли использовать эту информацию для
7:43
работы с вашей нейросетью у меня тут два
7:46
документа которые мы быстро сейчас
7:47
протестируем первый – это PDF файл
7:50
который я сам создал и добавил туда всю
7:52
нужную информацию в этом документе у
7:55
меня прописаны детали про новый
7:57
процессор M4 Max который вышел накануне
8:00
у Apple Нейро сеть Lama 31 8b не может
8:03
знать детали про этот процессор потому
8:05
что она вышла на несколько месяцев
8:07
раньше чем вышел этот процессор и это
8:10
будет отличный пример того как можно
8:12
использовать информацию который
8:14
нейросеть вообще не владеет Итак для
8:16
начала мы делаем тест с моим PDF –
8:19
который я заранее подготовил для этого
8:21
мы его выбираем слева и далее жмём белую
8:24
кнопку Move to workspace и затем слева
8:26
жмём кнопку Save Ну и Теперь наконец мы
8:29
готовы протестировать как работает наш
8:31
рак
8:33
файл
8:35
Вау мы пишем запрос Расскажи про
Тестируем RAG-файл
8:38
процессор M4
8:40
Max и вот мы видим что нейросеть начала
8:43
отвечать Что это один из самых мощных
8:46
процессоров он представлен в октябре
8:48
2024 года и дальше технические
8:51
характеристики я вижу что нейросеть
8:53
чётко взяла информацию из моего файла
8:56
наш тест удался
9:01
Давайте Теперь попробуем второй вариант
9:03
при помощи забора информации с сайта нам
9:06
нужно создать теперь новую ветку чтобы у
9:08
нас снова появилась текстовая кнопка
9:10
upload document и мы по ней снова
9:12
Заходим в расширенные настройки загрузки
9:14
файлов теперь мы идём на сайт Apple с
9:16
официальным анонсом процессоров M4
9:19
копируем ссылку на эту страницу
9:21
вставляем её в текстовое поле и нажимаем
9:24
кнопку fch вебсайт далее видим что
9:27
anything llm создал нам htm версию сайта
9:30
добавляем её в наш workspace и жмём
9:33
кнопку Save и теперь пишем новый запрос
9:36
Расскажи подробно про процессоры M4
9:39
видим что нейросеть подхватила наш html
9:42
документ она прямо пишет его название
9:44
сверху и начинает писать информацию про
9:47
M4 Max друзья буквально через 10 секунд
9:50
мы с вами разберём второй лёгкий способ
9:53
работы с файлами и он вас приятно удивит
9:56
я вам обещаю на 100% А сейчас поставьте
10:00
лайки этому видео если информация из
10:02
этого ролика была для вас полезной и вы
10:04
узнали много нового а также
10:06
подписывайтесь на мой канал чтобы быть в
10:09
курсе всех новинок и фишек в мире
Способ №2 RAG-файл сразу в LM Studio
10:11
нейросетей способ номер два элементарный
10:14
сразу LM Studio С недавнего времени для
10:17
работы с файлами нам больше не нужна
10:19
связка LM Studio с anything llm мы
10:22
просто Заходим в диалог с LM Studio и
10:24
пишем наш запрос Расскажи про новые
10:27
процессоры M4 Max затем жмём кнопку
10:30
прикрепить файл загружаем наш PDF файл с
10:33
нужной информацией и отправляем запрос и
10:36
видим что внутри интерфейс LM Studio
10:38
нейросеть справляется с нашим запросом
10:41
не хуже чем anything llm и тогда
10:43
возникает вопрос зачем заморачиваться с
10:46
тем чтобы делать все эти связки с
10:48
anything llm настраивать сервер Я уже
10:51
предвижу гневные комментарии друзья
10:53
Подождите поливать меня грязью
Кому подходит LM Studio, а кому Anything LLM
11:00
Итак друзья я отмыл и теперь важная
11:02
информация кому И зачем нужен сложный
11:05
способ А кому подойдёт и простой способ
11:09
Хм для простоты использования и тех кто
11:12
ищет самое простое использование то вы
11:14
просто пользуетесь LM Studio и не парите
11:18
Но для тех кому нужно больше функционала
11:20
и настроек тому подойдёт anything llm
11:23
потому что там можно пользоваться сразу
11:25
несколько рак файлами в диалогах по
11:29
То есть вы один раз добавили файл и ваша
11:32
нейросеть постоянно даёт ответы
11:34
основываясь на этих файлах вы уже
11:36
частично кастомизировать под себя эту
11:39
нейросеть плюс там можно ещё много чего
11:42
делать например настроить нейросеть на
11:44
поиск в Интернете Но об этом мы
11:46
поговорим как-нибудь в следующий раз
11:48
друзья а сейчас ставьте лайки если
11:50
информация была для вас ценной я вам
11:52
буду очень благодарен лайки поддерживают
11:55
развитие канала и конечно же
11:57
подписывайтесь на мой канал чтобы не
11:59
пропустить ничего важного в мире
Топ-9 Способов использования Нового Голосового Ассистента ЧатGPT
12:01
нейросетей ну и Давайте смотреть
12:04
следующий ролик про топ-9 способов
12:06
использования нового голосового
12:08
помощника чат gpt Я делюсь личным опытом
12:12
как я использую голосовой чат gpt
12:17
[музыка]