Кто победит: мощная нейросеть или проверенный временем алгоритм из Scikit-Learn?
В этом видео мы сравним два подхода машинного обучения на одной и той же задаче: от подготовки данных до финальных результатов.
Узнайте:
✔️ Как работают нейросети и алгоритмы из Scikit-Learn.
✔️ Чем отличаются их подходы к обучению.
✔️ Кто быстрее, точнее и эффективнее.
Готовьтесь к захватывающему сравнению!
Таймкоды
00:00 Введение в нейронные сети
- Нейронная сеть состоит из входного слоя, скрытых слоев и выходного слоя.
- Входной слой содержит все значения, скрытые слои обучаются, а выходной слой формирует вектор уверенности.
- Вход-вектор используется для облегчения обучения модели.
02:01 Подготовка данных
- Данные загружаются с Google Диска и импортируются в Python.
- Используются библиотеки для работы с Google Диском и Pandas.
- Данные делятся на тренировочные и тестовые наборы.
10:22 Создание модели
- Создается модель из библиотеки Scikit-learn.
- Используется дерево решений для классификации данных.
- Данные делятся на тренировочные и тестовые наборы.
12:02 Создание модели TensorFlow
- Импортируются библиотеки для работы с TensorFlow.
- Создается модель TensorFlow для классификации данных.
- Модель обучается с использованием статистического градиентного спуска.
16:56 Создание модели PyTorch
- Создается функция для создания модели PyTorch.
- Определяются входные и выходные слои, а также количество нейронов.
- Модель обучается и тестируется для оценки результатов.
19:51 Метод обучения и переобучение
- Обсуждение метода обучения и переобучения.
- Пример с 500 эпохами и 250 эпохами переобучения.
- Важность построения графика для определения переобучения.
20:46 Критерии и потери
- Обсуждение критериев и потерь.
- Порядок передачи критериев и потерь не важен.
- Использование оптимизатора для обучения модели.
22:38 Тестирование модели
- Тестирование модели с использованием потерь.
- Определение переменных и параметров модели.
- Создание тройного списка потерь и тестовых потерь.
24:49 Преобразование данных
- Преобразование данных в тензоры.
- Импорт необходимых библиотек.
- Запуск и тестирование модели.
26:31 Ошибки и исправления
- Исправление ошибок в коде.
- Комментирование и исправление ошибок.
- Продолжение обучения модели.
27:48 Построение графика
- Построение графика потерь и тестовых потерь.
- Настройка легенды и отображение графика.
- Определение точности и потерь модели.
29:26 Лидерборд
- Создание функции для лидерборда.
- Определение первого, второго и третьего мест.
- Оформление лидерборда и вывод результатов.
34:24 Итоги и выводы
- Подведение итогов соревнований.
- Определение победителей и призеров.
- Заключение и прощание с зрителями.
Таймкоды сделаны при помощи Нейросети YandexGPT – Ссылка https://300.ya.ru/v_oThLbFlB
Расшифровка видео
0:00
Здравствуйте мои дорогие подписчики Сегодня я заставлю соревноваться нейросеть на СНР Flow нейросеть на
0:07
пайтор а также модель из библиотеки Саки flor Но перед тем как ходить Давайте
0:14
разберёмся и что такое вообще термин неродная сеть неродная сеть может
0:20
определяться как вот такая большая сетка она содержит три части входной слой в
0:27
котором находятся все значения если картинка количество входных нейронов Это
0:33
количество пикселей в картинке и следующее если у нас табличные данные то
0:42
это будет количество колонок поскольку это есть факто в картинке это смотреть за каждым
0:50
поэто вот фак дальше Вторая часть
1:00
фор и выходной слой Он собирает в себе все скрытые слои и вы формирует вот
1:09
такой вот список там находится это Вектор длина его это
1:14
количество классов Да но каждое значение – Это
1:22
насколько модель уверенно что это этот класс поэтому не забывайте вызывать
1:27
np.max для того чтобы вернуть это из хо вектора хо Вектор – это такая штука в
1:33
которой Ноль – это значение мы ставим Вектор длино из количества классов везде
1:40
нули ставим а единичка стоит там где индекс равен реальному
1:47
классу там мы ставим единичку это чтобы легче было модели обучаться именно из-за
1:53
того что мыс всё использует ход вектора у нас может быть ошибка например там 250
1:59
про что ж Давайте приступим у меня уже загружен на Google
2:06
И сейчас мы узнаем использовать мы будем такую штуку как секреты Ну и позже я объясню получше что
2:13
это такое для того чтобы подгрузить мы импортируем gole из Google
2:20
импортируем для того чтобы получать Наре
2:31
дальше из Google импортируем dri как dri
2:38
conn мы подключаем Google Диск
2:45
Ой мы подгружает в папку dri Content
2:55
D даль мы дож достать ть
3:03
используете Как вы видите секрет у меня называется Ипа мы будем делать ири
3:13
Да вот тут вот находится у нас значение вот Путь будет такая штука это вот
3:19
секрет которых можно скуча и смотрите и дальше Мы импортируем
3:26
конечно и загружаем данные
3:35
ра давайте запустим сейчас он чучуть вот потом надо поставить
3:41
Google тут надо подключиться сказать ему что можно форму
3:47
заполнить эту форму везде про везде про ИС подклю
3:56
потом Как видите ня вот став если заранее поставить то не будет так
4:02
спрашивать вот исет я его уже закинула до этого на мой Google Диск тут
4:08
находится вот смотрите это длина цветочек длина этого
4:19
лепе длина стебля это ширина
4:26
стебля это длина и ширина листи и вот у нас тут три
4:33
класса цветов Давай очень редкий он очень сбалансированный поскольку смотрите
4:39
де Повари топло чтобы узнать сколько
4:45
раз ошибка Ну да это ту поскольку у нас тут нее
4:53
значения этого Давайте поставим так
5:03
сразу
5:10
ошибка Хорошо давайте поставим ВП
5:25
категори в коем случае сда 2 часа смотрел в Этот монитор и не
5:32
понимал В чём ошибка да Потом до меня дошло скате горы вот у нас
5:40
закодировано вот у нас видите ровно ровно 50 конечно маленький но отличный для ста неровных сетей тут у нас вот
5:48
ровно ровно очень редкий датасет на каждый класс Давайте маппинг
5:55
наших классов узнаем мап поэтому создадим карту нашу
6:01
мы жим
6:07
в Для этого нам знаете че надо
6:16
сделать Смотрите тут надо поставить
6:22
ко ко Это поскольку у нас
6:30
нужен два надо
6:37
поставить
6:44
сработало и значит
6:59
туса ver когда ему опять покажется сету а он не будет его новый ключ совать вот
7:06
у нас теперь карта Верника это д верси это ОТУ но мы знаем кто у нас
7:14
кто после этого давайте
7:19
мы за сплети наши даны то есть разрежем
7:25
кусочки для этого мы возьмём сплита это и отн у 08 то есть
7:34
индекс индекс где будет Как раз разделение между трейдом и Ой не DF
7:42
А кстати сейчас можно так сделать DF равно смотрите
7:53
D DF ра
7:58
ко D dat C чтобы не Мешались в памяти лишние переменные У нас сейчас нету де и
8:06
де C Зато есть D и поэтому тут ставим D й
8:15
равно D от начала до индекса с индекс и
8:20
тест также точка только отпи индекса до
8:26
конца Давайте посмотрим на йн
8:32
Ой а мы а мы перемешать
8:37
забыли Давайте перемешаем ра
8:44
1 ой ой сейчас подождите Ой у нас индекс
8:52
нете Давайте D
8:58
ракм то есть Поставь вот это вот метод он создаёт новый индекс чтобы не было
9:04
вот так вот но чтобы было 0 2 3 а не 136
9:10
76 89
9:17
23т работает Давайте скопирую
9:24
это видим что у нас уже мешано давайте отпустим Дим функцию XY которая будет
9:31
I
9:38
X я на всякий случай ставлю поскольку у меня чаще всего так бывает когда мне надо чтобы у меня ставится когда мне
9:46
надо ставится откуда ни откуда не возьмись поэтому рекомендую так ставить
9:54
я не знаю что у меня с компьютером может чего-то вообще там какой-нибудь Может вирус но советую так делать и А по
10:03
самому Вари Давайте возьмём x x y
10:09
x разделим на XY X это
10:15
XY дальше Давайте посмотрим вот
10:21
ytr Ладно всё нормально дальше дальше Давай создадим
10:30
нашу модель это первая первая часть создадим модель из
10:37
библиотеки
10:43
из по импортируем
10:50
3 Давайте будем дерево реше
11:03
[музыка]
11:15
Также как для нейронных так сейчас запустит быст
11:25
заго может
11:30
но такого не может быть Похоже я просто так не захо
11:41
выводить А ну просто это сет довольно большой поэтому Давайте
11:47
поставим вот так вот так хотя вы понимаете тестовая выборка будет побольше и тогда больше будет
11:52
возможности ши во уже 86 То есть это не один будет колебаться 86 Всё запомни
12:02
это у нас когда данные половина тест половина то есть Давайте поделим даже 150 над любопытство 75 то есть 75 Т
12:13
75 Обратите внимание она хорошо справляется хотя она и
12:18
без Теперь
12:24
давайте импортируем
12:31
из ием создаём Конечно я его не буду запускать
12:39
такая штука в которой можно смотреть как у нас обучение прошло ну у меня увы на
12:45
компьютере просто не запускается функция загружения моего табор можете у
12:52
себя дома попроб и запустить я сечас покажу какая
12:57
функция чтобы запустить смотри Call
13:03
ба tard куда-то их надо сохранять поэтому
13:15
рш и грам ку равно о Давайте проверим что это
13:24
работает Ана значит вот да
13:29
Давайте возьмём нашу модельную сеть я её называю
13:38
вообще-то
13:44
nwork это из слова из
13:50
сло потом котом будут разные слои
13:59
первый 128 можно ть поставить
14:05
с Давай можно любую поставить сюда например
14:12
там считается
14:19
она у Насри класса
14:30
друг друга дальше tensor Network то Fit
14:35
xtr ytr B Сай такие кусочки обучения
14:40
и дальше эпохи Как вы видите тут у нас
14:47
это пять строчек одна строчка но но в
14:53
пайтор это будет строчек 20 обучить модель просто Ну так
15:02
net
15:09
точ Ой я Постоянно забываю что надо
15:14
сделать очень частая моя ошибка даже сегодня кода писал делал
15:19
её оптимайз ста с
15:29
предпочитаю статистический Просто он более рандомне
15:39
тери впрочем Сюда можно поставить просто категорию Ну я узнал
15:46
про постоянно
15:55
е Вот В7 у нас 33
16:01
Ача всё очень хорошо работает о и я забыл кобак
16:08
равно равно НР смотрите когда логи будут готовы
16:14
можно вот такую функцию запустить восклицательный
16:23
знак РБО ди
16:30
Ну или какое бы Т название смотрите оно сечас запустится но о У меня завис у меня за говорит что
16:39
поставил нахо оказывается не существует потом я
16:45
не знаю как у вас будет вас можете запустить даже мне сообщить как будет реу комментов не будет этого ролика
16:54
знаю дава интересное а он пока будет
17:04
обучаться импортируем порч точ nm как
17:13
nm а создадим функцию создадим класс NN Nal
17:20
Network NN Mod ини в одной inp size
17:30
то есть Si то есть количество выходного слоя нейронов и входного то есть
17:37
количество колонок в Иксе и количество класс дальше
17:49
супер точка После этого C fc1 = NN
18:06
128 Так
18:12
[музыка] приня ну извините у меня такое бывает
18:17
компьютер тупит Ну это теже самые у нас кото
18:31
это вот состав нейронной сети берём наш функцию
18:39
активацию Не забывайте не я плохо
18:45
сказал я вам говорил про магический говорил не говорил
18:51
но но он как чувствует модель Дан То есть как она воспринимает не может Вот
18:58
просто воспринять поэтому она вот сквозь этот денс и должна провести чтобы понять какой у неё
19:04
результат поэтому аут равно Self fc1 X
19:11
только перед этим SF Ну такой обычный состав нейронки Self
19:18
Self fc2 Но уже от Алта поскольку мы не можем от икса посколько он же настроил на
19:25
результат 128 И последнее а это
19:32
просто вс готов Давайте создадим функцию кото мы будем ставить нейронную
19:38
сеть опте
19:59
ста Не забывайте сечас Сегодня у нас довольно другой метод обучения
20:11
О мы её направляем на X после
20:18
этого не забывайте мы построим график чтобы узнать где пере
20:28
э пох а на а на 250 У вас переобучение когда вы поставите на 250 эпох
20:35
переобучение будет на 12п то есть обучение у нас будет всегда
20:42
Ну не задавай только вопрос Что будет после 125 Ну понятно что будет тоже
20:48
будет ещё на четверти 128 будет переобучение Давайте Потом
20:56
возьмём критери это берм
21:04
нашу потерю
21:11
тери правильно это Y сначала надо а
21:18
потом ну вообще категориальной поряд
21:23
пере фом
21:28
одинаково хоть yte yte всё равно будет всё одинаково
21:36
орп тери Back для того чтобы оптимайз пропустить
21:44
обучить модель чуть-чуть и поставить бак вот чтобы она взад шагнула и можно было
21:50
уже взять
21:56
тери то Давайте
22:27
пропептид Лос Лос вот это
22:32
вот вот так вот нас
22:37
пригото после этого Давайте протести
22:43
нашу мы возьмём кри равно l
22:51
FM net от xte yte ой yte
22:59
Ну что надо было
23:06
ytr точка it мне не надо ничего делать заград Мне
23:13
не надо делать Я просто чисто вот это вот делаю и всё
23:22
беру после этого Давайте
23:27
Mod модель оптимайз CL F Rain losos Test losos xtr ytr xte
23:38
yte на сейчас мы определим все эти переменные первое на
23:44
pox пять например N нейронная сеть N 43
23:49
входных четыре параметра три выходных класса дальше оптимайз
23:56
tch op
24:04
чтобы поставить наш оп после этого ставим нашу функцию
24:15
Потер дальше Давайте сом спи
24:30
по эпох равно критери по А И вот
24:44
тут равно то дальше тест это тоже самое но Умно
24:55
на эпо дальше
25:07
чтобы потом превратить мы просто делаем
25:15
нам Мы долж ировать
25:27
импортировать NP yt yt NP
25:32
ytr и для потом Превращаем в НР всё xtr
25:37
= TF ой torch то FL tensor
25:44
xtr xte torch flad tensor
25:49
xte ytr FL yt
25:57
yt H P yte всё
26:05
запускаем сейчас запустится всё о Вот это меня ждёт то есть всё пропустила с видите
26:11
73% точности оно у меня сидит бесконечно Пока ты вот сюда не возьмёшь смотрите я
26:16
захожу на Local Host кстати и всё локал Хоста не
26:23
существует Я кстати тут
26:30
а я забыл ytr
26:38
Толо должно влон Давайте
26:43
о это самое мо я больше всего ненавижу это так вот тут то
26:52
то я ненавижу эту ошибку
27:09
она не обучается всё
27:16
так давайте я это закоментить да
27:33
Ну нет он обучается смотрите 35 33 32 30 29 поэтому давайте я его поставлю на
27:43
эпох А теперь пора строить график
27:58
Ну с цветом допустим там зелёным типа самое
28:05
лёгкое а телос будет красным самое страшное для нейронной сетки так
28:15
скажем leg ставим Легенду ишо показываем
28:24
так импортировать
28:29
Ого как быстро их сделал о смотрите А ну вот так вот
28:37
нас остановился Я уверена у нас это потеря
28:43
потому что у нас функция потери поэтому Давайте чуть-чуть его поставлю там на
28:48
10.000 быст сделает а мы пока создадим функцию для Либор и выведем наш
28:54
лидерборд ставим СС первое TF у нас
29:04
имеет точность T
29:14
Network дальше это тест Лос по минус о поскольку
29:21
последний вот смотрите это очень малень Потер
29:28
поскольку 033 – это вот точность монетки и 0,77 – это потеря монетки а у нас тут
29:38
вот смотрите где-то там меньше 0 где-то 67 это вот точность монетки
29:46
Давайте последня
29:52
следующее это
30:00
даль не буду выводить скорс это пока сюрприз Винер ма но мы не можем взять из
30:09
строк поэтому й чтобы он брал из чего по какой функции полям X где он даёт по X
30:17
Таким образом мы берём максимального победителя дальше
30:24
РБО это пер первое место – это
30:34
виннер первое место как вы видите виннер второе это тоже самое
30:41
ма равно лямда
30:47
X тут будет ми1 и X рар то есть мы не
30:54
будем брать виннера зачёт
31:04
El последня осталось оформить наш лидерборд
31:23
прин два пробела потом ставим
31:29
Ой
31:49
ладно третье ме Кстати я забыл третьего поставить
32:01
с но с
32:06
копи ой
32:13
ли потом мы удаляем то что на первом и
32:20
втором месте [музыка]
32:25
отсюда дальше и ставим в лидерборд третье
32:31
место РБО по 3 равно СРС копия по но там мы убрали
32:39
первое и второе третье – это оставшиеся поскольку у нас всего три места Да после
32:45
этого
32:59
Т Ладно давайте вот прямо тут поставим лиру Т поставлю в
33:07
скобочках скорс по р пор по
33:14
оди
33:25
скорс скор ску Р 2 и
33:34
[музыка]
33:42
последнее
33:49
Потри
33:55
and Ой тут надо поставить Один хер
34:02
Ой я самое главное забыла поставить сюда
34:08
строку что он делал
34:23
Ате поставлю вот э скобочки
34:30
первое место 86 точность второе место 73
34:36
точность третье место Ну вообще-то это не это
34:44
он [музыка] адо один минус поскольку
34:56
это 89% точности второе место 86 Ну то есть конкуренты И третье место самое
35:04
плохое это 73 Ну я его просто поставил на шую эпоху а не на 10.000 я уверен
35:11
А давайте вот поставлю на 10.000 и узнаем и вы поймёте
35:20
что Так кстати вот это можно вот раскомментировать
35:31
Да запускается вон а давайте быстренько сделаю
35:40
кое-что Смотрите вот смотрите у вас представьте какой-нибудь вот вот сюда
35:46
вот [музыка] обратно который я в начале урок
35:52
показывал вот смотрите вот у нас есть допустим Зелёная то есть
35:58
вот такой вот а кра красный Лос Это
36:03
тестовый Лос вот такое то
36:10
намдо вот нам надо найти какой место нам надо найти вот это вот место где одинако
36:18
После него идёт до него идёт нечи после него идёт
36:23
переу поэтому вот это вот место мы смотрим Какое тут количество эпох это
36:31
и какое количество эпох ставим но не факт что сработает поскольку не забываем
36:36
обучение практически всегда прот Давайте я вам объясняю
36:42
пока ой я боюсь У меня сейчас зависнет
36:50
всё Ну ладно не обязательно Это было мне хотелось чтобы видео было очень
36:56
интересно для ва С вами был опять Сергей Сегодня вы соревновани и выиграл на втором месте
37:04
стоял на третьем я хотела чтобы видео было очень интересным для вас ждите
37:10
новых выпусков и всем пока-пока