Расшифровка видео
0:00
Привет Буду вам рассказывать по поводу
0:02
парсинг сайтов мы занимаемся парсингом
0:04
уже много лет я посмотрел В 2023 году но
0:07
ещё не закончился ноябрь уже Как считать
0:09
декабрь мы идём на выручку где-то 37 млн
0:12
руб
0:13
и это конечно там какой-то
0:15
фантастический для нас результат потому
0:17
что например в прошлом году выручка по
0:19
парсингу сайто была 19 там 800 Ну короче
0:22
20 млн руб а в этом мы получается
0:24
выросли чуть ли не в два раза Я немножко
0:26
вам расскажу Инсайт и дам совет у меня
0:28
так накопилось порядка их 13
0:30
себе выписал Да тут нет никаких секретов
0:34
никакого там не знаю бинома Ньютона или
0:36
каких-то каких-то очень сложных задач
0:38
ничего этого нет поэтому каждый может
0:40
Повторить ещё больше я пишу в Telegram
0:43
ссылка есть в описании к этому видео
0:45
Подписывайтесь там такие бурные
0:46
обсуждения уже порядка 12000 человек все
0:48
айтишники Довольно интересно почему вам
0:51
рассказываю Ну всё-таки мне кажется
0:53
интересно заниматься парсингом это такое
0:55
Наше любимое детище Да потому
0:57
что потребно это бесконечный то есть
1:00
Рынок просто глубокий Я даже не могу
1:03
понять насколько чтобы вы понимали у нас
1:05
всего сейчас ну порядка может быть 6де
1:07
клиентов которые генерируют выручку вот
1:10
такую Да Причём я понимаю
1:12
что их может быть и 600 а может быть и
1:16
1.600 потому что вот когда мы начали
1:18
заниматься парсингом у меня там были
1:19
сомнения нужно это кому-то не нужно
1:21
Докладываю ребята нужно парсить сайты
1:23
нужно но когда мы говорим о парсинге это
1:25
не взлом не там по подбор пароли ничего
1:30
такого нет мы работаем чисто в правовом
1:33
поле Когда вы займётесь вы поймёте что
1:35
вы оказываете услугу по сбору открытой
1:37
информации к нам часто приходят люди
1:39
говорят Макс надо спарсить там
1:41
HeadHunter под паролем надо зайти на
1:42
какие-то площадки тендерные под паролем
1:45
надо там ещё подобрать пароль и сами
1:47
занимайтесь мы этим вообще не занимаемся
1:49
то есть бизнес партин он заключается в
1:51
том что вы собираете открытую информацию
1:53
и в
1:54
России я не про Россию тоже расскажу у
1:57
меня это в пунктах есть это очень
1:59
востребовано информации становится очень
2:01
много и людям просто реально неудобно
2:04
работать с не табличной ну не со
2:06
структурированной информацией вообще
2:08
забегая вперёд скажу если вы думаете что
2:10
большинству нужен какой-то сервис
2:12
какой-то AP какая-то база данных и тому
2:15
подобное Нет ребята реально
2:18
клиенты просят Отдайте нам данные в
2:21
формате CSV иногда в формате xml
2:25
JS чаще в Экселе самые крупные наши
2:28
клиенты отчёты у потребляют в двух
2:30
форматах json и Excel всё то есть там
2:34
нет никакого ноу-хау
2:37
Значит теперь давайте уже по существу Ну
2:39
всё-таки не забудьте про Telegram канал
2:41
там конечно интереснее Я туда пишу чаще
2:43
видео записываю один раз в 2 недели а в
2:45
Telegram пишу по пять по шесть раз в
2:46
день То есть я вот в кабинете в этом
2:48
сажусь начинаю работать и что-то пишу
2:51
Итак здесь важно отметить что когда вы
2:52
займётесь парсингом вы поймёте что
2:54
конкуренция большая про конкуренцию Я
2:56
ещё вам расскажу но у нас оказывается
2:58
что 80%
3:00
20 клито крупны Клин буквально че
3:03
крупных клиента формируют вот эту
3:05
выручку под 40 мл в год и выросли мы
3:09
сравнивая с прошлым годом и позапрошлый
3:11
годам позапрошлый год у нас было 7 млн
3:13
выручки в прошлый год там 20 Милн А в
3:16
этом Я надеюсь под 40 будет только за
3:19
счёт крупных клиентов Это очень выгодно
3:22
другой вопрос что конечно крупных
3:24
клиентов на парсинг найти сложно и здесь
3:27
это играт нам на руку Почему Потому
3:29
конкуренция и у меня есть этот пункт
3:32
забегая вперёд скажу Она просто дикая
3:34
Когда вы начнёте заниматься парсингом
3:35
вдруг увидите что на Авито на кворке на
3:38
flr на фрилансе огромное количество
3:40
умных ребят которые предлагают тоже
3:42
самое то есть они предлагают услугу
3:44
парсинга У нас есть Клиенты и которые
3:48
отдают нам объём работы на парсинг но
3:51
часть сайтов отдают нам фриланс но потом
3:53
приходит снова к нам Почему Потому
3:55
что качество Прим это знат фрилансе
4:00
работают хуже чем мы просто вопрос Когда
4:02
ты парси регулярно нужна система
4:04
поддержки чтобы вы понимали У нас сейчас
4:08
на поддержке три человека то есть три
4:10
менеджера которые работают фултайм и они
4:13
ежедневно общаются с клиентами проверяют
4:15
результаты ставит задачу программистам и
4:16
тому подобное Поэтому если вы хотите
4:19
делать бизнес на парсинге сайтов мой вам
4:21
совет ищите крупных клиентов если вы
4:23
найдёте хоть одного-двух цепляйтесь
4:25
дальше развивайте свою
4:27
экспертизу дальше
4:31
а к счастью или к несчастью мы не парсим
4:34
все сайты вообще все пар сайты наверно
4:36
невозможно есть сайты которые мы не
4:38
парсим азн мы не парсим AliExpress очень
4:41
тяжело нам даётся сайты типа
4:44
сбермегамаркет Все инструменты это вот
4:47
такие крупные игроки Там стоят сильная
4:49
защиты и здесь получается Парадокс Вот
4:52
вы будете заниматься бизнесом паркинга
4:53
Да там захотите этим сделать вас будут
4:55
просить парсить эти сайты и с одной
4:58
стороны это денежно это всё здорово если
5:00
вы там разберётесь глубоко с каким-то
5:02
конкретным сайтом научитесь обходить
5:04
защиту то вы найдёте себе клиентов сразу
5:07
мы вам совет попробовать это сделать но
5:09
реальные деньги они в массовости У нас
5:12
есть клиент которому мы парсим 600 если
5:14
уже не больше сайтов в день вот
5:16
представляете себе Да они Они не очень
5:18
сложные Я даже не буду называть там
5:20
строго инде не буду называть сайты не
5:22
буду называть сферу Но их много за счёт
5:25
этого формируется и платёж там больше
5:26
миллиона 1,5 млн руб в месяц Да один
5:28
клиент приносит и работает микро команда
5:30
которая условно говоря обслуживает этого
5:32
клиента если бы мы
5:37
концентрировать спарсить мы отказываемся
5:40
ну или там как-то очень потихонечку по
5:42
маленькому количеству ссылок и тому
5:44
подобного вытягиваем Но если бы мы
5:46
концентрировать на чём-то одном Я не
5:48
уверен что мы взяли других потому что
5:50
требует внимания Но мой вам совет как
5:54
человеку который там или команде там
5:55
микро команде который думает заняться
5:57
парсингом и смотрит Макс и думает Блин
5:58
почему бы Нам тоже не зарабатывать
6:00
Попробуйте парсить сложные сайты которые
6:02
у всех на слуху маркетплейс яндексмаркет
6:05
очень сложно Озон очень сложно Все
6:08
инструменты очень сложно там отличная
6:10
защита там очень много товаров люди
6:12
хотят парсить по разным регионам То есть
6:14
это какой-то Целый Целый Пласт
6:17
исследовательской работы Но мы к
6:18
сожалению Да ну не готовы к ней
6:21
и я очень надеюсь что в следующем году
6:24
мы когда-нибудь доберёмся до этого
6:25
пункта но пока мы не готовы дальше я
6:28
знаю что
6:30
айтишники они любят делать сервисы Ну и
6:33
вообще всегда я так знаете советую вам
6:36
не заниматься проектной деятельностью
6:38
кастомной разработкой а двигаться в
6:40
сторону продукта Докладываю мы много раз
6:42
пытались сделать из парсинга продукт
6:44
было подходов пять и сейчас мы делаем
6:46
шестой подход там вот сидит Валера в
6:49
соседнем помещении за дядя Валера и вот
6:51
он пытается делать что-то
6:53
значит что показывает наш опыт 80%
6:57
клиента хотят кастомный парсинг то есть
6:59
они не хотят получать это в виде
7:01
каких-то готового сервиса облачного Да
7:03
они говорят ребята нам нужно спарсить
7:05
этот сайт в таком формате в такие
7:07
такие-то поля положить вот этот сайт мы
7:09
хотим спарсить в таком формате положить
7:11
А вот этот Мы хотим вот вообще вот так
7:13
по-другому понимаете из всего этого ещё
7:15
Мы хотим сделать некий сводный отчёт вот
7:17
вам формат мы говорим ребят Ну это будет
7:19
стоить денег там ну я не знаю сайт вот
7:21
сейчас мы парсим для одного из клиента
7:24
чтобы вы просто понимали порядок Мы за
7:26
сайт берём до 20.000 руб в месяц там уже
7:29
сайты региональные я про это чуть-чуть
7:31
поговорю забегаю вперёд там там
7:33
Латинская Америка Бразилия Мексика Чили
7:35
Аргентина и тому подобное они говорят Да
7:38
О’кей компания крупная нам это выгодно
7:39
потому что мы не хотим сами заниматься
7:41
парсингом отчасти это ещё из-за того что
7:43
правовые моменты есть крупные компании
7:45
не очень хотят влезать в
7:48
такое зыбкое зыбко юридическое поле как
7:52
парсинг Хотя он законен да но тем не
7:54
менее юристы вот я там разговаривал с
7:55
крупными компаниями они говорят Слушай
7:57
Макс говорит Ну наши юристы говорят что
7:59
ну типа Давайте Вот вы Найдите
8:01
кого-нибудь кто вам будет оказывать
8:02
услугу по сбору информации потому что
8:04
дело какое-то мутное мы не совсем
8:05
уверены такой практики особо нет
8:07
судебной вроде данные открыты Но это
8:09
может быть и база данных а значит на
8:11
авторским правом комплекс вопросов они
8:12
говорят занимайтесь мы не хотим Хотя они
8:14
могут Да у не хватает денег вот мы берём
8:17
до 20.000 руб в месяц и вы понимаете что
8:20
это очень выгодно
8:22
А хотя я про это ещё поговорю по поводу
8:25
поддержка очень сильно растёт но тем не
8:27
менее это выгодно Если бы у нас был бы
8:28
сервис они бы к нам не пришли и не факт
8:31
что пришли бы другие поэтому парсинг –
8:33
это всё-таки кастомная работа заказная
8:35
но Что спасает это подписка про это тоже
8:38
поговорю
8:39
дальше мы вообще не даём рекламу это вот
8:42
честно скажу мы короче в этом
8:44
вопросе Я сам себя ругаю еду на работу
8:46
ругаю себя еду с работы ругаю думаю как
8:49
дать рекламу чтобы к нам приходили
8:50
клиенты на парсинг мне не приходит
8:52
Ничего в голову мы давали рекламу мы
8:54
потеряли уйму денег результат был один
8:56
клиент то неточно хотя ставили там и
8:59
сквозную аналитику пытались настроить в
9:01
общем Ну мы же профессионально
9:02
занимаемся да идти подготовительные
9:05
этапы были сделаны В итоге у нас ни
9:07
черта не получилось и все Клиенты
9:09
приходят из блога то есть мы ведём блог
9:13
плюс социальные сети мы публикуем и тому
9:15
подобное статьи на СМИ Хабр VC вот там
9:19
тематические тематические публикации на
9:21
тематических ресурсах так скажем и они
9:23
работают оттуда пришло наверное 95%
9:26
клиентов если не
9:28
больше все 100 наверное пришли потому
9:30
что у нас вообще нет рекламы
9:31
посещаемость нашего сайта сейчас где-то
9:33
наверное 3.500 4.000 унико в месяц и мы
9:38
получаем наверное две-три заявки такие
9:41
крепкие заявки по которым можно работать
9:43
да в день в рабочей Ну это звонки реже
9:46
звонят чат на сайте туда пишут Ну и
9:49
заявки на почту Я не знаю почему не
9:51
звонят но вот в основном это всё-таки
9:53
чат и заявки на почту у нас есть один
9:55
менеджер Денис в соседнем помещении
9:57
который принимает эти зая
9:59
общаются с клиентами выясняют
10:01
потребность идт программистам уточняет
10:02
можем или не можем уточняет деньги Ну
10:04
время уточняя время он понимает деньги
10:07
Да там есть час работы программиста
10:08
делает предложение Ничего как вы видите
10:11
замыслова того нет да
10:14
Но идеальная картина Если вы научитесь
10:17
давать рекламу и посчитать То есть вы
10:18
дали Там на 100.000 руб рекламу получили
10:20
там клиентов которые дают 100.000 руб в
10:22
месяц подписки если у вас это получится
10:24
шикарно У нас так не получилось дальше
10:28
т
10:29
ре раз бизне а мы выросли в два раза к
10:32
прошло году нас два ра выросли затраты
10:34
Вот и
10:36
ВС и что хочешь то с этим и
10:39
делай сейчас сем программистов работает
10:41
на на парсинг и три менеджера по
10:44
поддержки один менеджер который
10:46
занимается Ну входящей заявки вот
10:48
представьте себе команда уже какая есть
10:50
да это ребята очень умные
10:52
высокооплачиваемые имы ТМ Останови По
10:55
мере того как литы дают новы новые
10:58
са затраты на сервера на основные
11:01
средства мы много платим сейчас за
11:03
сервера на основные средства и на
11:04
команду Да ну собственно говоря Вот это
11:07
минус бизнеса проектного никуда от этого
11:10
не
11:12
деться По мере того как вот у меня тут
11:15
пункт написан следующий мы начали расти
11:17
у нас объём данных стал очень большой
11:19
наша архитектура стала работать через
11:20
жопу как обычно да когда количество
11:23
сайтов выросло Я не знаю сколько мы
11:24
сейчас объёма там перерабатываем
11:26
огромное количество данных конечно же и
11:28
мыло того что стали платить по 200
11:30
наверное 200 где-то в райне 200.000 в
11:32
месяц за сервера причём мы ни в коем
11:35
случае не арендуем облачные сервисы у
11:37
нас только выделенные сервера мы
11:39
арендуем выделенный сервер до с Это было
11:41
очень выгодно мы брали по 3.000 руб
11:43
сейчас эти сервера по 6.000
11:45
руб их прямо ставит дата-центр ну
11:48
стоечка рек Да И вот это более-менее
11:50
нормально работает сейчас я даже думаю о
11:52
том что надо делать свой микро
11:54
дата-центр так серверную комнату потому
11:56
что ну вложив мы можем их окупа у нас не
12:01
будет подписки перед нашим контрагентом
12:02
мы платим регулярно это не очень здорово
12:06
но объёмы данных резко выросли У нас
12:09
сейчас два человека в
12:11
команде два хороших программиста Макс и
12:13
Тёма занимаются только тем что
12:15
обеспечивают наш кфис то есть условно
12:17
говоря чтобы вся архитектура база данных
12:19
взаимодействие оно не
12:21
ломалось ну не берут клиентские зада
12:25
дата с клиентами зани вещь превосходная
12:30
в том числе для клиентов из заграницы
12:32
потому что они особенно д сво это там
12:35
было явно заметно они не очень хотят
12:38
связываться с местными законами и думали
12:40
так ну там есть парни какие-то далёкие в
12:43
в России в Питере да давайте у них
12:44
закажем услугу и они просто будут нам
12:47
давать данные откуда они их берут и
12:49
вообще нас не касается то есть они такие
12:50
белые пушистые с точки зрения кос да А
12:53
мы здесь такие вот как это сказать то
12:55
есть они все в Белом А мы Ну
12:57
короче говоря после это всё естественно
12:59
встало колом и сейчас у нас есть там
13:03
один заказчик из Германии мы там в
13:05
каком-то спокойном таком диалоги и он
13:07
говорит как вам платить ребята Я говорю
13:08
Ну вот там у Тинькова есть какой-то
13:10
Сервис через Армению он говорит А я
13:11
говорит узнал у своих юристов крупная
13:13
компания у них там даже проводится аудит
13:15
какой-то из большой четвёрки там
13:17
аудиторских компаний автозапчастями
13:19
занимаются он говорит Ну так не
13:21
получится даже в Армению говорят не
13:23
очень хотят платить и он говорит Давайте
13:25
я вам буду платить криптой Я думаю ё-моё
13:28
А что нам с этой криптой делать но
13:30
учитывая что деньги большие Я вроде
13:31
говорю да но там оказалась команда с
13:33
Украины в том числе работа в общем всё
13:35
стухло Но неважно проблема в том что как
13:38
принять платежи если у вас заказчик изза
13:42
границы Ну проводит некие там ау Да
13:45
compliance diligence и тому подобное
13:47
контрагентов это будет реально
13:48
проблематикой но один из выходов – это
13:51
через скрипту Если вы здесь найдёте Как
13:52
вариант как это законно обналичивать я
13:55
так и не нашёл Это всё-таки незаконно да
13:57
А других вариантов Я не знаю но может
13:59
быть если заказчики поменьше то вы
14:00
найдёте через там Казахстан Армению и
14:03
тому подобное но мы что-то не нашли
14:04
никаких вариантов но так или иначе
14:07
работа на западного заказчика находясь
14:09
здесь она выгодная история Особенно с
14:10
точки зрения как я и сказал compliance
14:13
да То есть вы по сути не нарушайте
14:15
никаких законов а заказчик тоже тут
14:17
белый пушистый что касается доходности
14:20
чисто Ну вот при выручке где-то в ноябре
14:22
было 4,5 млн руб я посмотрел на сегодня
14:25
ноябрь 2023 доходность где-то 20-25 вот
14:28
сами считаете но мы очень много
14:37
реинвестируются они уходят Ну внутри
14:41
команды на на будущее хорошо Это плохо я
14:44
не знаю но как-то надо же двигаться
14:46
вперёд Да там всё-таки выходить на
14:47
какие-то другие рынки бизнесы создавать
14:49
но здесь в
14:52
парсинге Даже несмотря на то что
14:54
доходность не очень большая потому что
14:55
это только кажется что ну что там Спаси
14:58
сай Ну один сайт не страшно два не
15:00
страшно 20 не страшно 200 Вы уже начнёте
15:03
в день да парсить ежедневно 200 сайтов
15:06
вы начнёте немножко скрипеть А когда их
15:08
будет 600-700 вы вдруг поймёте что нужна
15:10
целая инфраструктура чтобы это всё
15:11
содержать потому что клиентам то нужны
15:13
данные если они не ломаются Они ругаются
15:15
они всегда недовольны Ну клиенты вообще
15:17
всегда недовольны они считают что могло
15:18
бы быть и лучше но как бы мы не
15:20
старались
15:21
Да
15:23
дальше но вообще возвращаясь к вопросу
15:26
ведь подписка там понимаете То есть это
15:29
нивелируется тем что это подписка
15:31
проектная работа с подпиской У нас есть
15:33
компания по по разработке софта под
15:35
заказ на тимус Да Наш бизнес основной
15:37
там который там самый древний и там нет
15:39
подписки Хотя тоже проектная работа а в
15:41
парсинге проектная работа и подписка то
15:43
есть Клиенты платят регулярно и ошибки
15:45
которые мы совершаем в оценке сложности
15:48
не
15:57
додумались предложили клиенту цену Ну
16:00
например мы сказали этот сайт стоит
16:02
парсить там 20.000 руб а мы потратили
16:04
там 3 недели на настройку такое бывало
16:07
Но потом через какое-то время за счёт
16:08
того что Клиент платит 20 20 20 это
16:10
окупается я когда ребятам Ну говорю что
16:14
не страшно ошибаться Ну понятно что мы
16:15
должны делать выводы Вот они приходят и
16:17
говорят Блин Макс мы ошиблись там сайт
16:18
сложно говорю не страшно пройдёт
16:20
какое-то время и мы всё-таки купим и
16:21
начнём зарабатывать но так же не бывает
16:23
что сразу зарабатываешь как будто не
16:25
хотел то есть подписка наша всё ребят
16:27
Вот делайте бизнес
16:29
Проектный или продуктовый неважно у вас
16:31
должна быть подписка иначе вы просто
16:33
охренеешь
16:42
там растём западные заказчики теперь две
16:46
ложки дёгтя Первое – это значит огромная
16:48
конкуренция вы столкнётся с конкурентами
16:50
на Авито на кворке и тому подобное и
16:53
заказчики особенно не очень большие
16:54
заказчики будут говорить Ну там-то
16:56
дешевле вы берёте за сайт 15.000 руб там
16:58
за ри Ну аргумент здесь один пробуйте
17:02
что вам там за три Спарт и Спарт ли Это
17:05
большой вопрос чтобы вы понимали мы
17:07
сейчас заказываем на стороне я вот
17:09
сегодня только договаривался с опытным
17:11
специалистом он не в штате нам нужно
17:13
парсить яндекс-карты 2ГИС для кое-каких
17:15
целей Да там аккуратно не нарушая
17:17
авторские права куча вопросов но сами мы
17:20
не берёмся потому что мы Ну очень сильно
17:21
занята команда он за два сайта попросил
17:24
70.000 руб я понимаю да это е кстати
17:27
говоря контом Но это и стоит того он на
17:30
фрилансе это нормальная цена Я думаю
17:33
если бы к нам пришли клиенты в компанию
17:35
сказали Нам надо парс яндекс-карты 2 гиз
17:37
регулярно в полном объёме по всем
17:39
городам Ну мы бы наверное взяли не
17:41
70.000 руб а там 240 300.000 руб но у
17:44
нас и команда больше он сам один да и
17:46
издержки у него другие То есть Первое –
17:48
это конкуренция очень очень большая и
17:50
вам будет сложно объяснять цену а вторая
17:53
Когда вы занимаетесь парсингом вы
17:54
оказываете услугу и вы не получите it
17:56
аккредитацию it аккредитация это
17:58
сокращение налога на входящие деньги и
18:01
социалка очень ощутимая не получить
18:03
потому что минцифры ну и соотвественно
18:05
справедливо Вы же не разрабатываете софт
18:08
вы просто оказываете услугу у нас по
18:09
договорам оказание услуги Да мы у нас в
18:11
договоре не написано мы разрабатываем
18:13
програмно обеспечение по там этому может
18:15
быть имело бы смысл этого делать но
18:17
что-то мы не
18:18
додумались на оказание услуги по сбору
18:21
информации Ну мы собственно её и
18:23
оказываем Да автоматизированными
18:24
методами и
18:26
средствами вроде мы it компания пока
18:29
даве подходим но it аккредитацию не
18:31
получить в итоге платим большие налоги
18:32
со всеми вытекающими последствиями там и
18:34
включая то что мы например ребятам не
18:36
можем дать отсрочку от армии это минус в
18:39
телеграме больше подписывайтесь на канал
18:42
Пока
