https://giga.chat
промт – Перескажи текст, выдели основные мысли, сделай выводы из текста
Видео рассказывает о проекте Open ipc, который начинался как создание альтернативной прошивки для IP камер наружного наблюдения, но затем команда решила использовать их для FPV систем. Они столкнулись с проблемой высокой задержки видеопотока (более 200 миллисекунд) и решили ее путем увеличения частоты кадров. Для этого они провели множество экспериментов и разработали драйвер сенсора FPV.
Команда начала тестировать китайские IP камеры Silicon 3516 EV200 и GOK GK 7205 V200, увеличивая частоту кадров до 45 в секунду и уменьшая задержку до 100 миллисекунд. Позже они начали использовать новые IP камеры с процессором SigmaStar, включая модели 338Q и 30K, которые позволили улучшить характеристики сенсора и передачи данных.
Основные усилия команды были направлены на уменьшение задержки и увеличение частоты кадров. Они добились результатов, снизив задержку до 30 миллисекунд, что позволило занять лидирующие позиции на рынке открытых цифровых систем.
Open ipc предоставляет гибкость использования различных устройств для приема и передачи видеопотока, включая Wi-Fi модули и 4G модемы. Они также внедрили некоторые технологии в свою прошивку, основанную на Linux и Buildroot, что позволяет настраивать систему под различные процессоры.
Сообщество Open ipc активно разрабатывает новые решения и улучшает существующие, включая системы цифровой стабилизации изображения и обработку видео с использованием машинного зрения и технологий OpenCV. Также разрабатываются принимающие станции на основе различных платформ, включая Raspberry Pi и другие одноплатные компьютеры.
Проект Open ipc продолжает развиваться благодаря энтузиазму и поддержке сообщества. Команда открыта для предложений и идей, а также ищет способы монетизации своего труда.
Расшифровка видео
Вступление
0:01
друзья Всем привет Сегодня расскажу что
0:03
произошло с проектом Open ipc спустя
0:06
полгода моего знакомства с ним проект
0:09
изначально был посвящён созданию
0:11
альтернативной прошивки для IP камер
0:13
наружного наблюдения но потом стало
0:16
понятно что данные камеры можно
0:19
использовать для fpv систем Однако
0:22
большинство из них использует частоту
0:24
кадров 20-30 FPS а задержка видеопотока
0:29
составляет более 200
0:31
миллисекунд поэтому основной задачей
0:34
команды openipc стало уменьшение этой
0:38
задержки и уменьшили её за счёт
0:41
увеличения частоты кадров но для этого
0:44
надо было изучить конкретный сенсор доши
0:47
на него и провести множество
0:50
экспериментов так получился драйвер
0:53
сенсора fpv в качестве первых подопытных
Первые ip-камеры для FPV
0:56
были выбраны китайские IP камеры Silicon
1:00
как
1:01
3516 ev200 с сенсором от Sony imx 307 2
1:07
мегапикселя и её аналог gok GK 7205 V200
1:13
удалось поднять FPS до 45 кадров в
1:17
секунду а задержку уменьшите до 100
1:20
миллисекунд на тот момент это были
1:23
лучшие показателе для систем wi-fi
1:25
broadcast А уже в конце 2023 года новыми
IP-камеры с процессором SigmaStar
1:29
попыт стали IP камеры на процессорах
1:32
Sigma Star такие как 338 Q с сенсором MX
1:37
415 и другая камера 30k с сенсором MX
1:43
335 данные камеры немного дороже чем
1:46
предыдущие но имеет более быстрый
1:48
процессор больше пикселей и большую
1:51
частоту опроса сенсора ты линии Mi
1:55
вместо двух что позволяет передавать
1:58
больше данных между
2:00
и сенсором за единицу времени совский
Сравнение сенсоров IMX335 и IMX415
2:03
сенсор
2:04
415 мегапиксель имеет разрешение 4К и
2:09
позволяет опрашивать его с частотой 90
2:12
кадров в секунду а 335 немножко меньше
2:16
разрешения 5 мегапикселей и частота
2:18
опроса 60 FPS забегая вперёд скажу что
Про fps и скорость кадров
2:22
по факту можно сделать любую частоту
2:24
кадров но при этом придётся пожертвовать
2:26
размером
2:30
для 120 FPS используется Центральная
2:33
часть размером
2:35
720p а для 90 кадров в секунду
2:38
используется весь сенсор но в режиме
2:40
бинин до
2:42
1080п если сделать разрешение рши то это
2:45
увеличить задержку так как кодировщик
2:48
ограничен ресурсами процессора в
2:50
лабораторных условиях удалось получить
Задержка
2:52
задержку около 30 миллисекунд это для HD
2:56
качества данный показатель является один
2:59
из важнейших которые позволяет Open ipc
3:02
занять лидирующие позиции на рынке
3:05
открытых цифровых систем сами по себе
Как это работает
3:07
камеры ничего не передают но в них
3:10
встроен USB порт к которому можно
3:13
подключить любое устройство Лишь бы в
3:16
наличии был нужный драйвер так например
3:19
в данном случае подключается wi-fi
3:21
модуль на чипе rtl 88 12А Ну а также
3:25
можно и подключить например 4G радио
3:28
модем этот чип не случайно а потому что
3:31
позволяет принимать отправлять сырые
3:33
радиоданные и это позволяет использовать
3:36
его как радио приёма передатчик в обход
3:39
стандартных wi-fi протоколов для этого
3:42
инженерами vfb был написан специальный
3:45
драйвер и софт он слушает на
3:47
определённом порту принимает данные и
3:50
отправляет по радиоканалу и на
3:52
принимающей части тот же самый Соф эти
3:56
данные передаёт на нужный сетевой порт
4:00
можно передавать видеопоток телеметрия
4:02
osd а также можно настроить VPN тоннель
4:05
но тоннели будет работать только с
4:08
оригинальным софтом vfb Open PC внедрила
4:12
некоторые технологии свою прошивку
4:15
причём сама по себе прошивка – это образ
4:17
Linux созданный на конструкторе
4:20
buildroot который позволяет
4:22
сконфигурировать ядро под требуемый
4:24
процессор в конфигурации можно прописать
4:26
ссылки на репозитории и они будут
4:29
скомпилированный и добавлены в конечный
4:32
образ кроме сторонних репозиториев у
4:34
Open PC Есть множество своих в основном
4:38
эти наработки связаны с драйверами
4:46
видеосендер в сообщество лилось
4:48
множество сторонних разработчиков
4:50
которые внесли свой вклад в развитие
4:53
проекта например получилось подключить
4:55
камеру с тридцати оптическим зумом а
Камера с 240Х увеличением
4:58
кто-то сделал цифровую стабилизацию Вот
5:01
пример такой реализации
5:05
[музыка]
Стабилизация видео при тряске
5:39
также успешно проведены испытания по
5:42
цифровой стабилизации изображения с
5:44
использованием машинного зрения и
5:46
технологии opencv вся обработка ведётся
5:50
на приёмной части но думаю на более
5:53
мощных камерах это можно делать сразу на
5:55
борту Сейчас вы наблюдаете как работает
5:57
данная система с одной стороны картинка
6:00
без стабилизации с другой с ней
6:03
дополнительная камера имеет оптический
6:06
зум со стабилизацией что позволяет
6:08
рассмотреть объекты во время порывисто
6:10
ветра Хотя лучшим вариантом было бы
6:13
разместить на камере гироскоп с
6:15
акселерометром и объединить всё в одну
6:17
систему А что там с наземной частью а с
6:20
ней всё хорошо один из участников
Принимающая станция на видео-регистраторе hi3560v200
6:22
разработал софт который позволяет
6:24
переделать бюджетный видеорегистратор
6:26
системы видеонаблюдения в наземную ци
6:30
регистратор позволяет выводить видео
6:32
через HDMI или VGA разъём на монитор с
6:35
частотой 60 гц декодирование
6:37
производится чипом устройства что почти
6:39
не вносит задержку В сигнал далее
6:42
участники сообщества добавили osd
6:45
слайсинг и другие функции более
6:48
подробное техническое видео есть у меня
6:50
на канале ещё одна версия принимающая
Принимающая станция на Radxa ZERO 3W
6:53
станция была создана на
6:59
чипе
7:02
rk3566 плюс её в том что к HDMI можно
7:05
подключить монитор с частотой 120 гц
7:09
высокая частота значительно снижает
7:11
задержку видео Это связано с тем что нет
7:14
синхронизации между сенсором и экраном
7:17
монитора в отличие от аналоговых систем
7:21
сейчас в Open PC ведётся обсуждение о
7:24
том как решить эту проблему нам нужна
7:26
технология похожая на AMD fre и Sync
7:30
Zero 3w располагает меньшим функционалом
7:33
чем моя Orange p5 plus но имеет
7:37
компактные размеры и меньшую стоимость
7:40
общие показатели задержки и качество
7:42
картинки у них одинаковые op 5+ будет
7:45
полезен при использовании нейронных
7:47
сетей и других экспериментальных работах
7:51
так вот для данных одноплатник создан
7:53
образ Linux с настроенной системой что
7:57
немного облегчит вход в Хобби для
7:59
начинающих тем временем в проект вошло
Выпуск юнита AIO OpenIPC
8:02
несколько инженеров
8:03
схемотехника они изначально
8:05
спроектировали печатную плату
8:07
аналогичную IP камере GK 7205 V200 с
8:12
вынесением сенсора наружу исходники и
8:15
схема есть на гитхабе проекта ссылку
8:18
оставлю в описании и далее Open ipc
8:21
Совместно с компанией из Гонконга был
8:24
разработан полётный Юнит с процессором
8:27
sigmastar cc300
8:29
3Q с внешним сенсором imx 415 размер
8:34
основной платы 32х 32 мм и 19 на1 – это
8:41
размер платы сенсора с одной стороны
8:44
размещён чип обработки видео а с другой
8:47
радиомодуль на базе rtl 8812 АО с
8:52
усилителями мощности на минуточку до
8:55
1200 мвт что позволяет летать на
8:59
расстояния в качестве пробной партии
9:02
было выпущено около 120 штук таких
9:05
устройств стоимостью до 90 долларов США
9:08
которые были проданы в 32 страны был
9:11
собран максимальный фидбэк проведены
9:14
исследования и подготовлен выпуск нового
9:17
устройства в новой версии размер платы
9:20
сенсора составляет всего 14 на14 мм а
9:25
сенсорным по умолчанию стал MX 335
9:28
планируемая
9:29
поставок конец июля 2024 года ещё одной
Проект RubyFPV
9:33
хорошей новостью стало внедрение oibs в
9:36
Soft управление бпла под названием Ruby
9:40
fpv насколько понял это готовый продукт
9:43
который отображает видео телеметрию и
9:46
позволяет управлять настройками камеры
9:49
на расстоянии рекомендуется для новичков
9:52
не разбирающихся в
9:54
Linux А недавно из Telegram канала
Вывод видео на VR-шлем Oculus Quest 2
9:57
openipc я узнал о том что один из
10:00
участников ведёт тестирование вывода
10:02
изображения на 3D шлем виртуальной
10:05
реальности под названием к 2 и у него
10:09
это получилось но правда только в
10:11
оконном режиме и сейчас уже ведётся
10:13
работа по полноэкранном режиму по сути
10:16
шлем – Это тот же смартфон но с двумя
10:19
OLED дисплеями к нему подключается wi-fi
10:22
адаптер и вот у вас уже готовая наземная
10:25
станция за небольшие деньги сами очки
10:28
работают на операционной системе Android
Принимающая станция из любого Android-устройства
10:31
кстати про Android был обновлён wi-fi
10:34
драйвер который не требует root прав на
10:36
устройство и может работать с любым
10:39
телефоном или планшетом Главное чтобы
10:41
ему хватало мощности для кодирования
10:44
декодирования видеопотока Это позволяет
10:46
сделать из любого Android устройства
10:48
наземную станцию А ещё добавлен звук
Передача звука
10:52
теперь можно слышать что происходит на
10:54
борту бпла не знаю кому это надо но
10:57
датчики слз сили добавить эту опцию А
Прошивка OpenWRT
11:01
пока я создавал этот материал один из
11:03
участников сообщества сделал прошивку
11:06
Open vrt которая позволяет преобразовать
11:09
wi-fi роутер в наземную станцию и
11:12
раздавать видеопоток по сети на
11:14
несколько устройств одновременно Так что
Завершение, выводы, пожертвования
11:17
проект Open ipc развивается очень быстро
11:20
но существует благодаря энтузиазма и на
11:23
средства разработчиков не знаю как это
11:25
исправить ребятам уже предлагали
11:28
выкупить проект но они пока что верят в
11:31
свои силы Поэтому если есть возможность
11:33
поддержать вот QR код ссылку также
11:36
оставлю в описании есть регулярная
11:39
помощь на 5 долларов США или разовое
11:41
спонсорство ребята будут рады вашей
11:44
поддержке А у меня сегодня всё до
11:46
следующего выпуска Всем пока
Демонстрационный полет
11:51
[музыка]
11:59
с
12:04
[музыка]
12:46
[музыка]
12:59
Y