Software Failover Switch for UDP MPEG TS - multicat - простой переключатель IP TS потоков

Бесплатно и не сильно сложно.

(Этот метод устарел. лучшее решение - TSduck)
Переключатель UDP mpegTS собран на Multicat, о котором я писал в предыдущем посте.
Решение не очень элегантное на мой взгляд, но достаточно хорошо справляется с задачей.
Автоматическое переключение происходит при обрыве одного из потоков, а также вручную. Отслеживание состояния и переключение между потоками выполняется на удалённом сервере с Zabbix.

Source scripts are at bottom of page...

Работает следующим образом:
2 потока: основной и резервный, с идентичными PID-ами и настройками кодирования (различающимися только мультикаст адресами) записываются в RAM диск в разные папки, 1 и 2.
Записывается по 1 чанку - 5 секунд для каждого канала используя при этом ~10 Мб опреативки для двух стримов по 5 Мбит.
Запускается скрипт воспроизведения, содержащий бесконечное циклическое переключение задачи воспроизведения из папки 1 и 2. При этом есть задержка воспроизведения, минимальная для multicat - 250 мсек.
Например, при обрыве одного из входящих мультикастов временно прекращается запись  файла, например 1-го. Если воспроизводился TS именно  из 1-й папки, то через 250 мсек воспроизведение прервётся из-за окончания файла, и процесс воспроизведения завершится. По скрипту сразу запустится вспроизведение 2-го TS. И теперь, если первый фид снова прервётся, воспроизведение продолжится со 2-го TS файла.
Если прерывается 2-й фид, воспроизведение автоматически перебрасывается на 1-й TS и так до бесконечности.
В момент переключения создаётся промежуточный файл с информацией о том, какой ts сейчас вещает и отправляется SNMP trap. При ручном переключении текущий воспроизводящий multicat закрывается и запускается другой TS. Ну и само собой отправляется SNMP trap оповещение в тот же Zabbix о переключении, чтобы быть в курсе дела, а так-же добавить скрипт переключения из среды Zabbix для внешнего управления ченджовером.

На картинке: момент переключения между потоками.

При этом мониторинг не уловил момента - отсутствия потока, но показал MLR и СС. Переключение происходит очень быстро. Загрузка i3-3220 - 2-5 %. Теоретически, можно создать столько ченджоверов, сколько позволит сетевой интерфейс...

Это не прямой проброс мультикаста на прямую на выход, но у этого способа есть не раскрытый потенциал ввиде бесшовного перехода между источниками, в случае если натравить некоторый сервис обнаруживающий в потоке ключевой кадр, и при поступлении запроса переключаться именно на ключевой кадр. В этом случае при переходе на другой источник рассыпания картинки очень маловероятны.

Набор скриптов для создания Fail Over.
Читайте Readme, внесите нужные изменения в config.ini и запускайте.
https://cloud.mail.ru/public/2nzv/3aEXQ2Zv7

Исходники и доп. информация multicat на Github:
https://code.videolan.org/videolan/multicat

multicast udp mpegts - timeshift / дилэй для мультикаста TV

Timeshift for mpegts multicast

Для чего может понадобиться таймшифт / дилэй мультикаста на телевидении:

(Этот метод устарел. лучшее решение - TSduck)

• Создание региональных версий для телеканала  (запись мультикаста с отложенным воспроизведением).
• Создание резервного мультикаст потока на случай аварии плейаут сервера.
• DVR - создание копии мультикаста и его анализ.

Source scripts at the bottom of page...

Сложно было найти решение, особенно бесплатное. Было много тестов  на ffmpeg, но они не увенчались успехом. Всему виной изменение характеристик потока на выходе.
Иными словами нужно было просто записать мультикаст UDP поток и воспроизвести его через время, но в другую сетевую карту или под другим  мультикаст адресом, не меняя в потоке ничего, то есть, воспроизвести ASIS. FFmpeg так не может.
На самом деле всё оказалось очень просто. Много времени ушло на поиски того что нужно.
Это Multicat! От VideoLAN... Очень стабильный софт! Пишет, рестримит мультикасты от SD вплоть до UHD, почти не потребляя вычислительной мощности. Только под Linux.

На картинке выход стрима после multicat. FHD

Для одного из наших проектов потребовалось организовать резерв канала на случай аварии вещательного сервера. Необходимо было иметь хоть что-то на подмену, например, заглушку на время восстановительных работ. Было решено сделать циклическую запись последних суток вещания канала и создание вчерашней версии телеканала.
Настроили софт на запись канала на 24 часа. Создаются чанки по 60 минут. Все чанки, что старше 24 часов, удаляются скриптом. На самом деле необходимо наличие чанков на время задержки + 1 минута - чтобы не удалялся чанк который предназначен для воспроизведения.
Далее воспроизводим записанные чанки с задержкой 24 часа в новый мультикаст поток в ту же сетевую карту.
Тут же возникает вопрос о подмене основного потока с плейаута на записанный. Это делается разными способами, и на спец железках / коммутаторах или на различном софте. Multicat тоже может сделать такое. Уровень, конечно, элементарный, но на случай аварии спасает оперативно. Об этом в следующем посте.

Надо дополнить, что на основе этого же софта были изготовлены аварийные заглушки для множетсва наших каналов. Правда за последний час, но всё же. Не обошлось без решающего звена Zabbix.

Этот способ хорошо подходит для экстренной подмены одного из "упавших" серверов вещания. Другими словами по задумке существует один единственный сервер для горячей подмены мультикаста любого плейаут сервера.

Скажем так, у нас много плейаутов, у которых нет резерва по договору в связи с ограничением бюджета клиента. Для всех таких подобных плейаутов даже на время профилакики требуется оперативная подмена этого же материала за последний час, чтобы не составлять чёрное поле в эфире на время профилактических работ с севером.
Создаём сервер с multicat, который постоянно пишет последний час наших безрезервных плейаутов. Каждый TS складывается в свою папку с присвоенным названием канала. Таким образом, у нас на сервере замещения мультикастов собираются записи всех плейаутов за последний час.
Далее, в момент аварии (тогда, когда мультикаст не идёт с сервера N) нужно запустить скрипт изменения сетевого адреса на подменном сервере идентичный серверу N для того, чтобы рассылка мультиката шла именно с такого же адреса что у упавшего сервера. После изменения адреса сетевой карты можно запустить воспроизведение записи канала N за последний час и приступить к восстановительным работам на сервере N.
Есть некоторый нюанс. При изменении сетевого адреса карты на подменном сервере скрипты, отвечающие за запись каналов, необходимо перезапустить.
Автоматизируется это с помощью Zabbix.
Клиент Zabbix установленный на плейаут N отправляет информацию о том, что с сервера N не выходит мултикаст. Например, при выходе из строя блока питания, Zabbix клиент перестаёт отправлять данные о мультикасте на сетевом интерфейсе плейаута N на сервер Zabbix. Zabbix сервер принимает логическое решение на основании собранных данных, что мультикаст в сети пропал и отправляет команду запустить скрипт воспроизведения канала N на подменном сервере. Этот процесс надо хорошо отлаживать. Лучше пристроить систему мониторинга мультикастов, которая будет оповещать о наличии и состоянии мультикаст потока для повышения надёжности.

Набор скриптов для запуска timeshift
https://cloud.mail.ru/public/4uxm/54tSR2hMN

Stratum NTP server ESP8266 + GPS - сервер точного времени

NTP Сервер точного времени.
NTP сервер понадобился нам для синхронной работы вещательных серверов. Так-же проведённый анализ мультикастовых потоков выявил незначительное появление ошибок в момент синхронизации OS с сервером времени. Происходил сбой генерации PTS меток, как и подрыв сервиса в кодирущем софте.
По простому - каждые 1-2 дня сыпится картинка на потоковом изображении с выхода плейаут сервера. Чаще сбой происходил при кодировании мультикаста UHD разрешения 50i.
Первым делом была настроена частая синхронизация времени WIN OS и CMOS - в реестре Polling interval. - каждые 600 секунд.
Но и центральный сервер точного времени тоже нужен. Решил собрать по готовому примеру из сети , на основе wifi сетевой карты (ESP8266) и GPS модуля, которые как раз были под рукой.
Потребовалось некоторое время чтобы адаптировать проект к заливке в сетевую карту, после чего в проекте выявлена проблема преобразования миллисекунд. Миллисекунды всегда были не правильными - по отслеживанию NTP логам и криво формировались сетевой картой.
Баг был обнаружен и успешно устранён. Миллисекунды передвавлись в NTP запрос в чистом виде, а должны были формироваться как фракция секунды.


Много времени потребовалось на подбор программ для работы с готовым проектом и его заливке в контроллер.
Ниже - необходимый софт который без труда ищется в сети:

Software:
jre-8u202-windows-x64.exe
eclipse-cpp-neon-R-win32-x86_64.zip
mingw-get-setup.exe
Espressif-ESP8266-DevKit-v2.0.9-x86.exe
Espressif-ESP8266-DevKit-Addon.zip
C project for ESP8266.

Ниже: часть кода устраняющая это недоразумение - преобразование миллисекунд в фракцию секунды (milliseconds to fraction of a second):


timetmp=SecondsSince1900(GPSyear, GPSmonth, GPSday, GPShour, GPSminute, GPSsecond);
fractmp=system_get_time();
if( fractmp >= RTCcounts )
{
useconds=fractmp - RTCcounts;
}
else
{
useconds= (0xFFFFFFFF - RTCcounts)+fractmp;
}
//os_printf("useconds: %d\r\n",useconds);

useconds=((useconds+GNRMC_US_OFFSET_BYTETIME)*4294967296*0.000001);//+GPSmillisecond*1000

Надо добавить, что получившийся сервер получился очень крохотным и работал без отказов. Но. Из-за того что это не Ethernet , WiFi вносит  погрешность времени при доставке пакетов. 

В результате погрешность синхронизации составила чуть меньше чем ±0,01 с. в то время как погрешность синхронизации с открытыми NTP серверами через интернет составляет ±0,005 с.

Фоток к сожалению не сохранилось...

Zabbix - мониторинг TV playout систем + SNMP

Изначально Zabbix позиционируется как монитроинг множества параметров множества серверов различных групп. Очень мощная , гибкая и жизнеспособная система. К тому-же бесплатная.
При использовании на ТВ для мониторинга мультикастов в вещательных ip сетях, Zabbix тоже подходит, но наличие транспортных ошибок в потоке и его качественных характеристик, zabbix мониторить не умеет. В такой ситуации можно отслеживать только наличие и скорость траффика на мультикаст интерфейсе. Для этого нужно разделить интерфейсы данных и мультикаста либо физически, либо разнести в разные vlan-ы.
Мониторинг битрэйта мультикаст трафика это уже что-то. Настроить можно частоту проведения замеров, в том числе рабочее время или определённые дни. Можно настроить активный монтироинг, чтобы zabbix agent отправлял информацию только в момент неполадки.
Имея на руках информацию о падении мультикаст траффика Zabbix может отправлять уведомления по e-mail, SNMP и тп. или выполнить скрипт по диагностике проблемы, выполнить скрипт, осуществляющий перезапуск playout системы или приложения в зависимости от результата диагностики.
Так же Zabbix при аварии выводит информацию о проблеме, её важность, статус время, длительность, а так-же вложенную информацию по этой проблеме с её диагностикой и решением.
Очень полезная штуковина для отслеживания состояний различных устройств в сети.

Ускорение титров на фильмах с помощью FFmpeg

Это вопрос больше для телевизионщиков.

Однажды возникла необходимость укоротить титры в конце фильма, по скольку для вещания по тв, во время просмотра титров зритель переключает канал, на что-то более динамичное и интересное.
При наличии множества фильмов делать подрезку титров в ручную достаточно проблематично. Поэтому был написан скрипт для FFmpeg выполняющий такую задачу достаточно быстро. Нужно только узнать длительность фиьлма, и время в которое начинаются титры. Скорость работы ограничивается скоростью чтения/записи диска.

Вот содержимое  CMD файла:

set "infile=Film.mp4"
set "T=02:06:37"
set "D=02:13:57"
set "spd=setpts=0.5*PTS,setpts=0.5*PTS,setpts=0.5*PTS,setpts=0.5*PTS"
mkdir speedup


ffmpeg -y -fflags +genpts -i "%infile%" -map 0 -c copy -t %D% -f segment -segment_format mp4 -segment_time %T% -segment_list video.ffcat -reset_timestamps 1 -v error  chunk-%%03d.mp4

ffmpeg -y -i chunk-001.mp4 -filter:v "%spd%" -s 160x90 -b:v 10k -an endNOsnd.mp4


FOR /F "tokens=* USEBACKQ" %%F IN (`ffprobe -i endNOsnd.mp4 -v error -show_entries "format=duration" -of "default=noprint_wrappers=1:nokey=1" -sexagesimal `) DO (
SET dur=%%F
)
ffmpeg -y -i chunk-001.mp4 -filter:v "%spd%" -t %dur% endsnd.mp4

ffmpeg -y -i endsnd.mp4 -sseof -1 -copyts -i endsnd.mp4 -filter_complex     " anullsrc,atrim=0:2[at];[0][at]acrossfade=d=2[a]"    -map 0:0  -map "[a]" chunkEND.mp4
del endNOsnd.mp4
del endsnd.mp4
del chunk-001.mp4
ren chunkEND.mp4 chunk-001.mp4
ffmpeg   -y -fflags +genpts  -v error -i video.ffcat -map 0 -reset_timestamps 1 -c copy   "speedup\%infile%"
del chunk-000.mp4
del chunk-001.mp4
del video.ffcat