суббота, 1 сентября 2018 г.

Kinect + Processing/VVVV + Spout + Resolume


Отметил 33 года в заводском цеху с друзьями и коллегами, все остались в восторге!
На вечеринку взял проектор, пару цветных светильников ноут и kinect.
Заранее заготовил плейлист с музыкой, видеосетов, короткометражных COUB-ов и связку софта/железа Kinect > Procesing/VVVV > Spout > Resolume > projector, Midi клаву и звуковой аппаратуры.
На предыдущих мероприятиях использовал обычную Web камеру, но с kinect как-то по веселее)
Было весело!!

Что для этого нужно:
Xbox Kinect 360
Адаптер Kinect USB
Компьютер
Resolume 5/6 (32/64 bit)
Spout 2.006a + spout controls
VVVV 32bit! + addonpack (kinect работает только в 32bit VVVV)

1. Сначала проверим связь Spout через sender/receiver
2.Если работает, проверим связь Spout - Resolume. 
3. !! Сначала запустим Spout receiver, затем spout sender, и после resolume.
4. Проверяем приём в Resolume. Если нет изображения, настраиваем spoutDX mode.
5. Если есть, закрываем spout sender, запускаем vvvv spout texture sender help. Проверяем выход VVVV Spout - Resolume.
6. Если заработало, создаём kinect spout path в VVVV. Обязатнльно проверить выходные  настройки цвета и разрешения. Разрешение должно устанавливаться именно ноде Dx9 texture (через инспектор), цвет тоже  в Dx9 texture [A8R8G8B8].
И только после этого можно перейти к тонкой настройке нод в VVVV и модуляторов в resolume по вашему вкусу.

или можно вместо всего этого использовать NImate...

пятница, 31 августа 2018 г.

FFmpeg to Resolume. Transcode video files to Resolume.


Try this code on PC run as *.cmd or *.bat file:

mkdir mp4
mkdir orig
FOR /F "tokens=*" %%G IN ('dir /b "*.mp4"') DO (ffmpeg -y -i "%%G" -f mp4 -vcodec libx264 -preset slow -crf 20 -movflags +faststart  -profile:v high -pix_fmt yuv420p -g 1 -bf 0  -flags +cgop -x264-params keyint=1:min-keyint=1   -acodec aac -ac 2 -ab 128k -ar 48000   -async 1  "mp4\%%~nG.mp4"  -c:a pcm_s16le "mp4\%%~nG.wav" & move "%%G" orig\)
pause

You should start this script file in same folder with your video files.

This code create 2 folders for encoded files and for original files, make transcoded video file and audio in "mp4" folder, and remove original file to "orig" folder.

You can use [-an] instead [-acodec aac -ac 2 -ab 128k -ar 48000   -async 1 ] , and change  ["*.mp4"] to other input format.
Also, you can change video quality by changing [-crf] value.

пятница, 1 июня 2018 г.

Тест расхождения аудио с видео в IP multicast stream. Синхронность звука и картинки.

Как проверить синхронность аудио и видео в одном потоке без инструментов?
Например, когда в трансляции губы расходятся с речью.
Да, это абсолютно реально! И просто!

Нам понадобится:
  • Любой видеоредактор, который открывает ваш записанный  TS поток в котором нужно обнаружить расхождение;
  • Тестовый файл состоящий из 1 кадра, со звуковой дорожкой, в начале и в конце которой должны быть тестовые метки (узкие пики).
Далее, остаётся воспроизвести тест файл на вещательной машине и записать результативный TS,  и сравнить его с оригинальным тест кадром.

С помощью такой процедуры можно открыть для себя много нового, и установить различие.

На представленном изображении - тест кадр для PAL (50i) стандарта, с длительностью 40 миллисекунд, или 1/25 секунды.
Расхождение контрольных меток согласно ГОСТ Р 52722,  не должно превышать значения в 40 мс, то есть, первый всплеск должен быть в пределах тест-кадра.


пятница, 25 мая 2018 г.

Разработка и создание устройства внутренней голосовой связи - InterCom

Интерком.

Без этого девайса не обходится ни одна телестудия. Это устройство помогает координировать работу различных служб и управлять съёмочным процессом слаженно.
Не буду расписывать какие бывают и сколько стоят. При проектировании ориентировался на модель ClearCom intercom MS-704. Но нам, как обычно, нужно перекидывать деньги на ресурсы, которые невозможно создать вручную. 

Наш разрабатываемый интерком имеет:

  • 5 каналов;
  • Full-Duplex ;
  • гальваническая развязка по входам и выходам;
  • симметричные разъёмы;
  • чувствительность к удержанию клавиши;
  • Gate + Limiter;
  • активная подсветка!

Стоимость сего аппарата вышла около 10 т.р.

За основу было взято переговорное устройство для банков. (приобретено в Китае), то есть уже почти готовое устройство, из которого надо было изготовить кнопочный микшер/сплиттер для телестудии.

Первым делом разработал схему устройства. Здесь пара операционников используется как для подтяжки к среднему напряжению в месте разрыва линии (для отсутствия щелчков), так и для исключения изменения выходного сопротивления устройства, которое влияет на входной усилитель центрального устройства. Логическое переключение реализовано на D-триггере с подстройкой ко времени нажатия. Да, было несколько опытных образцов и убито некоторое количество времени при отладке и подборе реальных номиналов R-C цепочек. Но в целом всё очень даже жизнеспособно.


Процесс изготовления платы.

Для уменьшения размеров и с целью быстрого монтажа без сверловки, собирал плату на SMD элементах. Но совсем без сверления не обошлось из-за отечественного DIP D-триггера.

Тестирование. 
Было обнаружено что при завышенном входном уровне сигнала, звук через полевик еле-еле проходит при его закрытом состоянии, но на устранение этого времени нет. Это не баг - это фича..


Сборка, настройка и подключение.

 

Интерком на своём рабочем месте, готов к работе!

Уже в бою и ни разу не подвёл.

четверг, 24 мая 2018 г.

Фотоотчёт строительства телекомпании РБК Омск










Централизованное управление телестудией РБК Омск

Централизованное управление телевизионной студией.

Начать стоит с того, что на этапе проектирования не было поставлено задач по централизованному управлению, и только на этапе постройки студии было найдено ПО позволившее осуществить не только задачи по выводу видео на несколько выходов/экранов, но и выполнять куда более интересные и не менее важные для телестудии функции. Это CasparCG!

Описание этой программы можно без труда найти в сети, а использовать её можно и не только на телевидении. Очень занятная софтина!
Расскажу о применении CasparCG в нашей студии.
  • Управление Playout-ом, титрованием и синхронной записью.
Основная задача - воспроизведение сюжетов и вывод изображения на экраны студии. CasparCG очень хорошо совместим с платами Blackmagic которые доступны в продаже и очень приемлемы по стоимости. 
Вывод сюжетов осуществляется через плату Blackmagic Mini monitor в формате 1080i50
Вывод видео на экраны отправляется через видео карту Nvidia GTX 960 (3 видео выхода) в формате HD ready с целью экономии ресурсов.
Всё прекрасно работает без тормозов и прочих лагов. При воспроизведении роликов на всех видео выходах, загрузка процессора (в нашем случае - i7) вырастает с 18 % до 27 %. 
Восхитительно то, что CasparCG позволяет смешивать видео, стыковать (mix - fade in/out), зациклить, применять наложение с альфа и многое, многое другое!
Например можно плавно переключить все изображения на всех экранах одновременно, или поменять местами.
Надо заметить, что штатная версия клиентской части позволяет составить расписание, с применением группирования функций, в том числе использование аудио/видео слоёв, запускаемых пользователем в нужный момент времени,
но только не по времени. Собственно это и не требуется при работе в павильоне в нашем случае.
CasparCG + Atem console


  • Интеграция с ATEM
Большим плюсом CasparCG является интеграция c протоколами видеопультов Blackmagic ATEM! Становится возможным передавать команды видеопульту о выборе источника сигнала, осуществления перехода, выбора DSK / KEY , выполнение сложных макросов. Таким образом, если грамотно составить расписание, то в штатных условиях консоль управления видеопультом становится не нужна. Всё вещание можно осуществить с помощью плэйлиста.


  • Входные потоки
CasparCG помимо видеофайлов позволяет выводить изображения, с альфа каналом в том числе, внешние источники изображения - UDP/RTP/m3u8 (не только SDI), динамическую Flash анимацию и показ HTML страниц со встроенными скриптами.
На данный момент мы используем Flash с AS3 интерактивную анимированную графику. А именно - титр ведущего или гостя студии. Отличительной возможность является заполнение полей титра прямо перед выдачей в эфир. То есть  для создания титра требуется заполнить строки имени и должности в поля титра прямо внутри клиентской части CasparCG. После - остаётся нажать клавишу запуска титра. Такой Flash титр отображается с входной и выходной анимацией, так-же есть возможность  удерживать титр необходимое время.
Таким образом изготовив всего 1 Flash анимацию титра, ею можно пользоваться бесконечное количество раз, вписывая в него различные данные. Такой ролик создаётся в Adobe Flash с применением ActionScript3. Это требует специфических знаний в программировании, НО если приложить усилия то можно получить оригинальную анимацию с "живыми" данными (API). Например, грамотно составленная анимация может отражать данные о погоде или пробках в реальном времени, на основе данных автоматически получаемых из интернета или постов из соц сетей. На текущий момент отображение анимации на базе Html5, ThreeJS происходит с дикими фризами, что пока не пригодно к воспроизведению. Но в целом замах хороший.

CasparCG титры


  • Запись входящего изображения через BlackMagic mini Recorder.
Выполнение такой задачи необходимо для записи готовой программы, последующего монтажа и постановки её в эфир.
Надо сказать что здесь есть некоторый нюанс...
CasparCG Disk consumer может писать любой канал/слой (входной или выходной) с настраиваемыми параметрами записи. Но в нашей студии из-за несовместимости настроек записи CasparCG и аппаратных видео монтажа, я решил применить немного другой вариант записи.
По скольку серверная часть CasparCG работает на базе FFmpeg, я создал программное решение -  рекордер так-же на FFmpeg, но со своими настройками и дополнительными функциями, позволяющей кодировать видео с помощью  CUDA, разделять входной поток на 3 потока с собственными настройками: с низким сжатием для монтажа, в пониженном качестве для трансляции по внутренней сети предприятия и для трансляции в соц. сети.
Тут уже плавно перейдём к синхронизации записи на всех устройствах.
Головным устройством записи у нас является машина с сервером CasparCG. Пишем через плату BlackMagic mini Recorder, вынесенную из настроек сервера CasparCG. Запись стартует в консольном режиме, пишется стабильно без ошибок.

FFmpeg record


  • Синхронизация записи
По скольку в нашей студии используется видеопульт BlackMagic ATEM 2 M/E Production 4k, а в роли накамерных рекордеров выступает BlackMagic Video Assist, было принято решение их синхронизировать на основе таймкода. 
ATEM 2 M/E Production 4k имеет на борту гнёзда входа и выхода таймкода. Если в видеопульт на гнездо входа таймкод не приходит, то он генерирует свой таймкод начиная с нуля. Если на ходу подключить во входное гнездо таймкод, то пульт будет выводить входной таймкод.  BlackMagic Video Assist стартует запись как только таймкод по SDI начинает бежать, и останавливается при остановке таймкода соответственно. Встала задача создания таймкод генератора с запуском и остановкой. В связи с этим был создан следующий трюк - на ПК с сервером CasparCG с FFmpeg записью, запускаем приложение (создал на Processing/Java) которое генерирует на звуковом выходе штатной звуковой карты балансный сигнал - таймкод с ПАУЗОЙ а именно повторяющаяся 80 битовая комбинация "00:00:00:00". Таким образом при запуске приложения таймкод в видеопульте обнуляется, и постоянно держит "00:00:00:00". Как только приложение закрывается, звук "00" пропадает и видеопульт запускает генерацию своего внутреннего таймкода с нуля, а при повторном запуске программы "00", пульт сбрасывается на 0 и останавливается. Ввиду этого я изменил CMD файл запуска записи FFmpeg. Теперь при запуске CMD файла записи:
1) Закрывается приложение с таймкодом (стартует запись на всех студийных камерах с Video Assist
2) Запускается звукозапись  на компьютере звукорежиссёра (программа звукозаписи тоже настроена на старт таймкода)
3) Запускается FFmpeg рекордер
В этот момент записывают все устройства системы павильона.
4)По окончании записи в FFmpeg, консоль FFmpeg закрывается. Останавливается запись на сервере.
5)Автоматически запускается приложение таймкод генератора "00". Останавливается запись на Video Assist


  • Синхронное управление табличками
К нашей системе синхронизации мы добавили микроконтроллер (Arduino) управления табличками ON AIR и MIC ON. Микроконтроллер включает реле таблички ON AIR в тот момент когда на разъёме входа таймкода видеопульта пропадает звуковой сигнал "00", то есть именно в тот момент когда начинается централизованная запись, и погасает когда запись заканчивается. Что в принципе логично. Управление реле табличками MIC ON подхватывается по MIDI - с выхода звукового пульта (Behringer x32). Как только отжимается любая из  кнопок "mute" на консоли звукорежиссёра из определённой группы микрофонов, то табличка MIC ON загорается.
Может и выглядит это не профессионально, но свои задачи выполняет на ура! Всё просто и удобно!
 Arduino box и таблички
  • Управление камерами
Немного о связке оборудования ATEM 2 M/E Production 4k/Video Assist/Blackmagic micro studio camera 4k
Такая конфигурация была собрана с целью оптимизации работы оператора, упрощения работы с записывающими устройствами. Все камеры полностью управляются с видеоконсоли режиссёра через видеопульт. Команды о настройке с консоли поступают на видеопульт и раздаются по любому из гнёзд выхода программы. После, через дистрибьютор разводтся на каждую камеру, у каждой камеры естественно свой номер, по которому она применяет настройки.
К плюсам можно отнести Tally light который меняет цвет в зависимости от того какая камера в программе или в подготовке, и наличие в накамерном канале двусторонней связи с оператором, с использованием гарнитуры от сотового телефона на стороне камеры.
Но и в этих плюсах есть небольшие минусы. Использование звуковой связи с оператором через видеопульт требует наличия в головном устройстве связи Intercom/Clearcom/etc, цепи подавления обратной связи SideChain.
Огонёк Tally light на камере маловат,и возможности подключиться к нему нет, ещё и бленда объектива иногда перекрывает его полностью. Поэтому мы изготовили и установили световоды из оргстекла на камеры, теперь Tally light видно прекрасно!

Камеры с световодами

  • Качество картинки.
Теперь о грустном. 
Сложности с которыми пришлось столкнуться при эксплуатации и настройке оборудования Blackmagic.
Камеры BlackMagic micro studio 4k

1) Шум на изображении с камер. Особенно заметен в однотонных и тёмных местах. В камере есть порог регулировки Gain от 0 до +12. В наших условиях, с объективами olympus f-2.0 при работе в павильоне с диафрагмой f 3.5 мы можем установить усиление максимум +6 dB,  все значения выше приводят к ещё большему количеству шума на изображении, а при диафрагме 2 и усилении 0 dB картинка всё-же темновата. В новой прошивке камер градация усиления расширена, только после прошивки мы всё равно используем вторую ступень усиления +4 dB для получения той-же картинки.
Хочу добавить, что количество шумов на изображении сильно влияет на объём записи данных.
В нашей компании для монтажа необходим битрэйт не превышающий 50 Mbit/s для 1080i50. Это связано как и со скоростью монтажа так и со скоростью доставки по сети.
Другими словами - чем больше шума на входном видео тем больше битрэйт, и когда входной битрэйт записи будет превышать лимит в 50 Mbit/s то происходят потери изображения в местах с шумом и не только, отсюда и квадраты на картинке и переполнение буфера FFmpeg и т.п. Короче говоря - шумов много, и из-за них возникают проблемы.
Шум на сером.

2) Чрезмерная чувствительность к статике. Ситуация следующая: оператор в свитере подходит к камере для корректировки плана, и как только он касается рукой штатива с камерой, настройки камеры сбрасываются в ноль. Чтобы восстановить настройки камеры, её необходимо выключить и включить. Иногда камера не подхватывает настройки по SDI и приходится загружать настройки с консоли ATEM. Во время записи это очень неприятно и даже недопустимо.
В нашей студии всё заземлено по максимуму. Надо заметить что ближе к середине весны, проблема отключения камер стала проявляться реже. Теоретически это связано со сменой гардероба сотрудников телекомпании. Для избежания таких случаев нам пришлось заставить операторов терпеть боль каждый раз разряжаясь, прикасаясь к заземлённым воллбоксам и шинам, при переходе от одной камере к другой. Это помогло решить проблему со сбросом камер. Для особо боязливых разряжаться мы держим в тех отделе пачку резисторов, для ограничения тока разряда...

  • Телесуфлёр.
В роли программы телесуфлёра мы решили использовать бесплатный аддон к Chromе browser с названием TellyPrompt. Работает хорошо, но только с мониторами одинакового разрешения. Есть режим работы Dual. Здесь есть некоторая централизованность. Небольшая фишка нашей студии - монитор установленный в стол под тонированное стекло для ведущего. Это сделано с целью не устанавливать компьютеры на столешницу и не загромождать стол. У ведущего установлен удалённый доступ к компьютеру с ПО телесуфлёра и есть возможность править и запускать текст удалённо, педали так-же работают по удалёнке и управляют скоростью текста. По мимо чтения текста с удалённой машины этом же мониторе в столе ведущий может получать актуальную информацию из интернета. И само собой, текст на экранах телесуфлёров на камерах отображаться через стекло зеркально.

Монитор в столе и суфлёр с АСБ

  • Управление светом
Тут тоже интересный момент централизации. Светом управляет тот же человек, который переключает камеры и ставит сюжеты (режиссёр или ассистент). Делается это всё абсолютно незаметно, через то самое расписание в CasparCG. CasparCG может отправлять OSC сообщения в сеть на компьютер управляющий светом в павильоне. Мы используем связку: CasparCG OSC > ALTOSC > Chromateq> USB DMX box. ALTOSC выступает в роли моста между OSC и MIDI, так как наш софт Chromateq может принимать только MIDI. 
То есть режиссёр прямо во время съёмочного процесса может легко запустить световую сцену прямо из своего расписания. Это очень удобно!

Фото из АСБ Chromateq - CasparCG

Ещё в CasparCG есть поддержка GPIO, и сам GPIO девайс легко собирается на базе Arduino.

convert colors to midi note for midi controllers

I recently (2 years ago) designed and built a simple MIDI controller for my intercom system using an Arduino Leonardo, USB hub, sound card, ...