Склеенный кадр что значит

Склеиваем несколько фотографий в одну длинную с помощью компьютерного зрения

В предыдущих статьях был описан шеститочечный метод разворачивания этикеток и как мы тренировали нейронную сеть. В этой статье описано, как склеить фрагменты, сделанные из разных ракурсов, в одну длинную картинку.

Этикетки заранее сегментированы и развернуты нейронной сетью, описанной в предыдущей статье.

Как вообще работает склеивание? Нужно взять две картинки с нахлестом, посчитать взаимный сдвиг и наложить одну на другую. Звучит довольно просто, но давайте рассмотрим каждый из шагов.

Чтобы посчитать взаимный сдвиг, нужно найти какие-то объекты, которые присутствуют на обоих изображениях и вычислить каким-то образом преобразование точек с одной картинки на другую. Этот сдвиг может быть представлен матрицей преобразования, где элементы матрицы кодируют сразу несколько трансформаций — масштабирование, перенос и вращение.

Есть отличная таблица в википедии, где показано, как и какие элементы влияют на трансформацию.

Как видно на картинке ниже, общих объектов вполне хватает:

Но выбранными объектами есть проблема — их сложно детектировать алгоритмически. Вместо этого, принято искать более простые объекты — так называемые “уголки” (“corners”), они же дескрипторы (“descriptors”, “features”).

Есть отличная статья в документации OpenCV, почему именно уголки — если вкратце, то определить линию легко, но она дает только одну координату. Поэтому нужно детектировать еще и вторую (не параллельную) линию. Если они сходятся в точке, то это место и есть идеальное для поиска дескриптора, он же является уголком (хотя реальные дескрипторы не являются уголками в геометрическом смысле этого слова).

Одним из алгоритмов по поиску дескрипторов, является SIFT (Scale-Invariant Feature Transform). Несмотря на то, что его изобрели в 1999, он довольно популярен из-за простоты и надежности. Этот алгоритм был запатентован, но патент истёк этой весной (2020). Тем не менее, его не успели перенести в основную сборку OpenCV, так что нужно использовать специальный non-free билд.

Так давайте же найдем похожие уголки на обоих изображениях:

Воспользуемся сопоставителем дескрипторов Flann (Flann matcher) — у него хорошая производительность даже, если количество дескрипторов велико.

Желтые линии показывают, как сопоставитель нашёл совпадения.

Как хорошо видно — правильных совпадений примерно только половина. Однако, если правильные совпадения всегда дают одно и то же преобразование, то неправильные показывают хаотично новое направление. Т.е. теоретически, их можно как-то отделить друг от друга:

Одним из алгоритмов, чтобы найти правильное преобразование, является RANSAC. Этот алгоритм отлично работает, если нужно отделить хорошие значения от шумов — как раз наш случай.

К счастью, в OpenCV уже есть функции, которые найдут матрицу преобразования по совпадениям, используя RANSAC, т.е. фактически, ничего писать не придется.

Воспользуемся функцией estimateAffinePartial2D которая ищет следующие преобразования: поворот, масштабирование и перенос (4 степени свободы).

Когда матрица преобразования найдена, мы можем трансформировать правое изображение для склейки.

Левый фрагмент:

Для начала давайте воспользуемся простейшим способом склейки фрагментов, когда каждый пиксель их пересечения вычисляется, как среднее. К сожалению, результат получается так себе — изображение заметно двоится, особенно возле линии склейки.

На анимации различие между двумя кадрами видны более наглядно:

Это не удивительно — фотографии были сделаны под разными углами, нейронная сеть также развернула их слегка по-разному, и в итоге получились небольшие расхождения.

Для бесшовной склейки, необходимо компенсировать нелинейные искажения. Искажение можно представить в виде векторного поля того же разрешения, что и исходное изображение, только вместо цвета, в каждом пикселе будет закодирован сдвиг. Такое векторное поле называется “оптический поток”.

Вообще, есть разные методики вычисления оптического потока — некоторые из них встроены прямо в OpenCV, а есть и специальные нейронные сети.

В нашем же случае, конкретную методику я опущу, но опубликую результат:

Но компенсацию нужно осуществлять пропорционально обоих фрагментов. Для этого разделим его на две матрицы:

Левый фрагмент будет компенсироваться слева направо по нарастающей, в то время, как правый — наоборот.

Теперь оба фрагмента накладываются один на другой практически идеально:

Теперь наложение геометрически корректно, но мы наблюдаем весьма заметный скачок яркости на швах:

Эту проблему легко исправить, если вместо средних значений, накладывать их с градиентом:

С таким подходом, шва вообще не видно:

В принципе, есть еще и другие методики склейки, например, multiband blending, которые используют для склейки панорам, но они плохо работают с текстом — только компенсация оптического потока способно полностью убрать двоения на тексте.

Теперь склеиваем полное изображение:

Дальнейшими улучшениями могут быть компенсация эффекта тени (правая сторона изображения), либо еще большая пост-обработка цвета и контрастности. Также видно, что слегка пострадала глобальная геометрия — линии справа чуть уползли вверх. Это проблему теоретически тоже можно исправить добавлением глобальной коррекцией масштабирования, но это тоже не совсем тривиальная задача.

Мы рассмотрели, как работает склейка, готовое решение доступно здесь в виде REST API, также рекомендую посмотреть следующие ссылки:

Источник

Основы видеомонтажа: базовые виды склеек и переходов

• 6 636
• 7 мин

Что отличает хороший видеоролик от плохого? Интересный и уникальный контент, качественный саундтрек, аккуратная цветокоррекция… и, конечно, вдумчивый и наполненный смыслом монтаж!

Разные техники видеомонтажа позволяют направлять внимание зрителя и интриговать его, задавать определенное настроение. Хотите этому научиться?

Предлагаем начать с основ. Рассказываем о базовых видах склеек и переходов, которые пригодятся в работе любому начинающему видеомонтажеру.

Стандартная склейка

Самый простой вид склейки – стандартный. Это то, что получается по умолчанию, когда вы соединяете два отрезка видео друг с другом на таймлайне. Первый отрезок заканчивается – и сразу после этого начинается другой.

Джамп кат (Скачок)

Джамп кат – это склейка двух похожих фрагментов видео. К джамп катам часто прибегают YouTube-блогеры и монтажеры видеоинтервью, когда хотят вырезать моменты, где герой ролика оговорился или задумался. Человек в кадре один и тот же, его речь будто бы не прерывается, но движение героя резко обрывается (делает «скачок»).

Чаще всего блогеры стараются сделать джамп кат максимально незаметным. Но иногда, наоборт, выделяют его. Например, «перескакивают» с общего плана на крупный план, снятый с того же ракурса.

В фильмах склейки-скачки часто используют для того, чтобы «ускорить» течение времени.

Косая склейка (L-cut и J-cut)

Косой склейкой называют переходы, при которых аудиодорожка опережает соответствующее ей видео или, наоборот, запаздывает за ним. J-cut – это когда во время первого фрагмента видео уже звучит аудио из следующего отрезка. При L-cut, наоборот, сначала сменяется видеоряд и только вслед за ним – аудио.

Эти приемы так называются, потому что на таймлайне во время монтажа они визуально похожи на английские буквы «J» и «L» соответственно.

Косая склейка позволяет сделать переход от одного видеоклипа к другому более незаметным и плавным.

Переход

Еще один фундаментальный прием в монтаже – использование переходов. Сюда входят и fade-in/fade-out, и графические переходы, и вытеснение – любые эффекты, которые можно создать с помощью вашего видеоредактора. Подробнее о них мы рассказывали в нашем интервью с Артуром Вишневским .

Склейка в момент действия

Когда персонаж видео совершает какое-то действие, переход от одного плана к другому можно сделать прямо во время этого движения. В фильмах этот прием часто применяют в сценах с танцами или драками.

Впрочем, для пущей эпичности склейку в момент действия можно использовать и во самого обыденного движения. Как например, в этой сцене из «Матрицы». План сменяется с общего на крупный пока Морфиус поворачивается лицом к зрителю:

Согласитесь, выглядит намного серьезнее, чем если бы вся сцена была снята одним планом.

Match cut

Match в переводе с английского значит «совпадение». Соответственно, match cut – это переход от одной сцены к другой на моменте какого-либо элемента, который выглядит идентично в обеих сценах. Этим элементом может быть что угодно – движение персонажей, звук, композиция кадра.

Создатели мультфильма «Тарзан» использовали этот прием, чтобы показать схожесть двух разных семей:

В иных случаях match cut может, напротив, противопоставлять две сцены. Как в этом хрестоматийном примере из фильма «Космическая одиссея 2001 года»:

Ритмический монтаж

Еще один прием – это синхронизация склеек с ритмом музыки, которую вы накладываете на видеоряд. Ритмический монтаж часто используется в музыкальных клипах и ТВ-рекламе. В художественных фильмах он тоже встречается – и обычно выглядит очень эффектно:

Клиповый монтаж

Клиповый монтаж – это нарезка кадров из разных, но связанных между собой сцен, которые расположены в хронологическом порядке. В кинематографе этот прием часто используют для того, чтобы одно продолжительное действие показать через нарезку коротких ярких фрагментов. Вы наверняка видели клиповый монтаж в сценах, где персонаж собрается на пробежку, готовится к соревнованиям или, скажем, переезжает:

Параллельный монтаж

Чтобы продемонстрировать, как два равнозначных события происходят одновременно или противопоставить одно другому, режиссеры часто используют параллельный монтаж. Этот метод подразумевает постоянное «перескакивание» между двумя сценами. В «Крестном отце» этот прием был использован для того, чтобы показать две стороны жизни главного героя и душераздирающую разницу между ними:

Параллельный монтаж – это очень мощный инструмент удержания внимания зрителя. Режиссеры монтажа часто прибегают к нему ближе к развязке фильма, чтобы нарастить напряжение и «прилепить» нас к экранам. Вспомните, например, финал фильмов «Начало» или «Молчание ягнят».

Перебивки

Перебивки, или b-roll, этот дополнительные кадры, которые позволяют сделать фильм более наполненным и детализированным. Когда персонаж о чем-то разговаривает, можно вместо его лица показывать зрителю предмет его рассуждений.

Перебивки иногда делят на «внутренние» (insert cut) и «внешние» (cutaway). В первом случае мы показываем крупным планом предмет, с которым взаимодействует персонаж. Например, в этой сцене из фильма «Гарри Поттер и философский камень» Гермиона открывает учебник, и камера переключается с ее лица на страницы книги:

Cutaway – это когда камера переключается на что-то вне основной сцены. Допустим, герой окунается в воспоминания, и в это время на экране появляются предметы и люди, о которых он думает. Как в этой фрагменте из фильма «Гарри Поттер и тайная комната»:

Сначала мы видим лицо Тома Реддла, а потом – наблюдаем за действиями Джинни, о которых он рассказывает:

Вот и все! Это самые простые и базовые техники монтажа, которые гарантированно сделают ваши видео интереснее и насыщеннее. Используйте их с умом 😉

Источник

9 базовых видов монтажных склеек

Неважно, какой монтажной программой вы пользуетесь, — типы монтажных склеек везде одинаковы. По сути, это инструмент, позволяющий рассказать историю, которая, в свою очередь, может сильно измениться в зависимости от того, какие склейки вы решите использовать. Поняв принцип работы трех самых главных монтажных склеек, вы научитесь не просто располагать сцены друг за другом на монтаже. Давайте посмотрим.

1. Стандартная склейка

Ее все знают и любят. Пожалуй, на монтаже ее применяют чаще всего, в частности, в «восьмерках». Она представляет собой продолжение предыдущего кадра с другого ракурса, с помощью нее можно соединить разные кадры. Если вы когда-либо просто соединяли между собой два разных клипа — вы пользовались стандартной склейкой. Она хорошо подходит для ситуаций, когда не требуется сложных решений.

2. Скачок (Jump Cut)

Есть два вида скачков: первый выглядит хорошо, второй — не очень. Не очень выглядят те скачки, которые происходят во время диалога или как-то по другому вырывают нас из происходящего на экране. В последнее время Jump Cut превратился в простой способ сократить особо длинные кадры. Чаще всего скачок работает только в паре с чем-то еще, например, с саундтреком.

3. Косая склейка (J-Cut)

Отличный способ соединить два кадра, которые в противном случае друг с другом бы никак не сочетались. Достаточно просто взять аудиодорожку из начала второго клипа и наложить ее на конец первого. Растянув звуковую дорожку налево, вы увидите, что на таймлинии получилось что-то похожее на букву J (отсюда и английское название). Благодаря этому зритель погружается в происходящее еще до того, как следующий кадр появляется на экране.

4. L-Cut

Прямая противоположность предыдущему пункту. L-Cut предполагает наложение аудиодорожки из первого клипа на второй. Эту склейку полезно использовать в диалоговых сценах, потому что она разбавляет монотонность бесед, снятых на «восьмерки». Кроме того, она позволяет показывать реакцию одного персонажа сразу же, а не ждать, пока другой проговорит все, что было в сценарии.

5. Склейка на действии

Монтируя экшн-сцены, важно соединять кадры между собой как можно естественнее. Склейка на действии предполагает, что вы переходите к следующему кадру в момент, когда персонаж совершает какой-то действие. Так вы «обманываете» зрителя и говорите ему, чтобы он проигнорировал склейку. Это отличный способ смонтировать сцену драки или погони.

6. Параллельный монтаж

Сцена из фильма « Начало » (2010)

Смешение перспектив нескольких персонажей в одной сцене. Вы берете точки зрения разных персонажей (допустим, один из них гонится за другим) и переходите между ними. Зритель автоматически соединяет их в голове, поскольку наблюдает за происходящим в «реальном времени».

7. Заявочные кадры

Подобные кадры нужны, чтобы показать окружение, в котором разворачивается действие. С их помощью можно заявить локацию , рассказать зрителю о мире фильма. Но будьте внимательнее и не переусердствуйте — иначе аудитория потеряет интерес.

8. Монтаж

Сцена из фильма «Рокки 4» (1985)

Хотите, чтобы за 45 секунд прошли месяцы или даже годы? Тогда монтаж — то, что вам нужно. При помощи него можно показать течение времени или моральный рост персонажа. Выберите набор кадров, которые показывают прогресс вашего героя, наложите вдохновляющую музыку — и монтаж, которому позавидует сам Рокки, готов.

9. Визуальное совпадение

Сцена из фильма «Лоуренс Аравийский» (1962)

Визуальное совпадение — прием, при помощи которого режиссер монтажа может продемонстрировать творческий подход к делу. Нужно взять кадр с каким-то действием, а затем тут же перейти на другую сцену, в которой есть нечто похожее. В качестве референса можете взять один из самых известных примеров: визуальное совпадение в «Лоуренсе Аравийском».

Источник