Что значит масштаб разрешения изображения

Как работает масштабирование разрешения в играх?

В последние годы распространённым явлением стало масштабирование разрешения в играх, позволяющее существенно улучшить качество моделей, текстур и элементов окружения. Естественно, в этом случае геймеру необходима достаточно мощная система с топовой видеокартой и приличным объёмом ОЗУ. С выходом девятого поколения консолей это явление становится повсеместным.

Разработчикам необходимо оптимизировать своё произведение под многочисленные конфигурации «железа». Поскольку 4K-мониторы и ТВ есть не у всех, альтернативой становится смена масштаба с 4K до 1080P. Важно отметить, что резкий подъём планки системных требований для видеоигр на ПК – не новость. Так происходит с запуском каждого нового поколения.

Достаточно вспомнить, как сильно нагружались системы, например, в эпоху Xbox 360. Вспомнили, насколько великолепной была оптимизация GTA IV о приключениях представителей русской мафии на приставке? А затем сопоставьте с персональным компьютером и теми тормозами, что возникали у большинства геймеров.

Как масштабирование разрешения в играх повлияет на производительность?

Самым непосредственным образом, поскольку картинка сужается или растягивается выше базового размера доступных текстур.

В качестве примера приведу Star Wars Battlefront, где установка ползунка resolution scale на 90 % приведёт к получению дополнительных FPS. Напротив, смещение в противоположную сторону увеличит нагрузку на систему, но и качество картинки заметно возрастёт.

Схоже срабатывает технология NVIDIA DLSS, базирующаяся на использовании временного TAA-сглаживания. Добавляются туда и алгоритмы машинного обучения, что слегка снижает нагрузку на PC. Терминология элементарная.

Что по итогу? В перспективах, когда широкое распространение получат флагманские акселераторы и выйдут их обновлённые модели, геймеры смогут произвольным образом улучшать визуал. В результате планка High End не будет иметь ограничений, а выпуск ремейков на олдскул существенно упростится. Нейросети уже сейчас отлично прокачивают текстуры, однако пока этот процесс занимает уйму времени и ресурсов.

Источник

Что такое «масштабирование» на телевизоре и как оно работает?

Поскольку 4K заменяет HD в наших домах, производители представляют интересный маркетинговый жаргон, такой как «Ultra HD upscaling» (UHD). Но масштабирование не является какой-то уникальной функцией — оно просто позволяет телевизорам 4K работать с видеоформатами с более низким разрешением, такими как 1080p и 720p.

Все телевизоры имеют масштабирование

Повышение масштаба означает, что контент с низким разрешением заполнит весь экран телевизора. Без этого видео с низким разрешением занимает менее половины пространства экрана. Это типичная функция на всех телевизорах. Даже в телевизорах с разрешением 1080p это было возможно — они могли масштабировать контент с разрешением 720p и отображать его в полноэкранном режиме на экране с разрешением 1080p.

UHD апскейлинг — это то, что заставляет ваш 4K телевизор работать как любой другой. Он может принимать контент с меньшим разрешением и отображать его на весь экран 4K.

Контент с разрешением 1080p на экране 4K часто выглядит лучше, чем контент 1080p на обычном экране 1080p. Но апскейлинг не волшебство — вы не получите четкого изображения, которое получилось бы из настоящего, оригинального контента 4K. Вот как это работает.

Разрешение существует на физическом и визуальном уровне

Прежде чем приступить к масштабированию, нам необходимо понять концепцию разрешения изображения. На первый взгляд, это относительно простая концепция. Изображение или видео с высоким разрешением выглядит «лучше», чем изображение или видео с низким разрешением.

Однако мы склонны забывать некоторые ключевые аспекты , а именно разницу между физическим разрешением и оптическим разрешением. Эти аспекты работают вместе, чтобы создать хороший имидж, и они являются основой для понимания масштабирования. Мы также собираемся охватить плотность пикселей — но не волнуйтесь — мы сделаем все коротким и приятным.

• Физическое разрешение . В технических характеристиках телевизора физическое разрешение называется просто «разрешением». Это количество пикселей на дисплее. Телевизор 4K имеет больше пикселей, чем телевизор 1080p, а изображение 4K в четыре раза больше, чем изображение 1080p. Все 4K-дисплеи, независимо от их размера, содержат одинаковое количество пикселей. Хотя телевизоры с высоким физическим разрешением могут использовать свои дополнительные пиксели для дополнительной детализации, это не всегда получается так. Физическое разрешение зависит от оптического разрешения.
• Оптическое разрешение . Вот почему ваши старые одноразовые фотоаппараты выглядят лучше, чем модные фотографии с вашего вычурного друга. Когда фотография выглядит четкой и имеет четкий динамический диапазон , она имеет высокое оптическое разрешение. Телевизоры иногда теряют свое высокое физическое разрешение, отображая видео с дерьмовым оптическим разрешением. Это приводит к размытым изображениям и контрасту. Иногда это результат масштабирования, но мы вернемся к этому через минуту.
• Плотность пикселей : количество пикселей на дюйм на дисплее. Все дисплеи 4K содержат одинаковое количество пикселей, но на меньших дисплеях 4K пиксели расположены ближе друг к другу, поэтому они имеют высокую плотность пикселей. Например, 4K iPhone имеет более высокую плотность пикселей, чем 70-дюймовый 4K телевизор. Мы упоминаем это, чтобы подкрепить идею о том, что размер экрана не то же самое, что физическое разрешение, и что плотность пикселей экрана не определяет его физическое разрешение.

Теперь, когда мы все осознали разницу между физическим и оптическим разрешением, пришло время перейти к масштабированию.

Повышение качества делает изображение «больше»

Каждый телевизор содержит беспорядочные алгоритмы интерполяции, которые используются для повышения качества изображения с низким разрешением. Эти алгоритмы эффективно добавляют пиксели к изображению, чтобы увеличить их разрешение. Но зачем вам нужно увеличивать разрешение изображения?

Википедия

Помните, что физическое разрешение определяется количеством пикселей на дисплее. Это не имеет ничего общего с реальным размером вашего телевизора. Экран телевизора 1080p состоит всего из 2 073 600 пикселей, а экран 4K — 8 294 400. Если вы показываете видео 1080p на 4K-телевизоре без масштабирования, оно займет только четверть экрана.

Чтобы изображение с разрешением 1080p соответствовало дисплею 4K, ему необходимо набрать 6 миллионов пикселей в процессе масштабирования (после чего оно станет изображением 4K). Однако апскейлинг зависит от процесса, называемого интерполяцией, который на самом деле является просто прославленной игрой в догадки.

Повышение масштаба снижает оптическое разрешение

Есть несколько способов интерполировать изображение. Самая базовая называется интерполяция «ближайший сосед». Чтобы выполнить этот процесс, алгоритм добавляет сетку «пустых» пикселей к изображению, а затем угадывает, какое значение цвета должен иметь каждый пустой пиксель, просматривая его четыре соседних пикселя.

Например, пустой пиксель, окруженный белыми пикселями, станет белым; тогда как пустой пиксель, окруженный белыми и синими пикселями, может получиться светло-голубым. Это простой процесс, но он оставляет много цифровых артефактов, размытости и резких контуров на изображении. Другими словами, интерполированные изображения имеют плохое оптическое разрешение.

Слева: неотредактированное изображение. Справа: после интерполяции ближайшего соседа. Дин Дробот / Шаттерсток

Сравните эти два изображения. Один слева не редактируется, а другой справа является жертвой процесса интерполяции ближайшего соседа. Изображение справа выглядит ужасно, хотя физическое разрешение у него такое же, как и у слева. Это происходит в небольших масштабах каждый раз, когда ваш 4K-телевизор использует интерполяцию ближайшего соседа для увеличения масштаба изображения.

«Подожди минутку», — говорите вы. «Мой новый 4K-телевизор не выглядит так!». Ну, это потому, что он не полностью полагается на интерполяцию ближайшего соседа — он использует сочетание методов для масштабирования изображений.

Повышение масштаба пытается достичь оптического разрешения, слишком

Итак, интерполяция ближайшего соседа некорректна. Это метод грубой силы для увеличения разрешения изображения, который не учитывает оптическое разрешение. Вот почему телевизоры используют две другие формы интерполяции наряду с интерполяцией ближайшего соседа. Они называются бикубической (сглаживающей) интерполяцией и билинейной (резкой) интерполяцией.

Слева: пример билинейной интерполяции. Справа: пример бикубической интерполяции. Дин Дробот / Шаттерсток

При бикубической (сглаживающей) интерполяции каждый добавленный к изображению пиксель обращается к своим 16 соседним пикселям, чтобы получить цвет. Это приводит к тому, что изображение явно «мягкое». С другой стороны, билинейная (повышающая резкость) интерполяция смотрит только на двух ближайших соседей и создает «резкое» изображение. Сочетая эти методы и применяя некоторые фильтры для контрастности и цвета, ваш телевизор может генерировать изображение без заметных потерь в оптическом качестве.

Конечно, интерполяция — все еще игра в догадки. Даже при правильной интерполяции, некоторые видео могут увеличивать «ореолы» после масштабирования, особенно если ваш дешевый телевизор отстой при увеличении масштаба. Эти артефакты также становятся более заметными, когда изображения сверхнизкого качества (720p и ниже) масштабируются до разрешения 4K или когда изображения масштабируются на безумно больших телевизорах с низкой плотностью пикселей.

Страсть ботаника

Приведенное выше изображение не является примером масштабирования с телевизора. Вместо этого это пример масштабирования, сделанного для релиза HD DVD Buffy The Vampire Slayer (взятого из видео-эссе Passion of The Nerd ). Это хороший (хотя и экстремальный) пример того, как плохая интерполяция может испортить изображение. Нет, Николас Брендон не носит восковой вампирской косметики, это именно то, что случилось с его лицом во время процесса масштабирования.

В то время как все телевизоры предлагают масштабирование, некоторые могут иметь лучшие алгоритмы масштабирования, чем другие, что приводит к лучшей картине.

Ускорение необходимо и редко заметно

Даже при всех своих недостатках, апскейлинг — это хорошо. Это процесс, который обычно проходит без сучка и позволяет вам смотреть различные форматы видео на одном телевизоре. Это идеально? Конечно, нет. Вот почему некоторые любители кино и видеоигр предпочитают наслаждаться старым искусством по назначению: телевизоры со старой задницей. Но, на данный момент, апскейлинг не является чем-то, что может быть слишком взволнованным. И это не то, чтобы слишком расстраиваться.

Стоит отметить, что форматы видео 8K, 10K и 16K уже поддерживаются некоторыми аппаратными средствами, которые мы используем каждый день. Если технология масштабирования не может сравниться с этими форматами высокого разрешения, есть вероятность, что это приведет к гораздо большей потере качества, чем мы привыкли.

Поскольку производители и потоковые сервисы все еще тянут свои ноги в сторону 4K , возможно, нам пока не стоит беспокоиться о 8K.

Источник

Качество и масштабирование цифрового изображения. Сравнение, мифы, способы и экономическая целесообразность

В современном мире существует огромное множество всевозможных качественных измерителей изображения. Неопытный и непросвещенный человек может запросто запутаться в разнообразии узкоспециализированных терминов, попасть на уловки маркетологов или необдуманно лишить себя очередных технологических новшеств.

Данная статья позволит разобраться в большинстве значимых характеристиках, самостоятельно сравнить разные технологии и ухищрения, а так же решить, какой именно девайс необходим Вам в зависимости от требований и экономического достатка.

FPS (Frames Per Second)

FPS – показатель динамического изображения (не статичного), представляющий из себя количество кадров в секунду.

В настоящее время кинематограф и телевидение использует давно установленную норму в 24 кадра в секунду (ранее, во времена немого кино, стандарт составлял 16 кадров). Существуют и исключения, а именно:

• Спортивные трансляции матчей на некоторых стриминговых сервисах и каналах составляют 60 кадров
• «Хоббит» Питера Джексона, который снимался, а позже показывался в некоторых IMAX-кинотеатрах в 48 кадрах
• Искусственно интерполированные переиздания фильмов (разное количество)
• Будущие сиквелы «Аватара» Джеймса Кэмерона, которые он обещает снять в 60 кадрах

Норма в 24 кадра родилась неспроста, её достаточно для видимой плавности изображения (любых движений), а так же это остаётся лёгким в производстве, ибо любое изменение сильно увеличит ширину плёнки. Т.е. это некий компромисс в современной киноиндустрии, выйти из которого решаются лишь немногие.

Естественно, чем больше этот показатель, тем плавнее изображение. Продемонстрировать разницу можно простейшей гифкой, в которой шар перекатывается за одинаковое время из левого угла в правый.

Как можно увидеть из гифки, разница заметно на любой даже не подготовленный взгляд. Да, разница не огромна, однако то, что плавность изображения на прямую зависит от частоты кадров, полагаю, очевидно всем.

Существуют и ухищрение, называемое интерполяцией кадров. Подобной системой пользуются при создании фанатских переизданий, а так же она встроена в некоторые телевизоры. Её суть в том, чтобы из исходных кадров рассчитывать новые дополнительные кадры, то есть между 2-мя соседними исходными кадрами программа дорисовывает новые, основываясь на данных движения из соседних. Система сей крайне довольно сложна в исполнении, а главное, рождает из себя множество артефактов, мешающих просмотру.

В игровой индустрии норма количества кадров заметно отличается от кино. 30 кадров в секунду – установленный стандарт для комфортного геймплея, но вариаций здесь куда больше. Спортивные симуляторы, файтинги, шутеры от первого лица и киберспортивные мультиплеерные жанры, где крайне важна скорость реакции, предпочтительно должны обладать 60 кадрами в секунду. Достичь подобных показателей часто бывает сложно, т.к. фпс прямо зависит от производительности системы.

Разрушители мифов

Современное информативное пространство породило множество мифов касательно частоты кадров, каждый из которых хотелось бы рассмотреть.

Человеческий глаз не видит больше 24 кадров в секунду

Данный миф родился, скорее всего, из-за стандарта киноиндустрии, но, что самое важное, он в корне ошибочен.

Видеть разницу частоты кадров, превышающей 24, способны абсолютно все, в чём Вы и убедились в уже показанной гифке. Другое дело – вопрос, способен ли мозг осознать информацию, показанную при высокой скорости. Тут уже далеко не всё так однозначно, однако исследования показали, что при должной тренировке, человек способен увидеть разницу картинки, помелькавшей лишь в одном кадре из всех.

Мистический эффект 25 кадра

Данный миф родился в 1957 году, когда американский ученый опубликовал исследование, в ходе которого якобы увеличились продажи попкорна последствием 25 кадра. Спустя 5 лет он признался, что полностью сфабриковал эксперимент. Не смотря на это, миф жив до сих пор, а в интернете можно найти множество роликов и сайтов, предлагающих за деньги чудо эффект 25 кадра (похудение, изучение языков и т.д.).

Никакого эффекта, уж тем более влияющего на разум, здесь попросту нет. В ином случае это бы означало, что абсолютно каждая игра, или тот же «Хоббит» Джексона, каждую секунду имела возможность обработать ваш мозг скрытой информацией. Что, очевидно, ну совсем глупость в чистом виде.

Разрешение изображения

Разрешение – это показатель изображения, на прямую означающий его качество, представляющий из себя количество точек (или пикселей) на единицу площади (или единицу длины).

В современной гонке технологий этот показатель наиболее знаком каждому рядовому покупателю техники. Любой магазин электроники пестрит всевозможными рекламными знаками «Full HD», «Настоящее 4к Разрешение!», «Кристальная чёткость изображения» и т.д.
Всё далеко не с проста, это самый главный показатель любого устройства для воспроизведения визуальной информации, будь то монитор ноутбука, экран телевизора, дисплей смартфона или электронной книги. Чем выше разрешение – тем чище и детальнее картинка. Прогресс картинки очевиден, стоит только, какое именно изображение мы лицезрели во времена VHS, ну или взглянуть на простейшее сравнение:

Качество изображения зависит так же и от его источника, скорость развития которого абсолютно разное. И во главе его стоит игровая индустрия, которая с каждым днём постоянно увеличивает технологические аспекты. Игровая индустрия не дремлет. Именно она больше всех толкает сейчас прогресс развития качества изображения. Поколения консолей, улучшение производительности систем — всё приводит к тому, что картинка становится реалистичнее, четче и детальнее.

4k разрешение

Когда мода на 3D-телевизоры быстро погасла, но её место пришёл иной технологический аспект — 4k разрешение экрана, рекламируемое со всех сторон.

Скорее всего, у всех Вас по большей части стоит дома Full Hd-телевизор. Нужно ли вам переходить на новое разрешение? Увидите ли Вы разницу?

Всё зависит от того, для чего вы собираетесь использовать его. Подобное разрешение до сих пор редкость. Современное телевидение, особенно в нашей стране, по большей части транслируется в скудном старейшем 480p (720х480 точек), лишь несколько каналов, и то порой за отдельную плату, перешли на HD (720p), и только парочка на FHD (1080p), например, «Первый Канал». Это означает, что, если вы используете телевизор только по прямому назначению, 4к разрешение в этом десятилетии вы не увидите точно.

Для того, чтобы всё-таки хоть как-то использовать возможности нового разрешения, вам понадобится либо покупать 4k blu-ray диски с фильмами (что у нас ещё мало распространено, а главное, недешево), либо искать 4k-стриминговые сервисы (аля Netflix, который, хоть и существует официально в России, не предоставляет локализацию ни одного своего творения), либо смотреть 4k-ролики на YouTube (количество которых крайне малое до сих пор), либо использовать для игровых целей в связке с высокотехнологичным устройством, таким как Xbox One X или Ps4 Pro. Но и в последнем случае использовать все возможности подобного телевизора вам далеко не всегда получится использовать. Существует множество ухищрений (способов), которым пользуются разработчики, т.к. техническая составляющая до сих не полностью подходит для новомодного разрешения.

Все вариации итогового разрешения перечислим:

Нативное разрешение

Нативное разрешение – это настоящее (пиксель в пиксель) разрешение источника, совпадающего с отображающим устройством ( в нашем случае 4k ).

Именно подобное разрешение использует Netflix и 4k-видео в YouTube, однако в игровой индустрии достичь его сложно. На подобную картинку необходимо дорогостоящее оборудование, мощности которого может все равно не хватать для стабильной частоты кадров.

Естественно, именно такое настоящее разрешение даёт наиболее качественную картинку, тогда как использование ухищрений, например, шахматного рендеринга, ухудшает четкость. Особенно это видно по дальности прорисовке при 4-кратном приближении для сравнения. В качестве примера возьмём 4-ёх кратно приближенный скриншот двух версий игры (нативное разрешение 4к – слева, динамическое разрешение с шахматным рендерингом — справа) с прекрасного канала «Digital Foundry», где сравнивается игра «Rise of Tomb Raider».

Суперсэмплинг

Т.к. 4к-телевизоры и мониторы до сих пор не особо распространены (особенно в России, где ещё и половина населения не перешла на HD), а цены на них высоки, существует контингент людей, имеющих лишь FHD-экран, но при этом обладающих более производительным современным устройством. Конечно, любому пользователю хочется получать максимум от возможностей новой технике. Для этого и существует технология суперсэмплинг.

Суперсэмплинг – это технология, в результате которой картинка в игре сначала рендерится в 4K, а затем отображается в 1080p. Это дает возможность увидеть больше деталей на обычном телевизоре Full HD. В сравнение картинка будет в разы проигрывать, но наличие подобной технологии крайне удобно для временного решения. Так же это требует изначального создания картинки в большем разрешении, а значит, это требует приличной производительности системы.

Для примера возьмём скриншот безумно красивой технологической демки «Insects» в свободном доступе от «Microsoft», записанный на Full HD TV. Первый – без применения суперсэмплинга, второй – с использованием.

Как можно увидеть при увеличении, разница не огромна, но присутствует. Да, это и рядом не заменит использование 4к разрешение на таком же 4к экране, но будет приятной мелочью на время.

Шахматный рендеринг

Как можно уже было понять, нативное разрешение требует для себя огромной вычислительной мощности. Т.к. даже самые современные системы далеко не всегда могут его позволить, существуют ухищрения, с помощью которых разрешение добивается при меньших затратах производительности.

Шахматный рендеринг – теxнoлoгия, с помощью которой мoжнo гeнeрировaть изобрaжение бoлee выcoкoгo рaзрeшeния нa oснoве изoбражений меньшегo pазpeшeния и некоторыx дoпoлнительныx дaнных. По сути, она несильно уменьшает итоговое качество картинки за счёт сильного уменьшения необходимой мощности.

Работает технология, как можно понять по названию, за счёт удаления каждого 2 пикселя сцены, последующим склеивании недостающих и, при необходимости, их усреднения.

Для разбора метода возьмём объяснение с интереснейшего, но уже умершего сайта «NeoGAF». В нём рассматривается процесс рендеринга совсем простенького взрыва. На первой картинке изображено обычное (в нашем случае такой, например, используется при нативном разрешении) построение рендеринга.

На второй — с использованием технологии:

Как видим, процесс построения кадра сильно отличается. За счёт убавки пикселей, как на шахматной доске, система нагружается в меньшем количестве, однако это приводит, хоть и не к значительному, ухудшению качестве итогового изображения. Усреднённые пиксели больше всего бросаются во взор, ведь в итоге мы видим небольшое замыливание картинки.

Апскейлинг

Апскейлинг – самый простейший из всех методов преобразования разрешения картинки, в ходе которого процессор (даже рядового теливизора) самостоятельно дорисует дополнительный пиксели, дабы соответствовать собственному разрешению.

Итоговое изображение, хоть фактически и будет иметь соответствующее разрешение, на самом деле будет представлять собой множество новых усредненных пикселей, ужасное качество которых отразится итоговым полным замыливанием изображения, особенно в сравнении с иными методами преобразований картинки и разрешения.

Естественно, в итоге сравнивая все 3 метода построения, можно заявить, что натуральное нативное разрешение в итоге выдаёт наилучшую картинку. При этом, естественно, существует зависимость от необходимой мощности. Чем лучше картинку Вы хотите и чем лучше методом построения разрешения пользоваться, тем производительнее система Вам нужна.

Итоговое сравнение сгенерированной картинки взрыва можно увидеть на финальной картинке:

Экономическая целесообразность

Как уже отмечалось в статье, всё зависит от того, для каких целей вы собираетесь приобретать 4k-телевизор или монитор. Контента подобного качества до сих пор очень мало. Более того, телевиденья в 4k-разрешении не существует ещё в принципе.

При применении телевизора по прямому назначению даже Ваш старый FHD-телевизор до сих пор не реализует все свои возможности. Как много HD-каналов в данный момент вы имеете? Можно с уверенностью сказать, что для перечисления их хватит пальцев одной руки. Из этого стоит сделать простой вывод, приобретать подобную технику Вам не имеет никакого смысла. Это пустая трата денег. Обещания маркетологов абсолютно новых ощущений от просмотра в таком случае чистейшая выдумка.

При применении телевизора в качестве мультимедийного устройства наконец-то появляется видимая разница. Однако стоит учесть, что и в данном случае контента крайне мало. Да, просматривать 4k-сериалы на «Netflix» безумно приятно, однако в России нету локализации, а значит, этим воспользоваться смогут лишь некоторые.

Главное и самое распространенное применение нового разрешения сейчас – игроиндустрия. Но и в этом случае стоит учесть, что Вам потребует высокопроизводительное (а значит недешевое) устройство (ПК, ps4 pro или Xbox One X), да и нативного разрешения, использующего все возможности вашего 4k-экрана, Вы увидите далеко не всегда. По большей части только для подобного применения новое разрешение будет иметь смысл.

Из всего выше сказанного следует, что новомодное 4k-разрешение ещё очень слабо распространено. Не стоит вестись на уловки маркетологов и бежать покупать новые устройства. Единственное, для чего это действительно востребовано, это сильно ограниченные в количестве стримминг-сервисы и современный гейминг. В последних случаях Вам надо детально рассмотреть, стоят ли такие небольшие преимущества тех денежных средств, которых потребуется потратить.

Новенький 4k-телевизор обойдётся в среднем в 60000 рублей, высокопроизводительное устройство для гейминга в 40000 рублей, 4k bluray-фильм в 2000 рублей (а ведь ему ещё потребуется отдельный проигрыватель), подписка на 4k-стримминговые сервис «Netflix» 10 евро за месяц (не забудьте, что тут ещё потребуется высокоскоростной интернет). Стоит ли это того? Решать Вам.

Источник