Nvidia optical flow что это такое

NVIDIA Optical Flow SDK (Page 1 of 4)

You must login or register to post a reply

Posts: 1 to 25 of 85

1 Topic by dlr5668 23-02-2019 00:47:05

• dlr5668
• Beta Tester
• Offline

• Thanks: 180
• Thanks for the post: 1

Topic: NVIDIA Optical Flow SDK

Интересно сравнить вектора движений turing VS pascal VS svp

2 Reply by Chainik 23-02-2019 10:08:48

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

Прикольно. Звучит так, что вполне можно это прикрутить.

> аж 120 фпс в fast пресете 2160p

там как-то не указано, на каком чипе значит, на 2080 ти. а на 2060 сколько?
а на 1660 вообще работает?

> Интересно сравнить вектора движений turing VS pascal VS svp

ну, с не-турингом то нечего там сравнивать, обычные вектора для кодирования h.264/h.265, не для motion flow

===
пошел покупать 2070.

3 Reply by Chainik 23-02-2019 15:57:33

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

Сам спросил — сам ответил:

The NVOFA hardware is supported for all Turing GPUs except TU117

на 1660 должно работать, на 1650 — нет

Скорость — в теории, на 1660 и на 2080 будет работать с одинаковой скоростью ибо сказано:

contain a hardware accelerator for computing optical flow which works independently of graphics/CUDA cores

The performance varies across GPU classes (e.g. Quadro, Tesla), and scales (almost) linearly with the clock speeds

4 Reply by dlr5668 24-02-2019 11:47:05

Re: NVIDIA Optical Flow SDK

Оно разве не тензорные ядра использует ? Если 1660=2080 то это просто отличные новости

5 Reply by Chainik 24-02-2019 12:08:42

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

> Оно разве не тензорные ядра использует ?

получается что нет, там еще какой-то отдельный блок
хотя кто их разберет. может и в 1660 тензорные ядра на самом деле есть

6 Reply by Chainik 25-02-2019 19:37:17

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

железка получена, воткнута в комп, примеры из SDK работают, можно приступать
ожидайте

7 Reply by dlr5668 25-02-2019 21:35:31

Re: NVIDIA Optical Flow SDK

Ух как быстро! Ждем результатов

8 Reply by LordMerlin 26-02-2019 12:16:55

Re: NVIDIA Optical Flow SDK

От это сЭрвис. Браво. Ждемс))

9 Reply by Chainik 06-03-2019 09:35:51

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

Я так понимаю, что RTX больше ни у кого из присутствующих на руках нет?
Тестировать будем как обычно, на пользователях?

10 Reply by MAG79 06-03-2019 11:16:33

• MAG79
• SVP developer
• Offline

• Thanks: 1076

Re: NVIDIA Optical Flow SDK

Самая бюджетная совместимая из доступных — это RTX 2060?

11 Reply by dlr5668 06-03-2019 11:27:20

Re: NVIDIA Optical Flow SDK

из RTX да. А будет ли оно работать на 1660 ?

12 Reply by MAG79 06-03-2019 11:41:31

• MAG79
• SVP developer
• Offline

• Thanks: 1076

Re: NVIDIA Optical Flow SDK

У нас в городе разница в цене не критична:
GTX 1660 Ti — 24 000 руб
RTX 2060 — 28 000 руб

13 Reply by gaunt 06-03-2019 18:17:35

Re: NVIDIA Optical Flow SDK

У нас в городе разница в цене не критична:
GTX 1660 Ti — 24 000 руб
RTX 2060 — 28 000 руб

Ну да, две вместе = телевизор нехилый.

Утопия пока это.

14 Reply by Chainik 06-03-2019 18:53:37

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

15 Reply by dlr5668 06-03-2019 18:57:39

Re: NVIDIA Optical Flow SDK

Если качество прям как у нвидии в буклете будет то это гораздо лучше телика

16 Reply by Chainik 06-03-2019 19:03:24

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

да я уже вижу, что никакой особой магии не получается
в целом, все те же проблемы
Ryzen 7 и по абсолютной скорости как бы не очень проигрывает (понятно что в лоб настройки сравнивать нельзя, блоками 4*4 SVP искать может, но смысла в этом ноль)

17 Reply by gaunt 06-03-2019 20:33:55

Re: NVIDIA Optical Flow SDK

да я уже вижу, что никакой особой магии не получается
в целом, все те же проблемы
Ryzen 7 и по абсолютной скорости как бы не очень проигрывает (понятно что в лоб настройки сравнивать нельзя, блоками 4*4 SVP искать может, но смысла в этом ноль)

Это на олед не видно? Матрица быстрая или на жк смотришь?

18 Reply by Chainik 07-03-2019 06:07:57

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

я пока только на стопкадры смотрю

—-
уже можно и в живую смотреть.

на 1080p вроде нормально смотрится, на первый взгляд
а на 4К вот так «в лоб» оно малоюзабельно
во-1, блоки 4*4 для 4К это перебор, очень сильно артефачит
во-2, производительность для дву-направленного поиска векторов в «качественном» режиме на флажке, по факту её не хватает (2*24 = надо 48 к/с, а тут потолок в идеальных условиях 50 к/с)
наверное тогда придется вектора искать по уменьшенному кадру, что еще делать

19 Reply by Chainik 11-03-2019 12:54:46

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

в 32-битах, совместно с OpenCL на этом же девайсе, все вешается (прямо как CUVID в LAV. совпадение? не думаю. )
придется вообще нафиг запретить для 32-бит (даже если в каком-то особом конфиге, типа OpenCL на одной карте, а NVOF на другой, оно может работать)

20 Reply by dlr5668 11-03-2019 17:58:20 (edited by dlr5668 11-03-2019 17:58:29)

Re: NVIDIA Optical Flow SDK

32 бита только для реклока и нужны (и то можно в мпв аналог сделать)

2070 зажигает и при обучении нейросетей. Хороший вариант (игры, свп, куда вычисления)

21 Reply by James D 11-03-2019 18:39:17 (edited by James D 11-03-2019 18:41:43)

Re: NVIDIA Optical Flow SDK

Chainik, Может проплатите автору reclock, чтоб он создал 64-ю версию спецом под ваш продукт?
А то mpv не сохраняет же таймкод при закрытии, чтобы с него и начать потом просмотр (предустановка SVP) — это минимум из причин, с чего mpv не торт.

22 Reply by Chainik 11-03-2019 18:52:04

• Chainik
• SVP developer
• Offline

• Thanks: 1374

Re: NVIDIA Optical Flow SDK

> Может проплатите автору reclock, чтоб он создал 64-ю версию спецом под ваш продукт?

я и в 32-битах никогда в жизни его не использовал, и не знаю нафига

> А то mpv не сохраняет же таймкод при закрытии, чтобы с него и начать потом просмотр (предустановка SVP)

save-position-on-quit=no? кстати, можно попробовать убрать, вдруг и так уже будет работать?

23 Reply by James D 11-03-2019 19:56:12 (edited by James D 11-03-2019 19:56:29)

Re: NVIDIA Optical Flow SDK

>>save-position-on-quit=no? кстати, можно попробовать убрать, вдруг и так уже будет работать? smile
То есть если работает сразу, то других подводных камней или проблем со временем не будет? Так-то с виду работает.

P.S. Ну я разогнал в 100Гц для игр, цифра феншуйная (тикрейт серверный и тп). Не буду же я менять каждый раз герцовку в 96 для фильмов (х4) и обратно если можно, чтоб фильм ускорялся с 96 до 100. А Potplayer автосмену режимов монитора в полноэкранном, как у mpc-hc, так и не сделал.

24 Reply by dlr5668 11-03-2019 20:03:11

Re: NVIDIA Optical Flow SDK

save-position-on-quit=yes работает, но скрипт железно запоминает, не поменяешь пресет. В прочем это не проблема

Источник

NVIDIA улучшит функции Passthrough+ и ASW на Rift S с помощью технологии Optical Flow

Rift S получили несколько камер, которые смотрят в разные стороны и с помощью компьютерного зрения отслеживают пространственное положение пользователя без внешних датчиков. Ещё одна важная функция этой системы — это способность передавать пользователю потоковое видео, делая очки прозрачными. Эта функция называется Passthrough+, где «+» означает низкую задержку, а также стереоскопически правильное, широкое поле обзора.

Passthrough+ справляется с «прозрачностью» лучше, чем её аналоги в других очках. Но скоро будет дополнительно улучшена вместе с функцией Asynchronous Spacewarp, благодаря компании NVIDIA и её технологии Optical Flow.

В Quest тоже есть функция трансляции видео с камер на дисплеи очков, однако Oculus не дала ей имя «Passthrough» из-за задержки и отсутствия стереоскопии. Rift S заслужили эту галочку в списке достижений тем, что могут использовать намного более высокую вычислительную мощность персонального компьютера для вычисления удалённости объектов, положения человека и репроецирования изображения с камер для настоящего, глубокого стереоэффекта. Для нас эти процедуры выливаются в естественную трёхмерную картинку.

В корпоративном блоге Oculus рассказала, что Passthrough+ использует технологию, разработанную для Asynchronous Spacewarp (ASW), решения для добавления недостающих кадров при нехватке мощности рендеринга. ASW делает это путём анализа движения в предыдущих кадрах и предсказания того, как оно должно продолжаться в будущих. На основе этого анализа синтезируются новые кадры, которые заполняют стек до комфортных 90 кадров в секунду.

Passthrough+ работает с похожими алгоритмами для сравнения снятых одновременно кадров с камер Rift S, чтобы понять расстояние между объектами в каждом кадре, а затем создать правильные искажения для стереоскопического эффекта.

Этот метод аналогичен методам большинства технологий кодирования видео, поэтому ASW и Passthrough+ используют видеодекодер на графических процессорах NVIDIA и AMD, чтобы выполнять эту работу «асинхронно» — без негативного влияния на работу графического процессора по рендерингу виртуального мира.

Обновление Passthrough+ и ASW, о котором мы вынуждены говорить с такой предысторией, сможет использовать возможности RTX и других карт архитектуры Turing, которые поддерживают новую технологию Оптического потока (Optical Flow) от NVIDIA:

Optical Flow увеличивает разрешение макроблока в четыре раза, увеличивает разрешение вектора движения, позволяет следить за объектами через изменения интенсивности и выделяет правдоподобный оптический поток через коэффициенты сжатия. В результате получается половина средней ошибки конечной точки по сравнению с традиционными векторами движения в кодирования видео. Качественные результаты в равной степени впечатляют. С ASW объекты ближнего поля отслеживаются более надёжно. Галлюцинации качающегося света гораздо реже, а повышенная точность означает, что движение более точно отслеживается в отношении отдельных частиц и объектов.

В итоге, подчёркивает Oculus, получается более точная оценка движения и уменьшение количества и размера артефактов при использовании ASW. Аналогично, в Passthrough+ на процессорах Turing улучшится глубина и стабильность изображения:

Для Passthrough+ это означает повышенное стереоразрешение проецируемого мира вместе с правильным отслеживанием и сопровождением тонких объектов. Столкнувшись с областями с низкой контрастностью или передержкой, NVIDIA Optical Flow может выводить значимые показатели несоответствия, предотвращая визуальные дыры или пропуски данных, когда мы оцениваем глубину сцены.

Oculus говорит, что усовершенствования появятся в июне и будут совместимы с графическими процессорами Turing, на которых установлены последние версии драйверов.

Компания также оптимистична по поводу остальных возможностей технологии:

Это не конец истории с ASW и Optical Flow. Optical Flow не только отслеживает движение, но также сообщает пространственное расположение сцены. Есть много информации, которую мы можем получить о средах с помощью Optical Flow, и ни один [из типов данных] не подходит для традиционного декодера видео. SDK оптического потока открывает множество возможностей и исследований […].

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!

Источник