Конструкция из движения - Structure from motion

Не путать с структура из движения (психофизика).

Конструкция из движения (SFM)[1] это фотограмметрический дальность изображения метод оценки трехмерных структур из последовательностей двумерных изображений, которые могут быть связаны с локальными сигналы движения. Он изучается в областях компьютерное зрение и визуальное восприятие. В биологическом видении SfM относится к явлению, с помощью которого люди (и другие живые существа) могут восстанавливать трехмерную структуру из проецируемого двухмерного (сетчатого) поля движения движущегося объекта или сцены.

Принцип

Цифровая модель поверхности автомагистраль обмен строительная площадка
Реальное фото x SfM с цветом текстуры x SfM с простым шейдером. Сделано с помощью графического интерфейса Python Photogrammetry Toolbox и визуализировано в Blender с помощью Cycles.
Аэродром Безмехова 3D цифровая модель поверхности извлечены из данных, собранных в течение 30 минут полета Pteryx БПЛА

Люди воспринимают большой объем информации о трехмерной структуре окружающей среды, перемещаясь вокруг нее. Когда наблюдатель движется, объекты вокруг него перемещаются на разную величину в зависимости от их расстояния от наблюдателя. Это известно как параллакс движения, и эта информация может быть использована для создания точного трехмерного представления мира вокруг них.[2]

Поиск структуры из движения представляет собой проблему, аналогичную поиску структуры из стереозрение. В обоих случаях соответствие между изображениями и реконструкция 3D-объекта необходимо найти.

Найти переписка между изображениями такие функции, как угловые точки (края с градиентами в нескольких направлениях) отслеживаются от одного изображения к другому. Одним из наиболее широко используемых детекторов признаков является масштабно-инвариантное преобразование признаков (ПРОСЕЯТЬ). Он использует максимумы из разность гауссианов (СОБАКА) пирамида как особенности. Первый шаг в SIFT - поиск доминирующего направления градиента. Чтобы сделать его инвариантным к вращению, дескриптор поворачивается, чтобы соответствовать этой ориентации.[3] Еще один детектор общей функции - это СЕРФ (ускоренные надежные функции).[4] В SURF DOG заменяется на Матрица Гессе детектор блобов. Кроме того, вместо оценки гистограмм градиента SURF вычисляет суммы компонентов градиента и суммы их абсолютных значений.[5] Использование интегральных изображений позволяет очень быстро обнаруживать особенности с высокой степенью обнаружения.[6] Следовательно, по сравнению с SIFT, SURF является более быстрым детектором признаков с недостатком меньшей точности в позициях признаков.[5]Еще одним типом особенностей, которые недавно стали практиковать для создания структуры из движения, являются общие кривые (например, локально кромка с градиентами в одном направлении), часть технологии, известной как бессмысленный SFM[7][8], полезно, когда точечных функций недостаточно, часто встречается в искусственных средах.[9]

Затем будут сопоставлены признаки, обнаруженные на всех изображениях. Один из алгоритмов сопоставления, который отслеживает особенности от одного изображения к другому, - это Трекер Лукас – Канаде.[10]

Иногда некоторые из совпадающих функций совпадают неправильно. Вот почему совпадения также следует фильтровать. RANSAC (консенсус случайной выборки) - это алгоритм, который обычно используется для удаления резко отклоняющихся соответствий. В статье Фишлера и Боллеса RANSAC используется для решения проблема определения местоположения (LDP), где цель состоит в том, чтобы определить точки в пространстве, которые проецируются на изображение в набор ориентиров с известными местоположениями.[11]

Затем траектории пространственных объектов с течением времени используются для восстановления их трехмерного положения и движения камеры.[12]Альтернативой являются так называемые прямые подходы, в которых геометрическая информация (трехмерная структура и движение камеры) оценивается непосредственно по изображениям, без промежуточной абстракции до элементов или углов.[13]

Есть несколько подходов к построению структуры из движения. В инкрементальном SFM[14], позы камеры решаются и добавляются по одной в коллекцию. В глобальном SFM [15][16], позы всех камер решаются одновременно. Несколько промежуточный подход: вне ядра SFM, где вычисляется несколько частичных реконструкций, которые затем интегрируются в глобальное решение.

Приложения

Геонауки

Структурная фотограмметрия движения с многовидовым стереозвуком позволяет получить гипермасштабные модели рельефа с использованием изображений, полученных с различных цифровых камер и, возможно, сети наземных контрольных точек. Этот метод не ограничен временной частотой и может предоставлять данные облака точек, сопоставимые по плотности и точности с данными, полученными при наземном и воздушном лазерном сканировании, за небольшую часть стоимости.[17][18][19]. Структура от движения также полезна в удаленных или суровых условиях, где наземное лазерное сканирование ограничено портативностью оборудования, а воздушное лазерное сканирование ограничено неровностями местности, что приводит к потере данных и ракурсу изображения. Техника применялась во многих местах, например, в реках.[20], бесплодные земли[21], песчаные береговые линии[22][23], зоны разломов[24], оползни[25], и настройки коралловых рифов[26]. SfM также успешно применяется для оценки больших объемов накопления древесины.[27] и пористость[28] в речных системах, а также для характеристики массивов горных пород путем определения некоторых свойств, таких как ориентация, устойчивость и т. д. неоднородностей[29][30]. Можно использовать весь спектр цифровых фотоаппаратов, включая цифровые SLR, компактные цифровые фотоаппараты и даже смартфоны. Однако, как правило, более высокая точность данных достигается с помощью более дорогих камер, которые включают в себя объективы более высокого оптического качества. Таким образом, этот метод предлагает захватывающие возможности для описания топографии поверхности с беспрецедентной детализацией и, с использованием разновременных данных, для обнаружения изменений высоты, положения и объема, которые являются симптомами процессов на поверхности земли. Структура от движения может быть помещена в контекст других методов цифровой съемки.

Культурное наследие

Культурное наследие присутствует везде. Его структурный контроль, документирование и сохранение - одна из главных обязанностей человечества (ЮНЕСКО ). С этой точки зрения SfM используется для правильной оценки ситуаций, а также для планирования и технического обслуживания, а также затрат, контроля и восстановления. Поскольку часто существуют серьезные ограничения, связанные с доступностью площадки и невозможностью установки инвазивных геодезических столбов, которые не позволяли использовать традиционные процедуры съемки (например, тахеометры), SfM обеспечивает неинвазивный подход к конструкции без прямого взаимодействия между структурой и любым оператором. Использование является точным, поскольку необходимы только качественные соображения. Это достаточно быстро, чтобы отреагировать на неотложные нужды управления памятником.[31]Первым этапом работы является точная подготовка фотограмметрической съемки, при которой устанавливается соотношение между наилучшим расстоянием от объекта, фокусным расстоянием, расстоянием выборки от земли (GSD) и разрешением датчика. С этой информацией запрограммированные фотографические захваты должны производиться с вертикальным перекрытием не менее 60% (рисунок 02).[32]

Смотрите также

дальнейшее чтение

  • Джонатан Л. Кэрривик, Марк В. Смит, Дункан Дж. Куинси (2016). Структура движения в науках о Земле. Вили-Блэквелл. 208 страниц. ISBN  978-1-118-89584-9
  • Ричард Хартли и Эндрю Зиссерман (2003). Многоканальная геометрия в компьютерном зрении. Издательство Кембриджского университета. ISBN  978-0-521-54051-3.

Рекомендации

  1. ^ С. Ульман (1979). «Интерпретация структуры из движения» (PDF). Труды Лондонского королевского общества. 203 (1153): 405–426. Bibcode:1979RSPSB.203..405U. Дои:10.1098 / rspb.1979.0006. HDL:1721.1/6298. PMID  34162. S2CID  11995230.
  2. ^ Линда Г. Шапиро; Джордж К. Стокман (2001). Компьютерное зрение. Прентис Холл. ISBN  978-0-13-030796-5.
  3. ^ Д. Г. Лоу (2004). «Отличительные особенности изображения от масштабно-инвариантных ключевых точек». Международный журнал компьютерного зрения. 60 (2): 91–110. CiteSeerX  10.1.1.73.2924. Дои:10.1023 / b: visi.0000029664.99615.94. S2CID  221242327.
  4. ^ Х. Бэй; Т. Туйтелаарс и Л. Ван Гул (2006). «Серфинг: расширенные возможности». 9-я Европейская конференция по компьютерному зрению.
  5. ^ а б К. Хэминг и Г. Петерс (2010). «Конвейер реконструкции структуры из движения - исследование с акцентом на короткие последовательности изображений». Кибернетика. 46 (5): 926–937.
  6. ^ Альт, P .; Джонс, М. (2001). «Быстрое обнаружение объектов с помощью усиленного каскада простых функций». Труды конференции компьютерного общества IEEE 2001 года по компьютерному зрению и распознаванию образов. CVPR 2001. Кауаи, Гавайи, США: IEEE Comput. Soc. 1: I – 511 – I-518. Дои:10.1109 / CVPR.2001.990517. ISBN  978-0-7695-1272-3. S2CID  2715202.
  7. ^ Нурутдинова, Андрей; Фитцгиббон, Эндрю (2015). «К бессмысленной структуре из движения: 3D-реконструкция и параметры камеры из общих 3D-кривых» (PDF). Материалы Международной конференции IEEE по компьютерному зрению (ICCV 2015): 2363–2371. Дои:10.1109 / ICCV.2015.272. ISBN  978-1-4673-8391-2. S2CID  9120123.
  8. ^ Фаббри, Рикардо; Гиблин, Питер; Кимиа, Бенджамин (2012). «Оценка положения камеры с использованием дифференциальной геометрии кривой первого порядка» (PDF). Конспект лекций по информатике (ECCV 2012). Конспект лекций по информатике. 7575: 231–244. Дои:10.1007/978-3-642-33765-9_17. ISBN  978-3-642-33764-2.
  9. ^ Apple, команда ARKIT (2018). «Понимание отслеживания и обнаружения ARKit». WWDC.
  10. ^ Б. Д. Лукас и Т. Канаде. «Методика итеративного совмещения изображений с приложением к стереозрению». Иджчай81.
  11. ^ М. А. Фишлер и Р. К. Боллес (1981). «Консенсус случайной выборки: парадигма подгонки модели с приложениями для анализа изображений и автоматизированной картографии». Commun. ACM. 24 (6): 381–395. Дои:10.1145/358669.358692. S2CID  972888.
  12. ^ Ф. Делларт; С. Зейтц; К. Торп и С. Трун (2000). «Структура из движения без переписки» (PDF). Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов.
  13. ^ Энгель, Якоб; Шёпс, Томас; Кремерс, Дэниел (2014). "LSD-SLAM: крупномасштабный прямой монокуляр SLAM". Европейская конференция по компьютерному зрению (ECCV) 2014 г. (PDF).
  14. ^ Дж. Л. Шенбергер и Дж. М. Фрам (2016). «Возвращение к структуре из движения» (PDF). Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов.
  15. ^ К. Томази и Т. Канаде (1992). «Форма и движение из потоков изображений при орфографии: метод факторизации». Международный журнал компьютерного зрения. 9 (2): 137–154. CiteSeerX  10.1.1.131.9807. Дои:10.1007 / BF00129684. S2CID  2931825.
  16. ^ В.М. Говинду (2001). «Объединение ограничений с двумя ракурсами для оценки движения». Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов. 2: II-218 – II-225. Дои:10.1109 / CVPR.2001.990963. ISBN  0-7695-1272-0. S2CID  8252027.
  17. ^ Westoby, M. J .; Brasington, J .; Glasser, N.F .; Hambrey, M. J .; Рейнольдс, Дж. М. (15 декабря 2012 г.). "'Фотограмметрия структуры из движения: недорогой и эффективный инструмент для геолого-геофизических исследований ». Геоморфология. 179: 300–314. Bibcode:2012 Geomo.179..300 Вт. Дои:10.1016 / j.geomorph.2012.08.021.
  18. ^ Джеймс, М. Р .; Робсон, С. (01.09.2012). «Прямая реконструкция трехмерных поверхностей и топографии с помощью камеры: приложение для измерения точности и геолого-геофизических исследований» (PDF). Журнал геофизических исследований: поверхность Земли. 117 (F3): F03017. Bibcode:2012JGRF..117.3017J. Дои:10.1029 / 2011jf002289. ISSN  2156-2202.
  19. ^ Fonstad, Mark A .; Дитрих, Джеймс Т .; Курвиль, Бретань С .; Дженсен, Дженнифер Л .; Карбонно, Патрис Э. (30 марта 2013 г.). «Топографическая структура от движения: новая разработка в фотограмметрических измерениях» (PDF). Процессы земной поверхности и формы рельефа. 38 (4): 421–430. Bibcode:2013ESPL ... 38..421F. Дои:10.1002 / esp.3366. ISSN  1096-9837.
  20. ^ Javernick, L .; Brasington, J .; Карузо, Б. (2014). «Моделирование топографии мелких плетеных рек с помощью фотограмметрии структуры из движения». Геоморфология. 213: 166–182. Bibcode:2014 Geomo.213..166J. Дои:10.1016 / j.geomorph.2014.01.006.
  21. ^ Смит, Марк Уильям; Верикат, Дамиа (30 сентября 2015 г.). «От экспериментальных участков к экспериментальным ландшафтам: топография, эрозия и отложения в субгумидных бесплодных землях по результатам фотограмметрии структуры из движения» (PDF). Процессы земной поверхности и формы рельефа. 40 (12): 1656–1671. Bibcode:2015ESPL ... 40.1656S. Дои:10.1002 / esp.3747. ISSN  1096-9837.
  22. ^ Гольдштейн, Эван Б. Оливер, Эмбер Р.; де Вриз, Эльсмари; Мур, Лаура Дж; Джасс, Тео (2015-10-22). «Требования к наземным опорным точкам для топографии, основанной на движении, в прибрежной среде с пологим уклоном». PeerJ PrePrints. Дои:10.7287 / peerj.preprints.1444v1. ISSN  2167-9843.
  23. ^ Манчини, Франческо; Дуббини, Марко; Гаттелли, Марио; Стекки, Франческо; Фаббри, Стефано; Габбианелли, Джованни (9 декабря 2013 г.). «Использование беспилотных летательных аппаратов (БПЛА) для восстановления топографии с высоким разрешением: структура с точки зрения движения в прибрежных средах». Дистанционное зондирование. 5 (12): 6880–6898. Bibcode:2013RemS .... 5,6880 млн. Дои:10.3390 / RS5126880.
  24. ^ Джонсон, Кендра; Ниссен, Эдвин; Сарипалли, Шрикантх; Эроусмит, Дж. Рамон; МакГэри, Патрик; Шарер, Кэтрин; Уильямс, Патрик; Блиснюк, Кимберли (01.10.2014). «Оперативное картирование топографии зоны ультратонких разломов со структурой от движения». Геосфера. 10 (5): 969–986. Bibcode:2014Геосп..10..969J. Дои:10.1130 / GES01017.1.
  25. ^ Del Soldato, M .; Riquelme, A .; Bianchini, S .; Tomàs, R .; Ди Мартире, Д .; De Vita, P .; Moretti, S .; Калькатерра, Д. (06.06.2018). «Интеграция данных из нескольких источников для исследования одного столетия эволюции оползня Аньоне (Молизе, южная Италия)». Оползни. 15 (11): 2113–2128. Дои:10.1007 / s10346-018-1015-z. ISSN  1612-510X.
  26. ^ Брайсон, Митч; Дуче, Стефани; Харрис, Дэн; Вебстер, Джоди М .; Томпсон, Алиша; Вила-Консехо, Ана; Уильямс, Стефан Б. (2016). «Геоморфические изменения коралловой гальки, измеренные с помощью аэрофотосъемки воздушного змея». Геоморфология. 270: 1–8. Bibcode:2016 Geomo.270 .... 1B. Дои:10.1016 / j.geomorph.2016.06.018.
  27. ^ Спрейцер, Габриэль; Танниклифф, Джон; Фридрих, Хайде (2019-12-01). «Использование фотограмметрии структуры по движению для оценки скоплений большой древесины (LW) в поле». Геоморфология. 346: 106851. Bibcode:2019Geomo.34606851S. Дои:10.1016 / j.geomorph.2019.106851.
  28. ^ Спрейцер, Габриэль; Танниклифф, Джон; Фридрих, Хайде (2020). «Трехмерное картирование и оценка накопления крупной древесины (LW) с использованием структуры из фотограмметрии движения в лаборатории». Журнал гидрологии. 581: 124430. Bibcode:2020JHyd..58124430S. Дои:10.1016 / j.jhydrol.2019.124430.
  29. ^ Riquelme, A .; Кано, М .; Tomás, R .; Абеллан, А. (01.01.2017). "Идентификация наборов разрывов на склоне с помощью лазерного сканера и фотограмметрических облаков точек: сравнительный анализ". Разработка процедур. 191: 838–845. Дои:10.1016 / j.proeng.2017.05.251. ISSN  1877-7058.
  30. ^ Жорда Бордехор, Луис; Рикельме, Адриан; Кано, Мигель; Томас, Роберто (01.09.2017). «Сравнение ручного и дистанционного сбора данных о несплошностях поля, используемых при оценке кинематической устойчивости обрушившихся откосов горных пород» (PDF). Международный журнал механики горных пород и горных наук. 97: 24–32. Дои:10.1016 / j.ijrmms.2017.06.004. HDL:10045/67528. ISSN  1365-1609.
  31. ^ Гуиди. ГРАММ.; Beraldin, J.A .; Атзени, К. Высокоточное 3D-моделирование культурного наследия: оцифровка Донателло. IEEE Trans. Процесс изображения. 2004, 13, 370–380
  32. ^ Краус, К., 2007. Фотограмметрия: геометрия по изображению и лазерному сканированию. Вальтер де Грюйтер, 459 стр. ISBN  978-3-11-019007-6

внешняя ссылка

Программного обеспечения

Смотрите также: Программное обеспечение для фотограмметрии и Настройка пакета § Программное обеспечение
Решения с открытым исходным кодом
  • Попробуйте все бесплатные инструменты для фотограмметрии[1]

C ++

Matlab

Python

Программное обеспечение с закрытым исходным кодом
  1. ^ pfalkingham (14 сентября 2016 г.). "Пробуем бесплатную фотограмметрию!". Д-р Питер Л. Фолкингем. Получено 2017-05-16.