EA201591144A1 20160129 Номер и дата охранного документа [PDF] EAPO2016\PDF/201591144 Полный текст описания [**] EA201591144 20131216 Регистрационный номер и дата заявки US61/737,499 20121214 Регистрационные номера и даты приоритетных заявок US2013/075354 Номер международной заявки (PCT) WO2014/133646 20140904 Номер публикации международной заявки (PCT) EAA1 Код вида документа [pdf] eaa21601 Номер бюллетеня [**] УСТРОЙСТВО И СПОСОБ ТРЕХМЕРНОГО ИЗМЕРЕНИЯ ПОВЕРХНОСТИ Название документа [8] G01C 11/06, [8] G01C 11/30, [8] G01B 11/25, [8] G06T 7/00 Индексы МПК [US] Дюмон Арнольд, [FR] Жаллон Фред, [US] Кестнер Джейсон, [US] Парими Мадхав, [US] Рэймонд Патрик Сведения об авторах [US] БИПИ КОРПОРЕЙШН НОРД АМЕРИКА ИНК. Сведения о заявителях
 

Патентная документация ЕАПВ

 
Запрос:  ea201591144a*\id

больше ...

Термины запроса в документе

Реферат

[RU]

Предоставлены система и способ трехмерного измерения поверхностей. В соответствии с одним вариантом осуществления измерительная система содержит лазерный проектор, первую съемочную камеру и процессор. Лазерный проектор предназначен для излучения лазерной проекции на поверхность для лазерной триангуляции. Первая съемочная камера предназначена для предоставления изображений поверхности и расположена под косым углом относительно лазерного проектора. Процессор предназначен для фотограмметрической обработки изображений, для вычисления калибровочных параметров для лазерной триангуляции на основе результатов фотограмметрической обработки и для вычисления посредством лазерной триангуляции на основе калибровочных параметров координат точек поверхности, освещенной лазерной проекцией.


Полный текст патента

(57) Реферат / Формула:

Предоставлены система и способ трехмерного измерения поверхностей. В соответствии с одним вариантом осуществления измерительная система содержит лазерный проектор, первую съемочную камеру и процессор. Лазерный проектор предназначен для излучения лазерной проекции на поверхность для лазерной триангуляции. Первая съемочная камера предназначена для предоставления изображений поверхности и расположена под косым углом относительно лазерного проектора. Процессор предназначен для фотограмметрической обработки изображений, для вычисления калибровочных параметров для лазерной триангуляции на основе результатов фотограмметрической обработки и для вычисления посредством лазерной триангуляции на основе калибровочных параметров координат точек поверхности, освещенной лазерной проекцией.


УСТРОЙСТВО И СПОСОБ ТРЕХМЕРНОГО ИЗМЕРЕНИЯ ПОВЕРХНОСТИ
Перекрестные ссылки на родственные заявки
Согласно настоящей заявке испрашивается приоритет в соответствии с предварительной заявкой на выдачу патента США №61/737499, поданной 14 декабря 2012 г., озаглавленной "Apparatus and Method for Measuring Subsea Structures", которая включена в настоящий документ во всей полноте посредством ссылки.
Предшествующий уровень техники настоящего изобретения
Для измерения и/или моделирования объектов используют различные оптические способы. Фотограмметрия - это дисциплина, занимающаяся определением характеристик объекта по его фотоизображению. Например, фотограмметрию используют для построения карт (в частности, аэрофотограмметрию) и/или для создания моделей промышленных установок (фотограмметрия с близкого расстояния) по фотоизображениям. В соответствии с фотограмметрией изображения местности получают под разными углами, а потом двумерные измерения объектов преобразуют в трехмерные координаты посредством математических методов блочного уравнивания. В фотограмметрии для корреляции изображений требуется использование мишеней, и она ограничивается измерением визуальных указателей, таких как точки и топографические элементы (т. е. углы, края, цилиндры). Фотограмметрия с близкого расстояния может обеспечивать хорошие результаты при условии предоставления большого количества изображений, полученных под разными углами, которые будут обеспечивать хорошую пересекающуюся геометрию и высокую избыточность. Стереофотограмметрия позволяет выполнять измерения по точкам на поверхностях, но ограничена по точности, поскольку стереоскопический датчик имеет только две линии видимости, которые квазипараллельны.
Лазерная триангуляция - оптический метод, который можно использовать для измерения с высокой плотностью небольших поверхностей. При лазерной триангуляции лазерный источник, который проецирует, например, линию, точку или рисунок, устанавливают вместе с оптическим датчиком (например, съемочная камера) в соответствии с заданной калиброванной геометрией. Лазерная проекция триангулируется оптическим датчиком. Для получения множества измерений перед лазером может быть
установлено поворотное зеркало, которое будет обеспечивать "сканирование" оптическим датчиком большой поверхности в расположенных с большой плотностью точках.
Краткое раскрытие настоящего изобретения
В настоящем документе раскрыты система и способ трехмерного измерения и моделирования поверхностей и объектов. В соответствии с одним вариантом осуществления измерительная система содержит лазерный проектор, первую съемочную камеру и процессор. Лазерный проектор предназначен для излучения лазерной проекции на поверхность для лазерной триангуляции. Первая съемочная камера предназначена для предоставления изображений поверхности и расположена под косым углом относительно лазерного проектора. Процессор предназначен для фотограмметрической обработки изображений, для вычисления калибровочных параметров для лазерной триангуляции на основе результатов фотограмметрической обработки и для вычисления посредством лазерной триангуляции на основе калибровочных параметров координат точек поверхности, освещенной лазерной проекцией.
В соответствии с другим вариантом осуществления способ лазерной триангуляции предусматривает захват изображений поверхности с помощью первой съемочной камеры при перемещении первой съемочной камеры вдоль поверхности. Поверхность освещают лазерной проекцией, создаваемой лазерным источником, перемещаемым вдоль поверхности совместно с первой съемочной камерой. Изображения подвергают фотограмметрической обработке. Калибровочные параметры для лазерной триангуляции вычисляют на основе результатов фотограмметрической обработки. С помощью лазерной триангуляции координаты точек поверхности, освещенной лазерной проекцией, вычисляют на основании калибровочных параметров.
В соответствии с другим вариантом осуществления в долговременный машиночитаемый носитель кодируют команды, при выполнении которых процессор извлекает из серии изображений, полученных первой съемочной камерой, изображения поверхности. Также при выполнении команд процессор осуществляет фотограмметрическую обработку изображений и вычисляет калибровочные параметры для лазерной триангуляции на основании результатов фотограмметрической обработки. Также при выполнении команд процессор посредством лазерной триангуляции на
основании калибровочных параметров вычисляет координаты точек поверхности, освещенной лазерной проекцией, которая захватывается на изображениях.
Краткое описание фигур
Далее приведенные в качестве примера варианты осуществления будут подробно описаны со ссылкой на прилагаемые фигуры, на которых:
на фиг. 1 схематически показано устройство, которое выполняет измерение поверхности в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 2 схематически показана система координат для фотограмметрии в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 3 показано расположение плоскости лазера в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 4 показано определение оси лазера в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 5 показано расположение первой съемочной камеры относительно второй съемочной камеры в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 6А-6В показаны виды измерительного устройства, выполненного с возможностью применения под водой в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 7A-7D показаны виды съемочной камеры и лазера, выполненных с возможностью применения в измерительном устройстве в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 8А-8В показаны виды съемочной камеры и светодиода (LED), выполненных с возможностью применения в измерительном устройстве в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 9А-9В показаны виды съемочной камеры и лазера, расположенных в переднем отверстии для применения в измерительном устройстве в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 10 показан вид съемочной камеры и LED, расположенных в переднем отверстии для применения в измерительном устройстве в соответствии с раскрытыми в настоящем документе идеями;
на фиг. 11А-11В показаны виды кронштейна для установки съемочной камеры и лазера (или LED) для применения в измерительном устройстве в соответствии с раскрытыми в настоящем документе идеями; и
на фиг. 12 показана блок-схема способа лазерной триангуляции в соответствии с раскрытыми в настоящем документе идеями.
Термины и определения
В описании и формуле изобретения термины "включающий" и "содержащий" являются открытыми и должны трактоваться как "включающий, но не ограниченный". Любой из терминов "соединять", "взаимодействовать", "сопрягать", "прикреплять" или любой другой термин, который описывает взаимодействие между элементами, не должен толковаться как термин, который ограничивает взаимодействие до непосредственного взаимодействия между элементами, так как он может включать опосредованное взаимодействие между описанными элементами. Термин "программное обеспечение" включает любой выполняемый код, который может быть запущен на процессоре, независимо от носителя, используемого для хранения программного обеспечения. Таким образом, хранимый в памяти код (например, энергонезависимое запоминающее устройство), иногда называемый "встроенной микропрограммой", входит в определение программного обеспечения. Выражение "основан на" означает "основан по меньшей мере на". Поэтому, если X основан на Y, то X может быть основан на Y и любом количестве дополнительных коэффициентов.
Подробное раскрытие настоящего изобретения
В следующем далее описании и на фигурах одинаковые детали обозначены одинаковыми ссылочными позициями. Фигуры выполнены без соблюдения масштаба. Некоторые признаки изобретения выполнены в увеличенном масштабе или схематически, а некоторые детали традиционных элементов опущены в целях обеспечения ясности понимания. Настоящее изобретение может быть реализовано в нескольких вариантах и формах. Характерные варианты осуществления описаны более подробно и показаны на фигурах, однако следует понимать, что настоящее раскрытие приведено в качестве примера и не ограничивается приведенными вариантами осуществления. Необходимо отметить, что различные признаки и компоненты
описанных далее вариантов осуществления могут быть применены отдельно или же в соответствующей комбинации для получения требуемых результатов.
Несмотря на то, что оптические методы, такие как фотограмметрия и лазерная триангуляция, подходят для измерения объектов, такие методики являются сложными, что создает трудности при их применении, в частности, в тяжелых условиях, например под водой. Например, в фотограмметрии для корреляции изображений требуется использование мишеней на местности, и она ограничивается измерением визуальных указателей, таких как точки и топографические элементы (т. е. углы, края, цилиндры). Более того, в фотограмметрии перед измерением может потребоваться выполнение калибровки под водой в условиях, максимально приближенных к условиям, в которых выполняют фотограмметрические измерения. Традиционная лазерная триангуляция также может выполняться под водой и в других тяжелых условиях, однако для ее выполнения необходим высокостабильный датчик, причем перед измерением датчик следует откалибровать в условиях, максимально приближенных к условиям, в которых выполняют лазерную триангуляцию. Такие ограничения усложняют использование традиционных методик фотограмметрии и лазерной триангуляции под водой и в других тяжелых условиях.
Варианты осуществления настоящего изобретения предусматривают способ и устройство для выполнения трехмерного измерения и моделирования объектов под водой и в других опасных условиях. Раскрытое в настоящем документе измерительное устройство может перемещаться и/или управляться, например, человеком-оператором, беспилотным летательным аппаратом (БЛА), подводным аппаратом с дистанционным управлением (ROV) и т. д. Варианты осуществления предоставляют возможность выполнять измерение и объектов (таких как точки, линии, края, цилиндры и т. д.), и точек на поверхности, расположенных с большой плотностью, причем в различных условиях (например, под водой и в других опасных условиях) и без предварительной калибровки. Согласно вариантам осуществления предварительная калибровка не требуется, а принцип действия основан на фотограмметрии и лазерной триангуляции с обеспечением инновационной методики автокалибровки.
На фиг. 1 схематически показано устройство 100, которое выполняет измерения поверхности в соответствии с раскрытыми в настоящем документе идеями. Измерительное устройство 100 содержит съемочную камеру 102 и лазерный проектор 106. В устройство 100 может быть включен источник 104 света для обеспечения работы в паре со съемочной камерой 102. Некоторые варианты
осуществления могут дополнительно предусматривать вторую съемочную камеру 108, расположенную рядом с лазерным проектором 106. Оптическая ось съемочной камеры 108 может проходить по существу параллельно лазерной проекции (например, в пределах 2° от параллели), образованной лазерным проектором 106. Каждая съемочная камера 102, 108 способна записывать видео высокой четкости (например, 1280x720 пикселей, 1920x1080 пикселей или больше). Каждая из съемочных камер 102 и 108 содержит датчик изображений, например датчик на приборах с зарядовой связью (ПЗС), датчик с комплементарной структурой металл-оксид-полупроводник (КМОП) или любой другой подходящий датчик изображений. Лазерный проектор 106 может содержать лазерный диод или другой лазерный источник и поворотное зеркало или другое устройство, которое создает лазерное изображение, определяющее плоскость в пространстве.
Съемочная камера 102 находится на заданном расстоянии и под заданным углом от лазерного проектора 106. Расстояние (d) между съемочной камерой 102 и лазерным проектором 106 зависит от расстояния (D) между датчиком изображений съемочной камеры 102 и измеряемым объектом. Например, d может составлять от одной трети до половины D. Аналогично съемочная камера 102 расположена под заданным углом относительно лазерного проектора 106. Например, съемочная камера 102 может быть расположена таким образом, чтобы отслеживать плоскость лазера, проецируемую лазерным проектором 106 под углом приблизительно 30° (т. е. угол между плоскостью лазера и оптической осью съемочной камеры 102 составляет приблизительно 30° (например, 30°±3°), что позволяет получить хорошую пересекающуюся геометрию). Соответственно если лазерный проектор 106 расположен по существу перпендикулярно монтажной конструкции 110, в этом случае съемочная камера 102 может располагаться под углом приблизительно 60° относительно монтажной конструкции ПО. Устройство 100 может находиться в контейнере или в другом корпусе для применения под водой, в условиях действия ядерного излучения, в условиях действия высоких температур или вакуума или в других тяжелых условиях.
Устройство 100 также содержит систему 112 обработки, которая соединена со съемочными камерами 102, 108 и лазерным проектором 106. Система 112 обработки способна управлять созданием лазерной проекции лазерным проектором 106 и управлять захватом изображений съемочными камерами 102, 108. Система 112 обработки содержит процессор 114 и запоминающее устройство 116. Запоминающее устройство 116 может представлять собой полупроводниковое запоминающее устройство или другое
запоминающее устройство (например, оптическое, магнитное и т. д.), в котором хранятся изображения, захваченные съемочными камерами 102, 108, и/или команды для обработки захваченных изображений. Например, команды для фотограмметрической обработки, вычисления калибровочных параметров для лазерной триангуляции на основе результатов фотограмметрической обработки и выполнения лазерной триангуляции на основе калибровочных параметров в соответствии с настоящим изобретением могут храниться в запоминающем устройстве 116 для выполнения процессором 114.
Процессор 114 может представлять собой универсальный микропроцессор, цифровой сигнальный процессор или любое другое устройство для выполнения команд. Система 112 обработки может быть расположена рядом со съемочной камерой 102 и лазерным проектором 106 (например, в общем корпусе) или на удалении от съемочной камеры 102 и лазерного проектора 106. Например, система 112 обработки может быть дистанционно подключена к съемочным камерам 102, 108 через кабель или другое средство передачи информации (например, посредством радиочастотной связи). В соответствии с некоторыми вариантами осуществления съемочные камеры 102, 108 или запоминающее устройство, связанное со съемочными камерами 102, 108, может хранить захваченные изображения для последующей обработки системой 112 обработки. Обработка, выполняемая системой 112 обработки, предусматривает калибровку оптического датчика на месте для обеспечения лазерной триангуляции. В соответствии с некоторыми вариантами осуществления система 112 обработки может представлять собой компьютер, например настольный компьютер, ноутбук, смонтированный в стойке компьютер, серверный компьютер, встроенный компьютер и т. д.
Для того чтобы провести лазерную триангуляцию с калибровкой на месте, сначала устройство 100 (посредством системы 112 обработки) выполняет фотограмметрическую методику (т. е. трехмерную обработку изображений из видео, записанного съемочными камерами 102, 108), которая предоставляет трехмерные координаты точек (а также других объектов) и трехмерные местоположения и ориентации съемочной камеры 102 в пространстве относительно набора трехмерных точек. В качестве части фотограмметрического вычисления система 112 обработки выполняет процедуру калибровки, в ходе которой вычисляются оптомеханические параметры съемочной камеры 102, а также определяется точное местоположение и ориентация лазерного проектора 106 относительно съемочной камеры 102. К оптомеханическим параметрам съемочной камеры относятся: с (главное расстояние), хр, ур (реперный центр), Kl, К2, КЗ (радиальная дисторсия), PI, Р2 (нецентрированная
дисторсия) и остальные параметры, такие как API, АР2 (ортогональность пикселей). После определения местонахождения и ориентации лазерного проектора 106 относительно съемочной камеры 102 система 112 обработки может триангулировать для каждого изображения точки на лазерной линии, проецируемой на измеряемую поверхность с любым необходимым разрешением. "Триангулированные лазерные точки" будут лежать в той же системе координат, что и "фотограмметрические точки". Отбирая изображения из видео с выбранной скоростью, устройство 100 может получить высокую плотность трехмерных точек на любой поверхности.
Лазерную триангуляцию с калибровкой на месте более подробно можно описать следующим образом. Устройство 100 располагают на необходимом расстоянии от измеряемой местности. Лазерный проектор 106 проецирует на объект или измеряемую поверхность лазерную линию. Съемочная камера 102 записывает видео высокой четкости, включая лазерную линию, проецируемую на объект. Устройство 100 перемещается вокруг объекта и вдоль него (в случае линейных объектов, таких как трубы) и одновременно записывает видео. Перемещать устройство 100 можно как вручную, так и с помощью любого средства или робота (БЛА, ROV и т. д.). Система 112 обработки извлекает изображения из полученных съемочной камерой 102 изображений. Например, если съемочная камера 102 записывает потоковое видео высокой четкости, система 7 обработки сможет извлечь отдельные изображения, или снимки, из этого потокового видео. В соответствии с некоторыми вариантами осуществления изображения можно извлечь вручную или с помощью другой системы и передать их в систему 112 обработки.
Система 112 обработки идентифицирует общие "фотограмметрические точки" на всех изображениях с помощью алгоритмов обработки изображений. После идентификации этих точек система обработки выполняет фотограмметрические вычисления и выдает следующие выходные данные:
трехмерные координаты фотограмметрических точек;
трехмерные координаты и ориентация съемочных камер;
калибровочные параметры датчика (т. е. оптомеханические параметры съемочной камеры и положение и ориентация плоскости лазера относительно съемочной камеры);
трехмерные координаты "точек лазерной триангуляции".
Система 112 обработки может выполнять фотограмметрическую обработку следующим образом. На фиг. 2 схематически показана система координат для
фотограмметрии в соответствии с раскрытыми в настоящем документе идеями. У каждой из съемочных камер 102 и 108 есть собственная система координат, центр которой находится на датчике изображений съемочной камеры. Во время захвата изображений положение и ориентация съемочной камеры 102, 108 определяются по системе координат местности. "Система координат местности" обозначена следующим образом: (О X Y Z), а "система координат съемочной камеры" обозначена так: (о х у z).
Коллинеарные уравнения для фотограмметрии, используемые в системе 112 обработки, описывают тот факт, что точка, замеренная датчиком изображений съемочной камеры (центр перспективы), и точка, отображаемая на объекте, находятся на одной и той же линии. Измерение точки датчиком изображений съемочной камеры происходит с компенсацией по оптической дисторсии и производственным дефектам. Коллинеарные уравнения для фотограмметрии можно представить следующим образом:
с,т,М aligned <-" cm = kRCM
'x + dx^
-хЛ
у + dy
= kRT
-Ус
v ~C J
V м
(1)
x + dx = rn(XM-Xc) + r2l(YM -Yc) + r3l(ZM -Zc)
rn(XM ~Хс) + Г2з(?м ~Yc) + r33(ZM ~Zc) y + dy = r12(XM-Xc) + r22(YM-Yc) + r32(ZM-Zc)
Г1з(Хм ~Хс) + Г2з(?м ~?с) + гзз(гм ~Zc)
где:
(x, у) - координаты точки m в системе координат съемочной камеры; (dx, dy)T - поправки оптической дисторсии;
R - матрица поворота системы координат съемочной камеры в системе координат местности;
(Хм,YM,ZM)T - координаты точки М в системе координат местности;
(Xc,Fc,Zc)r - координаты центра перспективы съемочной камеры (во время захвата изображений); и
к - масштабный коэффициент между cm и СМ .
Существует три типа искажений, корректируемых в системе 100: радиальная дисторсия, нецентрированная дисторсия и производственные дефекты датчиков
изображений. Система 112 обработки осуществляет компенсацию координат, ранее компенсированных по отклонению главной точки от центра (проекция центра перспективы на ПЗС). Если (хр, ур)т - это координаты центра перспективы (или реперного центра) в системе координат съемочной камеры, формула компенсации выглядит следующим образом:
х = х- хр
у = у-ур'
(2)
2 2 2
г = х + у
(3)
dx = rdx + ddx + pdx dy = rdy + ddy
(4)
где:
(rdx, rdy)T - вектор радиальной дисторсии;
(ddx, ddy)T - вектор нецентрированной дисторсии; и
(pdx, 0)т - вектор смещения пикселей
rdx = х[куг2 + К2гА + К3г6) rdy = у(к^2 + К2гА + К3г6)
(5)
ddx = Р1 (г2 + 2х2) + 2Р2ху ddy = Р2(г2 +2у2) + 2Р1ху
(6)
[pdx = АРгх + АР2у
(7)
Система 112 обработки может вычислять калибровочные параметры для лазерной триангуляции следующим образом. Проецируемое в пространство лазерное излучение образует плоскость. Система 112 обработки калибрует плоскость лазера на основании вычисления ее положения в системе координат съемочной камеры. На фиг. 3
показано расположение плоскости лазера относительно съемочной камеры 102 в соответствии с раскрытыми в настоящем документе идеями. Плоскость лазера образована (математический минимум) расстоянием dl до точки отсчета системы
координат съемочной камеры и нормалью nl к системе координат съемочной камеры.
На фиг. 4 показано определение оси лазера в соответствии с раскрытыми в настоящем документе идеями. При определении системы координат для лазера точка отсчета оси лазера является проекцией точки отсчета системы координат съемочной камеры на плоскость лазера, ось OZ плоскости лазера пересекает ось OZ, а ось ОХ перпендикулярна плоскости лазера. В соответствии с этим определением можно установить метрологические характеристики, такие как сходимость (между осью OZ и осью OZ плоскости лазера), база (расстояние между точкой отсчета съемочной камеры и точкой отсчета лазера), (ol, xl, zl) определяются следующим образом:
(ol,xl) - оси, проходящие через о и проекция о на плоскость лазера, и
(ol, zl) - оси, совпадающие с оптической осью съемочной камеры.
Координаты точки могут быть вычислены в соответствии с системой координат съемочной камеры или системой координат лазера. Лазерную точку в системе координат съемочной камеры можно вычислить следующим образом.
cl = kRTcL (8)
где:
cl - система координат съемочной камеры; и cL - система координат лазера
'xl + dx^
Yl + dy
= kRT
У1-Ус
V ~С J
(9)
Съемочная камера Лазер Система Система Ось Ось
Более того, L принадлежит плоскости лазера, поэтому:
4 = 0
Уравнения (9) и (10) образуют три независимых уравнения, которые позволяют вычислить координаты лазерной точки (xL, yL, zL) в системе координат лазера.
Так как некоторые варианты осуществления системы 100 предусматривают две съемочные камеры 102, 108, система 112 обработки способна вычислять положение съемочной камеры 102 относительно съемочной камеры 108. На фиг. 5 показано расположение первой съемочной камеры (камеры 102) относительно второй съемочной камеры (108) в соответствии с раскрытыми в настоящем документе идеями.
+ Ti
(И)
где:
77 - положение съемочной камеры 1 в системе координат съемочной камеры 2;
Ri - матрица поворота системы координат съемочной камеры 1 в систему координат съемочной камеры 2.
Коллинеарные уравнения для лазерной съемочной камеры 102 можно получить без использования местонахождения лазерной съемочной камеры 102. Вместо этого коллинеарные уравнения для лазерной съемочной камеры 102 можно получить на основании положения и ориентации лазерной съемочной камеры 102 относительно контрольной съемочной камеры 108, что по существу сократит количество параметров блочного уравнивания.
Коллинеарные уравнения для лазерной съемочной камеры 102 выглядят следующим образом:
(12)
y + dy
-с, .
V где
( x + dx\
( 0^
( 0 ^
у-у2
-Ti
[z-z2j
(Ti,Ri) - относительное местонахождение лазерной съемочной камеры относительно контрольной съемочной камеры;
((Х2,Y2,Z2)T ,R2) - местонахождение контрольной съемочной камеры в системе координат местности;
С1 и С2 - главные расстояния лазерной съемочной камеры и контрольной
съемочной камеры.
На фиг. 6А-6В показаны виды, по меньшей мере, части измерительной системы 100, выполненной с возможностью применения под водой в соответствии с раскрытыми в настоящем документе идеями. Лазерный проектор 106 расположен в первой емкости или корпусе 602, а съемочная камера 102 расположена во втором корпусе 604.
На фиг. 7A-7D показаны виды съемочной камеры 108 и лазерного проектора 106, выполненных с возможностью применения в измерительной системе 100 в соответствии с раскрытыми в настоящем документе идеями.
На фиг. 8А-8В показаны виды съемочной камеры и светодиод (LED) 104, выполненные с возможностью применения в системе 100 в соответствии с раскрытыми в настоящем документе идеями.
На фиг. 9А-9В показаны виды съемочной камеры 108 и лазерного проектора 106, расположенных в переднем отверстии корпуса 602 для применения в измерительной системе 100 в соответствии с раскрытыми в настоящем документе идеями.
На фиг. 10 показан вид съемочной камеры 102 и LED (свет 104), расположенных в переднем отверстии корпуса 604 для применения в измерительной системе 100 в соответствии с раскрытыми в настоящем документе идеями.
На фиг. 11А-11В показаны виды кронштейна 702, подходящего для установки съемочной камеры 108 и лазерного проектора 106 для применения в измерительной системе 100 в соответствии с раскрытыми в настоящем документе идеями.
На фиг. 12 показана блок-схема способа лазерной триангуляции в соответствии с раскрытыми в настоящем документе идеями. Хотя, по меньшей мере, для удобства некоторые представленные действия описаны в определенной последовательности, они могут быть выполнены в любом другом порядке и/или могут быть выполнены параллельно. Дополнительно некоторые варианты осуществления могут предусматривать выполнение только некоторых представленных действий. В
соответствии с некоторыми вариантами осуществления по меньшей мере некоторые стадии способа могут быть закодированы в виде команд, выполняемых процессором 114, которые представляют собой программируемое программное обеспечение, хранящееся в машиночитаемом запоминающем устройстве 116.
В блоке 1202 измерительную систему 100 или ее часть, содержащую лазерный источник 106 и съемочную камеру 102, перемещают вдоль измеряемой поверхности. Перемещение может осуществляться вручную или механическим устройством. Например, измерительная система 100 или ее соответствующая часть могут быть размещены в герметичной емкости или другом корпусе и перемещены вдоль измеряемой поверхности беспилотным летательным аппаратом.
В блоке 1204 лазерный источник 106 излучает лазерную проекцию, которая освещает измеряемую поверхность. Лазерная проекция может образовывать плоскость в пространстве и линию на поверхности. Съемочная камера 102 захватывает изображения поверхности, освещенной лазерной проекции. Например, съемочная камера 102 может записывать видео высокой четкости поверхности и лазерной проекции. В соответствии с некоторыми вариантами осуществления дополнительно поверхность может освещаться источником 104 света, связанным со съемочной камерой 102. Создание лазерной проекции и захват изображений может управляться системой 112 обработки.
В блоке 1206 система 112 обработки применяет методику обработки изображений для идентификации точек и/или объектов по всем захваченным изображениям. После идентификации общих точек во всех изображениях система 112 обработки выполняет фотограмметрическую обработку изображений. В ходе фотограмметрической обработки определяют трехмерные координаты точек, трехмерные координаты и ориентацию съемочной камеры 102. Система 112 обработки также может вычислять оптические параметры съемочной камеры 102.
В блоке 1208 система 112 обработки вычисляет калибровочные параметры для лазерной триангуляции на основе результатов фотограмметрической обработки. Система 112 обработки определяет местонахождение лазерной проекции относительно съемочной камеры 102.
В блоке 1210 система 112 обработки посредством лазерной триангуляции с применением калибровочных параметров вычисляет трехмерные координаты точек на поверхности, освещенной лазерной проекцией.
В соответствии с некоторыми вариантами осуществления способ трехмерного измерения и моделирования объектов и поверхностей в любых условиях предусматривает:
предоставление узла, содержащего по меньшей мере одну съемочную камеру и один лазерный линейный проектор, установленный на опоре;
перемещение по измеряемой местности и запись видео измеряемой местности, освещаемой лазерной линией, проецируемой на объект;
вручную или автоматически:
извлечение изображений из видео;
определение корреляционных точек между изображениями; определение трехмерных (xyz) координат корреляционных точек; определение оптических параметров съемочной камеры; определение местонахождения съемочной камеры;
определение относительного положения и ориентации плоскости лазера относительно съемочной камеры; и
определение трехмерных координат (xyz) точек лазерной триангуляции.
В соответствии с некоторыми вариантами осуществления способ трехмерного измерения и моделирования объектов и поверхностей в любых условиях предусматривает:
получение статических изображений или видеоизображений (высокой или невысокой четкости) съемочной камерой;
причем установить и использовать можно несколько съемочных камер, тем самым обеспечивая стереоскопическую видимость и дополнительные измерения; и
предоставление проекционного рисунка, например лазерной линии.
В соответствии с некоторыми вариантами осуществления система трехмерного измерения и моделирования объектов и поверхностей в любых условиях содержит:
съемочную камеру;
лазер;
автокалибровочный модуль, который встраивает каждое моделирование измерения в оптомеханические параметры съемочной камеры и относительное местонахождение и ориентацию лазера относительно съемочной камеры;
автокалибровочный модуль, который учитывает оптическое отклонение в среде (воздух, оптическое стекло, вода); и
автокалибровочный модуль, выдвигаемый в любое положение увеличения.
Приведенное выше описание является не более чем примером различных идей и вариантов осуществления настоящего изобретения. Хотя были показаны и описаны конкретные варианты осуществления, следует понимать, что специалист в области техники может выполнить различные модификации, при этом не выходя за пределы объема настоящего изобретения. Описанные варианты осуществления приведены только в качестве примеров и не являются ограничивающими. Соответственно, объем правовой защиты ограничивается не приведенным описанием, а только приведенной далее формулой изобретения, и в этот объем входят все эквиваленты объекта формулы изобретения.
ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Измерительная система, содержащая:
лазерный проектор, выполненный с возможностью излучения лазерной проекции на поверхность для лазерной триангуляции;
первую съемочную камеру, выполненную с возможностью получения изображений поверхности и расположенную под косым углом относительно лазерного проектора; и
процессор, выполненный с возможностью:
выполнения фотограмметрической обработки изображений;
вычисления калибровочных параметров для лазерной триангуляции на основании результата фотограмметрической обработки; и
вычисления посредством лазерной триангуляции на основании калибровочных параметров координат точек поверхности, освещенной лазерной проекцией.
2. Система по п. 1, причем первая съемочная камера установлена относительно лазерного проектора таким образом, что оптическая ось первой съемочной камеры пересекает лазерную проекцию под углом приблизительно 30 градусов.
3. Система по п. 1, причем первая съемочная камера выполнена с возможностью записи видео, а процессор выполнен с возможностью извлечения снимков из видео в виде изображений.
4. Система по п. 1, причем процессор выполнен с возможностью, в качестве части фотограмметрической обработки:
идентификации точек поверхности во всех изображениях; вычисления координат точек в трех измерениях; и
определения местонахождения и ориентации первой съемочной камеры относительно координат.
5. Система по п. 4, причем процессор выполнен с возможностью, в качестве части вычисления калибровочных параметров для лазерной триангуляции, определения по меньшей мере одного из следующего:
оптический параметр первой съемочной камеры; и
местонахождение и ориентация лазерной проекции относительно первой съемочной камеры.
6. Система по п. 1, причем дополнительно содержит вторую съемочную камеру, выполненную с возможностью захвата изображений поверхности и расположенную таким образом, чтобы оптическая ось второй съемочной камеры проходила приблизительно параллельно излучению лазерного источника.
7. Система по п. 6, причем процессор выполнен с возможностью, в качестве части фотограмметрической обработки, определения местонахождения первой съемочной камеры относительно местонахождения второй съемочной камеры.
8. Система по п. 1, причем лазерная проекция образует линию на поверхности.
9. Способ лазерной триангуляции, предусматривающий:
захват изображений поверхности с помощью первой съемочной камеры при перемещении первой съемочной камеры вдоль поверхности;
освещение поверхности лазерной проекцией, созданной лазерным источником, перемещаемым вдоль поверхности совместно с первой съемочной камерой;
выполнение фотограмметрической обработки изображений;
вычисление калибровочных параметров для лазерной триангуляции на основании результата фотограмметрической обработки; и
вычисление посредством лазерной триангуляции на основании калибровочных параметров координат точек поверхности, освещенной лазерной проекцией.
10. Способ по п. 9, причем первую съемочную камеру устанавливают относительно лазерного источника таким образом, чтобы оптическая ось первой съемочной камеры пересекала лазерную проекцию под углом приблизительно 30 градусов.
11. Способ по п. 9, причем дополнительно предусматривает запись видео первой съемочной камерой и извлечение изображений из видео.
12. Способ по п. 9, причем выполнение фотограмметрической обработки предусматривает:
идентификацию точек поверхности во всех изображениях; вычисление координат точек в трех измерениях; и
определение местонахождения и ориентации первой съемочной камеры относительно координат.
13. Способ по п. 12, причем вычисление калибровочных параметров предусматривает по меньшей мере одно из следующего:
определение оптических параметров первой съемочной камеры; и
определение местонахождения и ориентации лазерной проекции относительно съемочной камеры.
14. Способ по п. 9, причем дополнительно предусматривает:
захват изображений поверхности с помощью второй съемочной камеры при перемещении первой съемочной камеры вдоль поверхности;
причем вторую съемочную камеру располагают таким образом, чтобы оптическая ось второй съемочной камеры проходила приблизительно параллельно излучению лазерного источника.
15. Способ по п. 14, причем выполнение фотограмметрической обработки предусматривает определение местонахождения первой съемочной камеры относительно местонахождения второй съемочной камеры.
16. Способ по п. 9, причем освещение поверхности лазерной проекцией предусматривает проецирование лазерной линии на поверхность.
17. Долговременный машиночитаемый носитель, в котором закодированы команды, при выполнении которых процессор:
извлекает изображения поверхности из серии изображений, полученных первой съемочной камерой;
выполняет фотограмметрическую обработку изображений;
вычисляет калибровочные параметры для лазерной триангуляции на основании результатов фотограмметрической обработки; и
вычисляет посредством лазерной триангуляции на основании калибровочных параметров координаты точек поверхности, освещенной лазерной проекцией, захваченной на изображениях.
18. Машиночитаемый носитель по п. 17, причем в нем закодированы команды, при выполнении которых процессор, в качестве части фотограмметрической обработки:
идентифицирует точки поверхности во всех изображениях; вычисляет координаты точек в трех измерениях; и
определяет местонахождение и ориентацию первой съемочной камеры относительно координат.
19. Машиночитаемый носитель по п. 17, причем в нем закодированы команды, при выполнении которых процессор, в качестве части вычисления калибровочных параметров для лазерной триангуляции, определяет по меньшей мере одно из следующего:
оптический параметр первой съемочной камеры;
оптическое отклонение, вызванное средой между первой съемочной камерой и поверхностью; и
местонахождение и ориентация лазерной проекции относительно первой съемочной камеры.
20. Машиночитаемый носитель по п. 17, причем в нем закодированы команды, при выполнении которых процессор:
извлекает изображения поверхности из серии изображений, полученных второй съемочной камерой; и
определяет местонахождение первой съемочной камеры относительно местонахождения второй съемочной камеры.
21. Машиночитаемый носитель по п. 17, причем в нем закодированы команды, при выполнении которых процессор активирует лазерный источник, который создает лазерную проекцию, причем лазерная проекция образует линию на поверхности.
21.
21.
21.
21.
21.
21.
21.
21.
21.
Фиг. НА
1200-^
1202^
Перемещение лазерного источника и первой камеры вдоль измеряемой поверхности
1204Л ^
Освещение поверхности лазерной проекцией и захват изображений поверхности первой камерой
1206Л 1
Идентификация точек во всех изображениях и выполнение фотограмметрической обработки
1208Л 1
Вычисление калибровочных параметров для лазерной
триангуляции на основе результатов фотограмметрической
обработки
1210Л 1
Вычисление посредством лазерной триангуляции на основании калибровочных параметров координат точек поверхности, освещенной лазерной проекцией.
Фиг. 12
(10)
(10)
(10)
(10)
(10)
2/10
2/10
Фиг. 3
Фиг. 3
3/10
3/10
Фиг. 6В
Фиг. 6В
5/10
5/10
Фиг. 7В
Фиг. 7В
6/10
6/10
8/10
10/10