EA 008402B1 20070427 Номер и дата охранного документа [PDF] EAPO2007\TIT_PDF/008402 Титульный лист описания [PDF] EAPO2007/PDF/008402 Полный текст описания EA200500513 20030918 Регистрационный номер и дата заявки US60/412,504 20020920 Регистрационные номера и даты приоритетных заявок US2003/029375 Номер международной заявки (PCT) WO2004/028134 20040401 Номер публикации международной заявки (PCT) EAB1 Код вида документа [eab] EAB20702 Номер бюллетеня [RU] РАЗМЕЩАЕМАЯ НА ТРАНСПОРТНОМ СРЕДСТВЕ СИСТЕМА СБОРА И ОБРАБОТКИ ДАННЫХ Название документа G01C 21/00 Индексы МПК [US] Смитерман Честер Л., Питерз Лео Дж. III, Мэй Туй Ву Сведения об авторах [US] М7 ВИЗЬЮАЛ ИНТЕЛИДЖЕНС, ЛП Сведения о патентообладателях [US] М7 ВИЗЬЮАЛ ИНТЕЛИДЖЕНС, ЛП Сведения о заявителях
 

Патентная документация ЕАПВ

 
Запрос:  ea000008402b*\id

больше ...

Термины запроса в документе

Реферат

1. Система формирования карты поверхности, содержащая

передатчик системы глобального позиционирования,

транспортное средство, находящееся над поверхностью,

модуль измерения рельефа, закрепленный на транспортном средстве,

антенну системы глобального позиционирования, закрепленную на транспортном средстве,

блок определения пространственной ориентации, закрепленный на транспортном средстве,

матрицу элементов формирования изображений, закрепленную на транспортном средстве, содержащую

корпус,

апертуру, расположенную в корпусе, имеющую в нем область пересечения,

первый сенсор формирования изображения, связанный с корпусом, имеющий первую фокальную ось, проходящую через апертуру в пределах области пересечения, и

второй сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения,

компьютер, связанный с модулем измерения рельефа, антенной системой глобального позиционирования, блоком определения пространственной ориентации и первым и вторым сенсорами формирования изображения, который коррелирует по меньшей мере часть данных изображений от первого и второго сенсоров формирования изображения части поверхности на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.

2. Система по п.1, дополнительно содержащая третий сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.

3. Система по п.2, в которой фокальная ось третьего сенсора формирования изображения находится в общей плоскости с фокальными осями первого и второго сенсоров формирования изображения.

4. Система по п.2, в которой фокальные оси первого и второго сенсоров формирования изображения лежат в первой общей плоскости, а фокальная ось третьего сенсора формирования изображения лежит в плоскости, перпендикулярной к первой общей плоскости.

5. Система по п.1, в которой фокальная ось первого сенсора формирования изображения располагается вертикально.

6. Система по п.5, в которой фокальная ось второго сенсора формирования изображения располагается в первой плоскости с фокальной осью первого сенсора формирования изображения и под первым углом к ней, и фокальная ось третьего сенсора формирования изображения располагается с другой стороны по отношению ко второму сенсору формирования изображения от первого сенсора формирования изображения в первой общей плоскости и под вторым углом, имеющим ту же самую величину, что и первый угол.

7. Система по п.6, дополнительно содержащая пятый и шестой сенсоры формирования изображения, расположенные на противоположных сторонах от первого сенсора формирования изображения, фокальные оси которых располагаются во второй плоскости, общей с фокальной осью первого сенсора формирования изображения, перпендикулярно к первой общей плоскости и под третьим и четвертым углами от фокальной оси первого сенсора формирования изображения, имеющими одинаковую величину.

8. Система формирования карты поверхности, содержащая

передатчик системы глобального позиционирования,

транспортное средство, находящееся над поверхностью,

модуль измерения рельефа, закрепленный на транспортном средстве,

антенну системы глобального позиционирования, закрепленную на транспортном средстве,

блок определения пространственной ориентации, закрепленный на транспортном средстве,

первый сенсор формирования изображения, закрепленный на транспортном средстве, фокальная ось которого расположена в направлении поверхности, который формирует изображение, содержащее матрицу пикселей,

компьютер, связанный с модулем измерения рельефа, антенной системы глобального позиционирования, блоком определения пространственной ориентации и первым сенсором формирования изображения, который генерирует значения вычисленной долготы и вычисленной широты для координаты, соответствующей по меньшей мере одному пикселю в матрице, на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.

9. Система по п.8, в которой передатчик системы глобального позиционирования расположен на спутнике.

10. Система по п.8, в которой передатчик системы глобального позиционирования является наземным.

11. Система по п.8, в которой средством измерения рельефа является лидар.

12. Система по п.8, в которой блок определения пространственной ориентации является гироскопом.

13. Система по п.8, в которой фокальная ось первого сенсора формирования изображения вертикальна и проходит через апертуру, причем система дополнительно содержит

второй сенсор формирования изображения, связанный с транспортным средством и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения, и

третий сенсор формирования изображения, соединенный с транспортным средством и смещенный от первого сенсора формирования изображения в противоположном направлении от второго сенсора формирования изображения, имеющий третью фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.

14. Система по п.13, в которой транспортное средство имеет вектор направления, причем фокальная ось второго сенсора формирования изображения лежит в плоскости, перпендикулярной к вектору направления транспортного средства.

15. Система формирования карты поверхности, содержащая

передатчик системы глобального позиционирования,

транспортное средство, находящееся над поверхностью,

модуль измерения рельефа, закрепленный на транспортном средстве,

антенну системы глобального позиционирования, закрепленную на транспортном средстве,

блок определения пространственной ориентации, закрепленный на транспортном средстве,

матрицу элементов формирования изображений, закрепленную на транспортном средстве, содержащую

корпус,

апертуру, расположенную в корпусе, имеющую в ней перекрестную область,

первый сенсор формирования изображения, связанный с корпусом, имеющий фокальную ось, проходящую через апертуру в пределах области пересечения, который формирует первую матрицу пикселей, и

второй сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения, который формирует вторую матрицу пикселей,

компьютер, связанный с одним или более из модуля измерения рельефа, антенны системы глобального позиционирования, блока определения пространственной ориентации, первого сенсора формирования изображения и второго сенсора формирования изображения, который вычисляет истинную долготу и истинную широту по меньшей мере одной точки на поверхности, соответствующей по меньшей мере одному пикселю в матрице, на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.

16. Система по п.15, которая дополнительно содержит третий сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.

17. Система по п.16, в которой фокальная ось третьего сенсора формирования изображения находится в общей плоскости с фокальными осями первого и второго сенсоров формирования изображения.

18. Система по п.16, в которой фокальные оси первого и второго сенсоров формирования изображения лежат в первой общей плоскости, а фокальная ось третьего сенсора формирования изображения лежит в плоскости, перпендикулярной к первой общей плоскости.

19. Система по п.16, в которой фокальная ось третьего сенсора формирования изображения лежит в первой общей плоскости с фокальными осями первого и второго сенсоров формирования изображения, причем система дополнительно содержит четвертый сенсор формирования изображения, имеющий фокальную ось, лежащую в плоскости, перпендикулярной к первой общей плоскости.

20. Система по п.16, в которой фокальная ось третьего сенсора формирования изображения лежит в первой общей плоскости с фокальными осями первого и второго сенсоров формирования изображения, и система дополнительно содержит четвертый и пятый сенсоры формирования изображения, имеющие фокальные оси, лежащие в первой общей плоскости и пересекающие фокальную ось первого сенсора формирования изображения в пределах области пересечения.

 


Полный текст патента

(57) Реферат / Формула:
Система формирования карты поверхности, содержащая

передатчик системы глобального позиционирования,

транспортное средство, находящееся над поверхностью,

модуль измерения рельефа, закрепленный на транспортном средстве,

антенну системы глобального позиционирования, закрепленную на транспортном средстве,

блок определения пространственной ориентации, закрепленный на транспортном средстве,

матрицу элементов формирования изображений, закрепленную на транспортном средстве, содержащую

корпус,

апертуру, расположенную в корпусе, имеющую в нем область пересечения,

первый сенсор формирования изображения, связанный с корпусом, имеющий первую фокальную ось, проходящую через апертуру в пределах области пересечения, и

второй сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения,

компьютер, связанный с модулем измерения рельефа, антенной системой глобального позиционирования, блоком определения пространственной ориентации и первым и вторым сенсорами формирования изображения, который коррелирует по меньшей мере часть данных изображений от первого и второго сенсоров формирования изображения части поверхности на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.

2. Система по п.1, дополнительно содержащая третий сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.

3. Система по п.2, в которой фокальная ось третьего сенсора формирования изображения находится в общей плоскости с фокальными осями первого и второго сенсоров формирования изображения.

4. Система по п.2, в которой фокальные оси первого и второго сенсоров формирования изображения лежат в первой общей плоскости, а фокальная ось третьего сенсора формирования изображения лежит в плоскости, перпендикулярной к первой общей плоскости.

5. Система по п.1, в которой фокальная ось первого сенсора формирования изображения располагается вертикально.

6. Система по п.5, в которой фокальная ось второго сенсора формирования изображения располагается в первой плоскости с фокальной осью первого сенсора формирования изображения и под первым углом к ней, и фокальная ось третьего сенсора формирования изображения располагается с другой стороны по отношению ко второму сенсору формирования изображения от первого сенсора формирования изображения в первой общей плоскости и под вторым углом, имеющим ту же самую величину, что и первый угол.

7. Система по п.6, дополнительно содержащая пятый и шестой сенсоры формирования изображения, расположенные на противоположных сторонах от первого сенсора формирования изображения, фокальные оси которых располагаются во второй плоскости, общей с фокальной осью первого сенсора формирования изображения, перпендикулярно к первой общей плоскости и под третьим и четвертым углами от фокальной оси первого сенсора формирования изображения, имеющими одинаковую величину.

8. Система формирования карты поверхности, содержащая

передатчик системы глобального позиционирования,

транспортное средство, находящееся над поверхностью,

модуль измерения рельефа, закрепленный на транспортном средстве,

антенну системы глобального позиционирования, закрепленную на транспортном средстве,

блок определения пространственной ориентации, закрепленный на транспортном средстве,

первый сенсор формирования изображения, закрепленный на транспортном средстве, фокальная ось которого расположена в направлении поверхности, который формирует изображение, содержащее матрицу пикселей,

компьютер, связанный с модулем измерения рельефа, антенной системы глобального позиционирования, блоком определения пространственной ориентации и первым сенсором формирования изображения, который генерирует значения вычисленной долготы и вычисленной широты для координаты, соответствующей по меньшей мере одному пикселю в матрице, на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.

9. Система по п.8, в которой передатчик системы глобального позиционирования расположен на спутнике.

10. Система по п.8, в которой передатчик системы глобального позиционирования является наземным.

11. Система по п.8, в которой средством измерения рельефа является лидар.

12. Система по п.8, в которой блок определения пространственной ориентации является гироскопом.

13. Система по п.8, в которой фокальная ось первого сенсора формирования изображения вертикальна и проходит через апертуру, причем система дополнительно содержит

второй сенсор формирования изображения, связанный с транспортным средством и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения, и

третий сенсор формирования изображения, соединенный с транспортным средством и смещенный от первого сенсора формирования изображения в противоположном направлении от второго сенсора формирования изображения, имеющий третью фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.

14. Система по п.13, в которой транспортное средство имеет вектор направления, причем фокальная ось второго сенсора формирования изображения лежит в плоскости, перпендикулярной к вектору направления транспортного средства.

15. Система формирования карты поверхности, содержащая

передатчик системы глобального позиционирования,

транспортное средство, находящееся над поверхностью,

модуль измерения рельефа, закрепленный на транспортном средстве,

антенну системы глобального позиционирования, закрепленную на транспортном средстве,

блок определения пространственной ориентации, закрепленный на транспортном средстве,

матрицу элементов формирования изображений, закрепленную на транспортном средстве, содержащую

корпус,

апертуру, расположенную в корпусе, имеющую в ней перекрестную область,

первый сенсор формирования изображения, связанный с корпусом, имеющий фокальную ось, проходящую через апертуру в пределах области пересечения, который формирует первую матрицу пикселей, и

второй сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения, который формирует вторую матрицу пикселей,

компьютер, связанный с одним или более из модуля измерения рельефа, антенны системы глобального позиционирования, блока определения пространственной ориентации, первого сенсора формирования изображения и второго сенсора формирования изображения, который вычисляет истинную долготу и истинную широту по меньшей мере одной точки на поверхности, соответствующей по меньшей мере одному пикселю в матрице, на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.

16. Система по п.15, которая дополнительно содержит третий сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.

17. Система по п.16, в которой фокальная ось третьего сенсора формирования изображения находится в общей плоскости с фокальными осями первого и второго сенсоров формирования изображения.

18. Система по п.16, в которой фокальные оси первого и второго сенсоров формирования изображения лежат в первой общей плоскости, а фокальная ось третьего сенсора формирования изображения лежит в плоскости, перпендикулярной к первой общей плоскости.

19. Система по п.16, в которой фокальная ось третьего сенсора формирования изображения лежит в первой общей плоскости с фокальными осями первого и второго сенсоров формирования изображения, причем система дополнительно содержит четвертый сенсор формирования изображения, имеющий фокальную ось, лежащую в плоскости, перпендикулярной к первой общей плоскости.

20. Система по п.16, в которой фокальная ось третьего сенсора формирования изображения лежит в первой общей плоскости с фокальными осями первого и второго сенсоров формирования изображения, и система дополнительно содержит четвертый и пятый сенсоры формирования изображения, имеющие фокальные оси, лежащие в первой общей плоскости и пересекающие фокальную ось первого сенсора формирования изображения в пределах области пересечения.

 


008402
Перекрестные ссылки на связанные заявки
Заявители испрашивают приоритет предварительной патентной заявки США № 60/412 504 на размещаемую на транспортном средстве систему сбора и обработки данных от 20 сентября 2002.
Область техники
Настоящее изобретение относится к области дистанционного формирования изображений, более конкретно, к системе формирования цифровых изображений с высоким разрешением высокой точностью и низкими искажениями в пределах очень больших зон обзора.
Предшествующий уровень техники
Дистанционное зондирование и формирование изображений являются широко распространенными технологиями, имеющими множество разнообразных и чрезвычайно важных практических применений -таких, как создание геологических карт и геологический анализ, обзор и планирование в военной области, и метеорологическое прогнозирование. Аэрофотосъемка и спутниковая фотосъемка и формирование изображений являются особенно полезными методами дистанционного формирования изображений, которые за последние годы стали основываться на сборе и обработке цифровых изображений, спектральных, пространственных данных, данных рельефа и данных расположения и ориентации транспортных средств. Пространственные данные, которые характеризуют развитие и местоположение недвижимого имущества, дорог и магистралей, угроз для экологии и состояние окружающей среды, инфраструктуры коммунальных услуг (например, телефонные линии, трубопроводы) и геофизические особенности - могут теперь накапливаться, обрабатываться и передаваться в цифровом формате для обеспечения высоко точного картографирования и получения данных наблюдения для различных применений (например, для динамического картографирования системы глобального позиционирования (GPS)). Данные рельефа могут использоваться для улучшения пространственной точности и точности определения положения всей системы и могут быть получены или из существующих наборов данных цифровой модели рельефа (ЦМР, DEM), или из спектральных измеренных данных активных устройств измерения излучения на основе доплеровского эффекта, или с помощью пассивных стереографических вычислений.
Основными проблемами, стоящими перед некоторыми такими применениями дистанционного зондирования и формирования изображений, являются пространственное разрешение и спектральная точность. Проблемы фотосъемки, такие как сферические аберрации, астигматизм, кривизна поля изображения, кома, искажение и хроматические аберрации, являются хорошо известными проблемами, с которыми имеют дело при любом применении зондирования/формирования изображения. Некоторые применения требуют очень высокого разрешения изображения - часто с дюймовыми допусками. В зависимости от конкретной используемой системы (например, расположенной на самолете, спутнике или космическом корабле), существующие цифровые устройства формирования изображения могут располагаться где угодно от нескольких футов до миль от соответствующей цели, что приводит к очень высокому коэффициенту масштабирования. Обеспечение изображений с очень высоким коэффициентом масштабирования, которые также имеют дюймовые допуски разрешения, создает сложную проблему даже для самой надежной системы формирования изображения. Таким образом, традиционные системы обычно должны идти на некоторый компромисс между качеством разрешения и размером целевой области, для которой может формироваться изображение. Если система разрабатывается для обеспечения цифровых изображений с высоким разрешением, то зона обзора (поле зрения) (FOV) устройства формирования изображения обычно является малой. Если система обеспечивает большое поле зрения, то обычно разрешение спектральных и пространственных данных уменьшается, а искажения увеличиваются.
Формирование ортогональных изображений (ортоизображений) является методом, который использовался в попытке решить эту проблему. В общем случае, при формировании ортоизображения создается составное изображение объекта путем компилирования отличающихся фрагментов изображений объекта. Как правило, в применении к формированию изображений с воздуха, цифровое устройство формирования изображения, которое имеет конечную дальность действия и разрешающую способность, последовательно записывает изображения фиксированных частей целевой области. Эти изображения затем совмещают в соответствии с некоторой последовательностью для формирования составного изображения целевой области.
Часто такие процессы формирования изображения отнимают очень много времени и являются очень трудоемкими. Во многих случаях эти процессы требуют итерационной обработки, которая в известной мере ухудшает качество и разрешение изображения особенно в случаях, когда обрабатываются тысячи фрагментов изображения. В случаях, когда данные для создания изображения могут обрабатываться автоматически, эти данные часто периодически преобразуют и дискретизируют, что уменьшает точность цветопередачи и резкость изображения с каждой последовательной манипуляцией. Если используют системы автоматической коррекции или выравнивания, то такие системы могут быть чувствительными к аномалиям изображения (например, к необычно ярким или темным объектам), что приводит к слишком большой или к недостаточной коррекции и к ненадежной интерпретации данных изображения. В случаях, когда требуется или необходима ручная обработка изображений, затраты времени и труда являются огромными.
Поэтому существует потребность в системе создания ортоизображений, которая обеспечивает эф
- 1 -
008402
фективное и универсальное формирование изображений для очень больших FOV и связанных с ними наборов данных, при поддержании качества, точности, точности определения положения и четкости изображения. Дополнительно, алгоритмы автоматизации широко применяют на каждой фазе планирования, сбора, управления и обработки всех связанных операций.
Сущность изобретения
Настоящее изобретение относится к размещаемой на транспортном средстве системе сбора и обработки данных с использованием дистанционных сенсоров. Данная система может включать в себя модули компьютерного пульта управления, которые управляют транспортным средством и работой системы в реальном времени. Система может также включать в себя системы глобального позиционирования, которые связаны и осуществляют обмен данными с компьютерными пультами. Дополнительно, камеры и/или блоки матрицы камер могут использоваться для формирования изображения объекта, проецируемого через апертуру. Блоки матрицы камер соединяют с возможностью обмена информацией с компьютерными пультами. Блок матрицы камер имеет корпус для монтажа, первый сенсор формирования изображения, присоединенный в центре корпуса, имеющий первую фокальную ось, проходящую через апертуру. Блок матрицы камер также имеет второй сенсор формирования изображения, присоединенный к корпусу и смещенный от первого сенсора формирования изображения по оси, который имеет вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения. Блок матрицы камер имеет третий сенсор формирования изображения, присоединенный к корпусу и смещенный от первого сенсора формирования изображения по оси в сторону, противоположную второму сенсору формирования изображения, который имеет третью фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения. Таким образом может использоваться любое количество от одной до n камер, где n может быть любым нечетным или четным числом.
Система может также включать в себя блок определения пространственной ориентации (БОПО, AMU), такой как инерционные, оптические или подобные блоки измерения, соединенные с возможностью обмена информацией с компьютерными пультами и блоками матрицы камер. БОПО может определять углы рыскания, тангажа и/или крена самолета в любой момент времени и последовательные позиции дифференциальной системы глобального позиционирования (DGPS) могут использоваться для определения курса (направления полета) транспортного средства относительно геодезического севера. Данные БОПО объединяют с точными данными DGPS для создания надежной системы БОПО в реальном времени. Система может дополнительно включать в себя модуль монтажа, размещенный в пределах компьютерных пультов. Модуль монтажа включает в себя первый компонент для выполнения начальной обработки входного изображения. Модуль монтажа также включает в себя второй компонент для определения географических границ входного изображения, причем второй компонент используется совместно с первым компонентом. Модуль монтажа дополнительно включает в себя третий компонент для отображения входного изображения на составное изображение с точным географическим местоположением. Третий компонент используется совместно с первым и вторым компонентами. Модуль монтажа также включает в себя четвертый компонент для цветового выравнивания входных изображений, отображаемых на составное изображение. Четвертый компонент может использоваться совместно с первым, вторым и третьим компонентами. Дополнительно, модуль монтажа может включать в себя пятый компонент для плавного сопряжения границ между смежными входными изображениями, отображаемыми на составное изображение. Пятый компонент используется совместно с первым, вторым, третьим и четвертым компонентами.
Шестой компонент, дополнительная передняя наклонная и/или дополнительная тыловая наклонная система матрицы камер, может быть реализована для получения данных наклонного изображения и для объединения данных изображения с результатами определения пространственной ориентации и местоположения для создания цифровой модели рельефа с использованием стереографических методов. Создание цифровой модели рельефа может выполняться в реальном времени на борту транспортного средства или обрабатываться позднее. Этот шестой компонент работает совместно с другими компонентами. Все компоненты могут монтироваться на жесткой платформе для обеспечения совместной регистрации данных сенсора. Колебания, турбулентность и другие силы могут действовать на транспортное средство, таким образом создавая ошибки юстировки между сенсорами. Использование общей жесткой платформы для установки сенсоров обеспечивает значительное преимущество перед другими системами, которые не используют такую архитектуру совместной регистрации.
Краткое описание чертежей
Изобретение поясняется далее на примерах осуществления, иллюстрируемых чертежами, на которых одинаковыми ссылочными позициями обозначены соответствующие элементы и на которых представлено следующее:
фиг. 1 - размещенная на транспортном средстве система сбора и обработки данных настоящего изобретения;
фиг. 2 - размещенная на транспортном средстве система сбора и обработки данных по фиг. 1 с блоком матрицы камер настоящего изобретения, показанным более подробно;
- 2 -
008402
фиг. 3 - блок матрицы камер в соответствии с определенными аспектами настоящего изобретения;
фиг. 4 - один из вариантов осуществления образца формирования изображений, получаемых с помощью блока матрицы камер по фиг. 1;
фиг. 5 - образец формирования изображений, иллюстрирующий определенные аспекты настоящего изобретения;
фиг. 6 - полоса изображения (монтаж маршрутных аэрофотоснимков) в соответствии с настоящим изобретением;
фиг. 7 - другой вариант осуществления полосы изображения в соответствии с настоящим изобретением;
фиг. 8 - один из вариантов осуществления процесса формирования изображения в соответствии с настоящим изобретением;
фиг. 9 - схематичное представление совмещения фотоснимков, сделанных с помощью блока матрицы камер для создания отдельного кадра;
фиг. 10 - структурная схема логического устройства обработки согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 11 - изображение нижнего обзора с дискретизацией с повышенной частотой в поперечном направлении с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 12 - изображение нижнего обзора с дискретизацией с повышенной частотой в поперечном направлении с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 13 - изображение нижнего обзора с дискретизацией с повышенной частотой вдоль линии полета с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 14 - изображение нижнего обзора с дискретизацией с повышенной частотой вдоль линии полета с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 15 - изображение нижнего обзора с постепенным увеличением с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 16 - изображение нижнего обзора с постепенным увеличением с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения;
фиг. 17 - изображение нижнего обзора с постепенным увеличением с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения; и
фиг. 18 - схема архитектуры системы согласно некоторым вариантам осуществления настоящего изобретения.
Подробное описание изобретения
Хотя создание и использование различных вариантов осуществления настоящего изобретения подробно описано ниже, понятно, что настоящее изобретение предусматривает множество применимых изобретательских концепций, которые могут быть воплощены в широком разнообразии определенных контекстов. Конкретные описанные варианты осуществления являются просто иллюстрациями конкретных способов создания и использования данного изобретения и не ограничивают объем изобретения.
На фиг. 1 показана размещаемая на транспортном средстве система 100 сбора и обработки данных, соответствующая настоящему изобретению. Дополнительные аспекты и варианты осуществления настоящего изобретения показаны на фиг. 2 и 18. Система 100 включает в себя один или большее количество компьютерных пультов 102 управления. Компьютерные пульты управления содержат один или большее количество компьютеров 104 для управления транспортным средством и работой системы. Примерами функций компьютерного пульта управления являются управление системами цифровых цветных сенсоров, которые могут быть связаны с системой сбора и обработки данных, обеспечивая пилота отображаемыми данными, координация запуска генерируемых спутником GPS секундных импульсов (PPS) (количество которых может быть 20 или больше импульсов в секунду), регистрация данных, настройка и управление сенсорами, проверка и выдача сигнала тревоги для ошибочных событий, запись и индексирование фотоснимков, хранение и обработка данных, возможность планирования полета, позволяющая автоматизировать навигацию транспортного средства, и обеспечение отображения в реальном времени необходимой информации. Коммуникационный интерфейс между компьютерным пультом управления и средством управления автопилотом транспортного средства обеспечивает возможность действительного управления траекторией полета транспортного средства в реальном времени. Это обеспечивает более точное управление траекторией движения транспортного средства, по сравнению с обеспечиваемым человеком. Все эти функции могут быть реализованы при помощи различных компьютерных программ, которые синхронизированы с PPS сигналами системы GPS и учитывают различные электрические задержки устройств измерения.
Система 100 включает в себя одну или большее количество дифференциальных систем 106 глобального позиционирования (DGPS). Системы 106 глобального позиционирования используются для навигации и определения точной траектории полета во время работы транспортного средства и системы. Для достижения этого, системы 106 глобального позиционирования соединяют с возможностью обмена
- 3 -
008402
информацией с компьютерным пультом 102 управления так, что информация от систем 106 глобального позиционирования может быть получена и обработана без прерывания полета. Нулевое или большее количество модулей GPS могут располагаться в известных точках наблюдения для обеспечения регистрации суб-секундных изменений спутниковой GPS, чтобы скорректировать точность системы 100.
Могут использоваться GPS и/или службы позиционирования наземного базирования, что целиком устраняет потребность в наземных пунктах управления. Этот метод приводит к повышенной субсекундной точности определения местоположения транспортного средства для сбора данных.
Один или большее количество БОПО 108, которые обеспечивают в реальном времени информацию углов рыскания, тангажа и крена, которая используется для точного определения ориентации транспортного средства в момент сбора данных, также связаны с возможностью обмена данными с компьютерным пультом 102. Существующий блок определения пространственной ориентации (БОПО) (например POS Applanix AV) использует три высокоэффективных оптоволоконных гироскопа, по одному гироскопу для измерения каждого из углов рыскания, тангажа и крена. Могут также использоваться БОПО других производителей, и БОПО, которые используют другие устройства инерциальных измерений.
Дополнительно, БОПО может использоваться для определения мгновенной ориентации транспортного средства и для повышения устойчивости системы к статистическим ошибкам в отсчетах данных БОПО. С БОПО может быть связан один или более многочастотных приемников DGPS 110. Данные многочастотных приемников DGPS 110 могут объединяться с данными ориентации БОПО - углами рыскания, тангажа, и крена - для более точного определения местоположения платформы дистанционных сенсоров в трехмерном пространстве. Дополнительно, направление геодезического севера может определяться с помощью вектора, сформированного посредством последовательных местоположений DGPS, зарегистрированных синхронно с PPS сигналами GPS.
Один или более блоков 112 матрицы камер для формирования изображения объекта, проецируемого через апертуру, также соединены с возможностью обмена информацией с одним или более компьютерных пультов 102 управления. Блоки 112 матрицы камер, которые описаны более подробно ниже, предоставляют системе сбора и обработки данных возможность фиксировать с высокой точностью с высоким разрешением последовательно сканированную или построчно сканированную цветную цифровую фотографию.
Система может также включать в себя оборудование 114 электропитания постоянного тока и преобразования, предназначенное для преобразования мощности питания постоянного тока и для преобразования напряжения постоянного тока в напряжение переменного тока для обеспечения электропитания системы. Система может дополнительно включать в себя навигационный дисплей 116, который в графической форме отображает местоположение транспортного средства относительно плана полета для использования пилотом (на борту или дистанционно) транспортного средства, чтобы обеспечить точные траектории полета в горизонтальной и вертикальной плоскостях. Система может также включать в себя модуль EMU, содержащий лидар, SAR (радиолокатор с синтезированной апертурой) 118 или переднюю и тыловую наклонные матрицы камер для фиксации трехмерных данных рельефа. Модуль EMU 118 может включать в себя лазерный модуль 120, модуль 122 управления EMU и компьютер 124 управления EMU. Устройства управления температурой, такие как полупроводниковые модули охлаждения, могут также использоваться при необходимости для обеспечения надлежащих температурных условий для системы.
Система также включает в себя модуль монтажа, который не показан, размещенный в компьютерном пульте 102 управления. Модуль монтажа, который описан более подробно ниже, обеспечивает системе возможность сбора данных, полученных системой 106 глобального позиционирования, БОПО 108 и системой 112 камер, и обработки этих данных для получения пригодных для использования ортокарт.
Система 100 также может использовать метод самосинхронизирующейся модели полета, которая обеспечивает возможность микрокоррекции точности по положению смежных траекторий полета для достижения точности, которая превышает точность, присущую самим сенсорам БОПО и DGPS.
Методология планирования всего полета используется для микропланирования всех аспектов заданий. Входной информацией являются различные параметры задания (широта/долгота, разрешение, цвет, точность и т.д.), а выходной информацией являются подробные оперативные цифровые карты и файлы данных, которые хранятся на борту транспортного средства сбора данных и используются для навигации и предупреждения об опасности в реальном времени. Возможность передавать данные планирования полета непосредственно в автопилот является дополнительной интегрированной возможностью. Может использоваться компьютерная программа, которая автоматически управляет траекторией полета, корректировкой ориентации, графическим дисплеем, перемещая карты траектории транспортного средства, проверяет условия возникновения опасности и корректирующие действия, уведомляет пилота и/или экипаж обо всех состояниях системы и обеспечивает отказоустойчивую работу и управление. Параметры надежных операций могут постоянно контролироваться и сообщаться. Хотя существующая система использует укомплектованный людьми экипаж, данная система спроектирована также для работы на беспилотном транспортном средстве.
Фиг. 2 показывает другую иллюстрацию настоящего изобретения. На фиг. 2 блок 112 матрицы ка
- 4 -
008402
мер показан более подробно. Как показано, блок 112 матрицы камер дает возможность получать изображения из наклонного тылового, наклонного переднего и надирного (соответствующего точке стояния) положений. Фиг. 3 описывает более подробно блок матрицы камер настоящего изобретения. Фиг. 3 обеспечивает блок 300 матрицы камер, находящийся на борту летательного аппарата над объектом 302 (например, местностью). В иллюстративных целях на фиг. 3 относительный размер блока 300 и относительное расстояние между ним и местностью 302 изображены не в масштабе. Блок 300 матрицы камер содержит корпус 304, в котором сенсоры 306, 308, 310, 312 и 314 формирования изображения расположены на вогнутой криволинейной оси 316. Радиус кривизны оси 316 может значительно изменяться, обеспечивая возможность создания едва заметных или очень больших степеней вогнутости оси 316. Альтернативно, ось 316 может быть полностью линейной - не имеющей вообще никаких искривлений. Сенсоры 306, 308, 310, 312 и 314 формирования изображения связаны с корпусом 304, или непосредственно, или опосредованно, с помощью соединительных элементов 318.
Соединительные элементы 318 могут содержать множество фиксированных или динамических, постоянных или временных соединительных устройств. Например, соединительные элементы 318 могут содержать простые сварные соединения, съемные зажимные приспособления или управляемые электромеханическим образом универсальные шарниры.
Дополнительно, система 100 может иметь встроенную навигационную систему реального времени для обеспечения визуального отображения с биологической обратной связью пилоту транспортного средства, или дистанционного отображения в случае работы в беспилотном транспортном средстве. Пилот способен корректировать в реальном времени местоположение транспортного средства для обеспечения более точной траектории полета. Пилот может находиться на борту транспортного средства или располагаться удаленно и использовать дисплей полета для управления транспортным средством по каналу связи.
Система 100 может также использовать разработанные отказоустойчивые методы, которые предусматривают методологию дискового запоминающего устройства с программным перемежением, допускающую выход из строя одного или двух жестких дисков без потерь целевых данных, которые хранятся на устройствах. Данная методология дискового запоминающегося устройства с программным перемеже-нием обеспечивает превосходную отказоустойчивость и портативность относительно других методологий аппаратных средств, таких как RAID-5 (матрица независимых дисковых накопителей с избыточностью).
В системе 100 может также быть реализована разработанная методология, которая предоставляет возможность осуществления короткого этапа калибровки непосредственно перед сбором данных задания. Этап методологии калибровки корректирует параметры настройки камеры, главным образом время экспонирования, на основе взятия выборок интенсивности окружающего света и установки близких к оптимальным значений непосредственно перед достижением области, представляющей интерес. Затем используется алгоритм скользящего среднего для посекундной корректировки камеры для создания улучшенных, непротиворечивых результатов фотосъемки. Это улучшает цветную обработку ортокарт. Дополнительно, калибровка может использоваться для проверки или установки точного пространственного местоположения каждого сенсорного устройства (камеры, DPG, БОПО, EMU и т.д.). Таким образом могут учитываться изменения, которые могут происходить в пространственном местоположении этих устройств, и могут поддерживаться показатели точности всей системы.
Дополнительно, в системе 100 может быть реализована разработанная методология, которая предоставляет возможность калибровки точного местоположения и ориентации каждого сенсорного устройства (камеры, DPG, БОПО, EMU и т.д.) на транспортном средстве при полете над областью, которая содержит множество известных, видимых, высокоточных географических местоположений. Программа использует эти данные в качестве входных данных и выводит микропозиционные данные, которые затем используются для точной обработки ортокарт.
Как показано на фиг. 3, корпус 304 содержит простую полость, в которой располагаются сенсоры 306, 308, 310, 312 и 314 формирования изображения. Хотя фиг. 3 изображает матрицу из 5 камер, данная система одинаково хорошо работает при использовании любого количества камер-сенсоров от 1 до любого числа. Сенсоры 306-314 связаны через соединительные элементы 318 или все вместе с одним пересекающим поперечным элементом конструкции, или по отдельности с боковыми поперечными элементами конструкции, расположенными между противоположными стенками корпуса 304. В альтернативных вариантах осуществления сам корпус 304 может содержать только поддерживающий поперечный элемент конструкции с вогнутым искривлением, с которым сенсоры 306-314 формирования изображения присоединены через соединительные элементы 318. В других вариантах осуществления корпус 304 может содержать гибридную комбинацию полости и поддерживающего поперечного элемента конструкции. Корпус 304 дополнительно содержит апертуру 320, сформированную в его поверхности, между сенсорами формирования изображения и объектом 302. В зависимости от конкретного типа транспортного средства, на котором установлено оборудование, апертура 320 может содержать только пустоту, или она может содержать защитный экран или окно для поддержания целостности среды внутри корпуса 304. Если для какого-либо сенсора используется защитная прозрачная пластина, могут применяться специ
- 5 -
008402
альные покрытия для пластины для улучшения качества данных сенсора. Дополнительно, апертура 320 может содержать линзу или другое оптическое устройство для улучшения или изменения характера изображений, регистрируемых сенсорами. Апертура 320 формируется с размерами и формой, достаточными для обеспечения сенсорам 306-314 формирования изображения надлежащих линий визирования целевой области 322 на местности 302.
Сенсоры 306-314 формирования изображения расположены в пределах или вдоль корпуса 304 так, что фокальные оси всех сенсоров сходятся и пересекают друг друга в пределах области пересечения, ограниченной апертурой 320. В зависимости от типа накапливаемых данных изображения, используемых определенных сенсоров формирования изображения и другой оптики или оборудования, может быть необходимо или желательно смещать область пересечения или точку сходимости выше или ниже апертуры 320. Сенсоры 306-314 формирования изображения отделены друг от друга угловыми интервалами. Точный угол смещения между сенсорами формирования изображения может изменяться в значительной степени в зависимости от количества используемых сенсоров формирования изображения и от типа накапливаемых данных формирования изображения. Угловое смещение между сенсорами формирования изображения может также быть неодинаковым, если требуется, чтобы обеспечить необходимое смещение изображения или юстировку. В зависимости от количества используемых сенсоров формирования изображения и конкретной конфигурации матрицы, фокальные оси всех сенсоров формирования изображения могут пересекаться в одной и той же точке, или они могут пересекаться во множестве точек, которые все находятся в непосредственной близости друг от друга и в пределах области пересечения, определенной апертурой 320.
Как показано на фиг. 3, сенсор 310 формирования изображения расположен по центру в пределах корпуса 304 на оси 316. Сенсор 310 формирования изображения имеет фокальную ось 324, направленную перпендикулярно корпусу 304 для совмещения линии визирования сенсора формирования изображения с зоной 326 формирования изображения области 322. Сенсор 308 формирования изображения расположен в пределах корпуса 304 на оси 316, рядом с сенсором 310 формирования изображения. Сенсор 308 формирования изображения выровнен так, что его линия визирования совпадает с зоной 328 формирования изображения области 322, и так, что его фокальная ось 330 сходится и пересекается с осью 324 в пределах области, ограниченной апертурой 320. Сенсор 312 формирования изображения расположен в пределах корпуса 304 рядом с сенсором 310 формирования изображения, на противоположной стороне оси 316 от сенсора 308 формирования изображения. Сенсор 312 формирования изображения выровнен так, что его линия визирования совпадает с зоной 332 формирования изображения области 322, и так, что его фокальная ось 334 сходится и пересекается с осями 324 и 330 в пределах области, ограниченной апертурой 320. Сенсор 306 формирования изображения расположен в пределах корпуса 304 на оси 316 рядом с сенсором 308. Сенсор 306 формирования изображения выровнен так, что его линия визирования совпадает с зоной 336 формирования изображения области 322, и так, что его фокальная ось 338 сходится и пересекается с другими фокальными осями в пределах области, ограниченной апертурой 320. Сенсор 314 формирования изображения расположен в пределах корпуса 304 рядом с сенсором 312, на противоположной стороне оси 316 от сенсора 306. Сенсор 314 формирования изображения выровнен так, что его линия визирования совпадает с зоной 340 формирования изображения области 322, и так, что его фокальная ось 344 сходится и пересекается с другими фокальными осями в пределах области, ограниченной апертурой 320.
Сенсоры 306-314 формирования изображения могут содержать множество цифровых устройств формирования изображения, которые включают в себя, например, камеры сканирования отдельной области, камеры линейного сканирования, инфракрасные сенсоры, гиперспектральные и/или сейсмические сенсоры. Каждый сенсор может быть отдельным устройством формирования изображения, или может сам содержать матрицу формирования изображения. Все сенсоры 306-314 формирования изображения могут иметь гомогенный характер, или они могут быть комбинацией различных устройств формирования изображения. Для простоты ссылки, сенсоры 306-314 формирования изображения далее упоминаются как камеры 306-314, соответственно.
В широкоформатных или цифровых фотокамерах искажение в линзах является обычно источником проблем формирования изображения. Каждая отдельная линза должна быть тщательно откалибрована для определения точных факторов искажения. В одном из вариантов осуществления данного изобретения используют малоформатные цифровые камеры, имеющие размеры угла линзы 17° или меньше. Это эффективно и до допустимой степени уменьшает видимое искажение.
Камеры 306-314 поочередно расположены в пределах корпуса 304 на оси 316 так, что фокальные оси камер сходятся на апертуре 320, пересекают фокальную ось 324, и совмещают поле зрения с целевой зоной напротив ее соответствующего расположения в матрице, что приводит к "перекрестной", рети-нальной зависимости между камерами и объектом(ами) формирования изображения. Блок 300 матрицы камер конфигурирован так, что примыкающие границы зон 326, 328, 332, 336 и 340 формирования изображений незначительно перекрываются.
Если соединительные элементы 318 имеют постоянный и стационарный характер (например, сварное соединение), то пространственная зависимость между апертурой 320, камерами и их линиями визи
- 6 -
008402
рования остается фиксированной, как и пространственное соотношение между зонами 326, 328, 332, 336 и 340 формирования изображений. Такая конфигурация может быть желательной, например, при спутниковом наблюдении, когда блок 300 матрицы камер остается по существу на неизменяемом расстоянии от области 322. Расположение и выравнивание камер установлены так, что зоны 326, 328, 332, 336 и 340 обеспечивают полный охват области 322 формирования изображения. Однако если соединительные элементы 318 являются временными или настраиваемыми, то может потребоваться выборочно корректировать вручную или автоматически дистанционно расположение или выравнивание камер, чтобы сдвигать, сужать или расширять зоны 326, 328, 332, 336 и 340 - и таким образом улучшать или изменять качество изображений, получаемых блоком 300 матрицы камер.
Камера 310 определена в качестве основной камеры. Плоскость изображения 326 камеры 310 служит эталонной плоскостью. Ориентации других камер 306, 308, 312 и 314 измеряются относительно эталонной плоскости. Относительные ориентации каждой камеры измеряются в углах рыскания, тангажа и крена, требуемых для поворота плоскости изображения камеры так, чтобы она стала параллельной эталонной плоскости. Порядок вращений следующий: крен, тангаж и рыскание.
На фиг. 2 изображения зон 336, 328, 326, 332 и 340, сформированные с помощью камер 306-314, соответственно, показаны как вид сверху. Снова, из-за "перекрестного" расположения, изображение зоны 336 снято камерой 306, изображение зоны 340 снято камерой 314, и так далее. В одном из вариантов осуществления настоящего изобретения изображения иные, чем снятые центральной камерой 310, имеют трапециевидную форму после преобразования перспективы. Камеры 306-314 формируют матрицу по оси 316, т. е. в большинстве применений они ориентированы вертикально вниз. В альтернативном варианте осуществления вторая матрица камер, которая сконфигурирована подобно матрице камер 306-314, выровнена относительно первой матрицы камер для получения косоугольной проекции, обеспечивая перспективу вперед. Угол наклона от горизонтали ориентированного вперед блока матрицы камер может изменяться с учетом целей и параметров задания, но обычно значения углов равны 25-45°. Другие альтернативные варианты осуществления, предусматривающие изменение установки матриц камер, включены в объем настоящего изобретения. Во всех таких вариантах осуществления относительное местоположение и ориентация камер точно измеряются и калибруются для облегчения обработки изображений в соответствии с настоящим изобретением.
В одном из вариантов осуществления настоящего изобретения, внешний механизм (например, син-хро-сигнал GPS) используется для одновременного запуска камер для получения массива входных изображений. Модуль монтажа аэрофотоснимков затем обрабатывает отдельные входные изображения из такого массива в орто-корректированное составное изображение (или монтаж аэрофотоснимков, фотоплан), без каких-либо видимых швов между смежными изображениями. Модуль монтажа аэрофотоснимков выполняет ряд задач, содержащих: определение географических границ и размерностей каждого входного изображения; отображение каждого входного изображения на фотоплан с точным географическим позиционированием; цветовое выравнивание изображений в фотоплане; и сопряжение смежных входных изображений на их общих швах. Точный порядок выполняемых задач может изменяться в зависимости от размера и характера данных входных изображений. В определенных вариантах осуществления модуль монтажа аэрофотоснимков выполняет только одно преобразование для исходного входного изображения во время формирования фотоплана. Это преобразование может быть представлено матрицей 4x4. Путем объединения множества матриц преобразования в одну матрицу, продолжительность обработки уменьшается, а исходная резкость входного изображения сохраняется.
При отображении входных изображений на фотоплан, особенно когда формирование фотоплана выполняется с высоким разрешением, пиксели на фотоплане (т. е. выходные пиксели) могут не отображаться какими-либо пикселями во входных изображениях (т.е. входных пикселей). Деформированные линии могут потенциально привести к искажениям на фотоплане. Определенные варианты осуществления настоящего изобретения преодолевают это с помощью системы сверх-дискретизации, где каждый входной и выходной пиксель дополнительно делится на сетку из n x m суб-пикселей. Преобразование выполняется на суб-пиксельной основе. Конечное значение выходного пикселя является средним значением его субпикселей, для которых существует соответствующий входной субпиксель. Большие значения n и m формируют фотопланы с более высоким разрешением, но требуют дополнительного времени обработки.
При обработке данных изображения модуль монтажа аэрофотоснимков может использовать следующую информацию: расположение в пространстве (например, координаты х, у, z) фокуса каждой камеры в момент съемки входного изображения; ориентация в пространстве (т. е. углы рыскания, тангажа и крена) плоскости изображения каждой камеры относительно плоскости земли целевой области в момент времени съемки входного изображения; поля зрения каждой камеры (т. е. в направлении движения и перпендикулярно направлению движения); и цифровую модель местности (ЦММ, DTM) данной области. Ориентация в пространстве может быть обеспечена с помощью БОПО, связанного с системой. Цифровые модели местности (ЦММ) или цифровые модели поверхности (ЦМП, DSM) могут создаваться из информации, полученной с помощью использования модуля 118 лидара. Лидар подобен более традиционному радиолокатору и может представлять собой лазерный локатор. В радиолокаторе радиоволны передаются
- 7 -
008402
в атмосферу, которая рассеивает часть энергии назад в приемник радиолокатора. Лидар также передает и принимает электромагнитное излучение, но с более высокой частотой, так как он работает в ультрафиолетовой, видимой и инфракрасной области электромагнитного спектра. При работе лидар передает свет к целевой области. Переданный свет взаимодействует и изменяется целевой областью. Часть этого света отражается/рассеивается назад на прибор лидар, где он может анализироваться. Изменение в свойствах света дает возможность определять некоторые свойства целевой области. Время, необходимое свету, чтобы дойти до целевой области и назад в лидар, используется для определения расстояния до объекта.
Наборы данных ЦММ и ЦМП могут таким образом быть получены от блока матрицы камер. Могут также использоваться традиционные средства получения данных рельефа, такие как стереографические методы.
В настоящее время существуют три основных типа лидаров: дальномерный лидар, лидар дифференциального поглощения (ДП, DIAL) и доплеровский лидар. Дальномерный лидар является самым простым лидаром и используется для измерения расстояния от лидара до сплошной или твердой цели. Лидар дифференциального поглощения используется для измерения химических концентраций (таких как озон, водяной пар, загрязнители) в атмосфере. Лидар дифференциального поглощения использует две различные лазерные длины волн, которые выбираются так, чтобы одна длина волны поглощалась молекулами, представляющими интерес, в то время как другая длина волны не поглощалась. Различие в интенсивности двух возвращаемых сигналов может использоваться для определения концентрации исследуемых молекул. Доплеровский лидар используется для измерения скорости цели. Когда свет, передаваемый от лидара, попадает на цель, движущуюся к лидару или от лидара, длина волны света, отраженного от цели/рассеянного целью, будет несколько изменена. Это известно как доплеровский сдвиг, и поэтому его называют доплеровским лидаром. Если цель движется от лидара, то возвращаемый свет будет иметь более длинную длину волны (иногда называют красным сдвигом), при движении к лидару возвращаемый свет будет иметь более короткую длину волны (синий сдвиг). Цель может быть или твердой целью, или атмосферным объектом (например, микроскопической пылью и аэрозольными частицами, переносимыми ветром).
Фокальная точка камеры используется как центр преобразования перспективы. Ее местоположение в пространстве определяется, например, с помощью последующей обработки фазы многочастотной несущей системой GPS, установленной на летательном аппарате-носителе. Смещения по трем измерениям фокальной точки камеры должны быть тщательно измерены относительно центра антенны GPS. Эти смещения используют совместно с данными местоположения антенны GPS и ориентацией летательного аппарата-носителя для определения точного местоположения фокальной точки камеры. Местоположение антенны GPS определяется с помощью послеполетной обработки собранных данных GPS относительно подобных наземных антенн GPS, развернутых в точно наблюдаемых точках.
Один или большее количество БОПО (например, POS Applanix AV) устанавливаются на борту для определения ориентации. Ориентация эталонной плоскости БОПО относительно плоскости земли целевой области измеряется и регистрируется с короткими интервалами, с точностью лучше, чем одна сотая градуса. Ориентация эталонной плоскости БОПО определяется как последовательность поворотов, которые могут выполняться относительно осей этой плоскости для того, чтобы сделать ее параллельной плоскости земли. Термин "выравнивание" также используется для описания этой операции.
Ориентация центральной камеры 310 (т.е. плоскость ее изображения) относительно БОПО должна быть тщательно откалибрована. Ориентация каждой из других камер относительно центральной камеры 310 также должна быть тщательно откалибрована. Эта относительная калибровка более эффективна, чем прямая калибровка каждой камеры. Когда блок 300 матрицы камер устанавливается повторно, необходимо будет повторно калибровать только центральную камеру 310. Фактически, к входному изображению от центральной камеры 310 применяется последовательность из двух преобразований. Сначала, плоскость изображения центральной камеры совмещается с плоскостью БОПО. Затем, плоскость БОПО снова совмещается с плоскостью земли. Эти преобразования, однако, объединяют в одну операцию путем умножения на соответствующие им матрицы преобразования. Для изображений от каждой из других камер, сначала выполняется дополнительное преобразование для совмещения ее с плоскостью изображения центральной камеры.
Местоположение фокальной точки центральной камеры 310 определяется так, как описано выше. Компоненты х и у этого местоположения определяют местоположение точки 400 стояния монтажа аэрофотоснимков на земле. Углы поля зрения (FOV) каждой камеры известны, таким образом размеры каждого входного изображения могут определяться с помощью компонента z фокальной точки этой камеры. Средняя высота над уровнем моря местности определяется с помощью вычисления средней высоты над уровнем моря точек в ЦММ области, и затем каждое входное изображение проектируется на воображаемую горизонтальную плоскость при этой высоте. Затем применяется смещение рельефа с использованием ЦММ данной области. ЦММ может быть получена из многих источников, которые включают в себя: 30-или 10-метровая ЦММ USGS, доступная для большей части территории США; коммерческая ЦММ; или ЦММ, полученная лидаром или SAR EMU, установленном на летательном аппарате-носителе, который обеспечивает сбор данных одновременно с камерами.
- 8 -
008402
Помимо географически правильного размещения, результирующее составное изображение также должно иметь согласование цветов по всему изображению и не иметь видимых швов в соединениях между двумя смежными изображениями. Настоящее изобретение обеспечивает ряд методов для достижения этой цели.
Характеристикой обычной камеры является время экспонирования (т.е. время, когда затвор фотообъектива остается открытым для попадания света в плоскость изображения). Чем дольше время экспонирования, тем светлее становится результирующее изображение. Время экспонирования должно настраиваться к изменениям в окружающем освещении, вызванным такими условиями, как: облачность; угол и расположение солнца относительно камеры; и т.д. Оптимальное время экспонирования может также зависеть от ориентации камеры относительно источников освещения (например, камеры, ориентированные по направлению к освещенному солнцем объекту, обычно принимают больше окружающего света, чем те, которые ориентированы в направлении к затененному объекту). Время экспонирования настраивается для сохранения средней интенсивности изображения в пределах определенного требуемого диапазона. Например, в 24-битовых цветных изображениях каждый красный, зеленый и синий компонент может иметь значения интенсивности от 0 до 255. Однако в большинстве случаев желательно поддерживать среднюю интенсивность на среднем значении (т. е. 127).
В настоящем изобретении модуль управления экспонированием управляет временем экспонирования для каждой из камер или сенсоров формирования изображения. Он исследует каждое входное изображение и вычисляет среднюю интенсивность изображения. Основываясь на скользящем среднем значении (т. е. на средней интенсивности последнего числа X изображений), модуль управления экспонированием решает, увеличить ли или уменьшить время экспонирования. Модуль может использовать среднее значение за более длительный промежуток времени для реализации более медленной реакции на изменения в условиях освещения при меньшей чувствительности к необычно темным или светлым изображениям (например, асфальтированным дорогам или воде). Модуль управления экспонированием управляет временем экспонирования для каждой камеры отдельно.
В системах, где камеры устанавливаются без механизмов компенсации движения вперед, должно существовать максимальное предельное значение для времени экспонирования. Установка времени экспонирования на значение, которое больше максимального значения, может привести к появлению вызванной движением нерезкости. Например, предположим, что камеры устанавливаются на самолете, летящем со скоростью 170 миль/ч (или приблизительно 3 дюйма/мс). Предположим, что необходимое разрешение пикселя - 6 дюймов. Движение вперед во время получения изображения должно быть ограничено размером половины пикселя, которое в этом случае равно 3 дюймам. Таким образом, например, максимальное значение экспонирования равно 1 мс.
При управлении качеством формирования изображения полезно иметь возможность определять, вызваны ли изменения в интенсивности света изменением в рассеянном свете или присутствием необычно светлых или темных объектов (например, отражающих свет водоемов, металлических крыш, асфальта и т. д.). Определенные применения данного изобретения связаны с аэрофотосъемкой или наблюдением. Замечено, что изображения земли с воздуха обычно содержат растительность, которая имеет более постоянную отражающую способность, чем водоемы или искусственные структуры, такие как дороги и здания. Конечно, на изображениях растительности обычно преобладает зеленый цвет (т.е. значение зеленого компонента является самым большим из значений красного, зеленого и синего компонентов). Поэтому корреляция интенсивности может быть реализована более точно путем фокусировки на пикселях с преобладанием зеленого цвета.
Модуль управления экспонированием вычисляет среднюю интенсивность изображения путем выбора только пикселей, в которых преобладает зеленый цвет. Например, если изображение имеет 1 миллион пикселей, и в 300000 из них преобладает зеленый цвет, то только эти 300000 пикселей с преобладанием зеленого цвета используются в вычислении средней интенсивности. Это приводит к процессу формирования изображения, который менее чувствителен к смещению, вызванному искусственными структурами и водоемами, в пикселях которых обычно не преобладает зеленый цвет. Как отмечено выше, желательно поддерживать значение интенсивности, приблизительно равное 127. Когда значение интенсивности больше 127 (т.е. переэкспонирование), время экспонирования уменьшается для получения меньшего количества света. Точно так же, когда значение интенсивности ниже 127 (т. е. недоэкспонирование), время экспонирования увеличивается для получения большего количества света. Например, рассмотрим систему, пролетающую над целевой областью местности, имеющей много белых крыш, для которых интенсивности очень высоки. Средняя интенсивность для снятых изображений будет иметь тенденцию к высокому значению. В самых обычных системах время экспонирования уменьшается для компенсации. В данном примере, однако, уменьшение времени экспонирования не является правильным, потому что средняя интенсивность изображений смещена вследствие наличия ярких крыш. Уменьшение времени экспонирования привело бы к созданию изображений, где земля темнее, чем она должна быть. Напротив, если в соответствии с настоящим изобретением обрабатываются только пиксели с преобладанием зеленого цвета, то пиксели, представляющие чрезмерно яркие крыши, смещают среднюю интенсивность, а время экспонирования не изменяется.
- 9 -
008402
Таким образом, модуль управления экспонированием уменьшает различия интенсивности между входными изображениями. Тем не менее, дополнительная обработка обеспечивается для улучшения тонального выравнивания. Существует множество факторов (например, физические характеристики линз, атмосферные условия, пространственные/позиционные отношения устройств формирования изображений), которые вызывают неодинаковый прием света от плоскости изображения. Больше света принимается в центре камеры или сенсора, чем на краях.
Модуль монтажа аэрофотоснимков согласно настоящему изобретению решает эту проблему с помощью функции антивиньетирования (исправления колебаний яркости по полю изображения), как показано на фиг. 5. Множество фокальных линий (столбцов) 500, 502, 504, 506 и 508 сходятся от плоскости 509 изображения и пересекаются в фокусе 510, когда они распространяются по целевой области 512 формирования изображения (например, по рельефу местности). Линии 500-508 могут быть линиями индивидуального разрешения одной камеры или сенсора, или могут представлять фокальные оси множества независимых камер или сенсоров. Для целей описания линия 504 служит осью, а точка 513, в которой линия 504 пересекает плоскость 509 изображения, служит основной точкой. Модуль управления экспонированием применяет функцию антивиньетирования, умножая исходную интенсивность входного пикселя на зависящий от фокальной линии коэффициент антивиньетирования. Поскольку поверхность приема является плоскостью с системой координат, каждая линия будет иметь множество строк разрешения (не показаны). Эта зависимость может быть выражена для пикселя р на линии х и строке у следующим образом:
<настроенная интенсивность> = <исходная интенсивность> *f (х); где f(x) - функция в виде: Ф0=^(угла относительно оси)**4.
Угол 514 относительно оси: нуль для центральной линии 504; больше для линий 502 и 506; и еще больше для линий 500 и 508. Полный угол 516 поля зрения (угол FOVx) показан между линиями 504 и
508.
Функция f (х) может аппроксимироваться с помощью множества линейных сегментов между линиями. Для точки, находящейся в пределах линейного сегмента между любыми заданными линиями c1 и с2, коэффициент настройки вычисляется следующим образом:
<коэффициент настройки для c> =f(c1)+[f(c2)-f(cl)*(c-cl)/(c2-cl)];
где f(c1) и f(c2) - значения функции углов относительно оси для линий c1 и с2, соответственно.
Каждый набор входных изображений должен быть сшит в мозаичное изображение (монтаж аэрофотоснимков, фотоплан). Даже при том, что модуль управления экспонированием регулирует количество света, которое принимает каждая камера или сенсор, результирующие входные изображения могут все равно отличаться по интенсивности. Настоящее изобретение обеспечивает модуль выравнивания интенсивности, который сравнивает область перекрытия со смежными входными изображениями для дополнительного выравнивания относительной интенсивности. Поскольку смежные входные изображения регистрируются одновременно, области перекрытия теоретически должны иметь одинаковую интенсивность в обоих входных изображениях. Однако из-за различных факторов значения интенсивности обычно отличаются. Некоторые такие факторы, которые вызывают изменение интенсивности, могут включать в себя, например то, что модуль управления экспонированием подвергается влиянию необычно ярких или темных объектов, существующих в поле зрения только конкретной камеры, или когда углы визирования камер отличаются (т.е. камеры, которые наклонены сильнее, принимают меньше света, чем те, которые расположены более вертикально).
Для выравнивания двух смежных изображений, одно из них выбирается в качестве эталонного изображения, а другое является вторичным изображением. Корреляционный вектор (fR, fG, fB) определяется с использованием, например, следующего процесса. Пусть V является вектором 3x1, представляющим значения (R, G и В) пикселя
V" G В
Корреляционная матрица С может быть получена следующим образом:
где FR=AvgIr/AvgIn;
АvgIr=средняя интенсивность красного цвета области перекрытия на эталонном изображении; AvgIn=cpeдняя интенсивность красного цвета области перекрытия на новом изображении; и FG и FB получают подобным образом.
Корреляционная матрица масштабирует значения пикселей вторичного изображения так, что средняя интенсивность области перекрытия вторичного изображения становится идентичной средней интенсивности области перекрытия эталонного изображения. Второе изображение может выравниваться отно
- 10 -
008402
сительно эталонного изображения путем умножения его значений пикселей на корреляционную матрицу.
Таким образом, в одном из вариантов осуществления процесса выравнивания согласно настоящему изобретению центральное изображение рассматривается как эталонное изображение. Эталонное изображение сначала копируется в составное изображение (или фотоплан). Области перекрытия между эталонным изображением и смежным изображением (например, ближайшим левым изображением) коррелиру-ются для вычисления корреляционной матрицы выравнивания (КМВ). КМВ умножается на векторы, представляющие пиксели смежного изображения для того, чтобы сделать интенсивность области перекрытия идентичной на обоих изображениях. Один из вариантов осуществления этой зависимости может быть выражен следующим образом:
Пусть 1(центральной области)=Средняя интенсивность области перекрытия в центральном изображении;
1(смежной области)=Средняя интенсивность перекрытия в смежном изображении; тогда коэффициент выравнивания=1(центральной области)Л(смежной области).
Коэффициент выравнивания для каждого цветного канала (т.е. красного, зеленого и синего) вычисляется независимо. Эти три значения формируют КМВ. Выровненное смежное изображение копируется на фотоплан. Плавный переход на границе скопированного изображения обеспечивается с помощью "сведения на нет" с помощью маски. Эта маска имеет ту же самую размерность, что и смежное изображение, и содержит множество элементов. Каждый элемент в маске указывает вес соответствующего пикселя смежного изображения на фотоплане. Вес равен нулю для приграничных пикселей (т.е. выходное значение берется из эталонного изображения) и увеличивается постепенно в направлении смежного изображения, пока он не станет единицей по достижении выбранной ширины смешивания. Вне области смешивания фотоплан будет полностью определяться пикселями смежного изображения. Точно так же анализируются и обрабатываются перекрытия между всеми другими составляющими входными изображениями для вычисления корреляционных векторов и для выравнивания интенсивности изображений.
Корреляционная матрица определяется с использованием, например, следующего процесса со ссылкой на фиг. 6. Фиг. 6 показывает полосу (монтаж маршрутных аэрофотоснимков) 600, сформированную в соответствии с настоящим изобретением. Основной фотоплан 602 и новый фотоплан 604, добавленный по маршруту (или по направлению движения) 606, накладываются друг на друга в области 608. Пусть V будет вектором, который представляет значения R, G и В пикселя
V = G В
Пусть h будет шириной перекода области 608, а у будет расстоянием по направлению движения 606 от границы 610 области перекрытия до точки А, в которой значения пикселя представляет вектор V. Пусть С будет корреляционной матрицей
Выровненное значение V, обозначенное V ', определяется следующим образом:
V' = [y/h.I+ (1-y/h) .С]х V, для 0 V'=V, для y> =h; где I - единичная матрица
1 0 О 1= 0 1 0 0 0 1
Следует отметить, что методика "сведения на нет" также используется в комбинации с плавным переходом для минимизации видимости шва.
Если мозаики (фотопланы, монтаж аэрофотоснимков) длинные, различия в интенсивности в перекрытии могут изменяться от одного конца фотоплана к другому. Вычисление единственного корреляционного вектора, чтобы избежать создания видимых швов, может быть невозможным. Фотоплан может делиться на множество сегментов, соответствующих расположению исходных входных изображений, которые составляют мозаику. Описанный выше процесс применяется к каждому сегменту отдельно для обеспечения лучшей локальной последовательности цветов.
При этом усовершенствованном алгоритме пиксели на границе двух сегментов могут создать вертикальные швы (принимая направление линии полета с севера на юг). Чтобы избежать этой проблемы, коэффициенты выравнивания для пикселей в этой области должны "переключаться" от коэффициента выравнивания одного сегмента к коэффициенту выравнивания другого сегмента. Это объясняется со
- 11 -
008402
ссылкой на фиг. 7.
Фиг. 7 изображает монтаж маршрутных аэрофотоснимков ("полосу") 700, сформированный в соответствии с настоящим изобретением. Основная мозаика (фотоплан) 702 и новый сегмент 704 перекрываются в области 706. Фотоплан 702 и другой новый сегмент 708 перекрываются в области 710. Сегменты 704 и 708 перекрываются в области 712, и все области 706, 710 и 712 перекрываются и совмещаются в области 714. Для целей объяснения, точка 716 служит началом координат для оси у 718 и оси х 720. Направление по оси у 718 представляет движение по траектории полета системы формирования изображения. Точка 716 расположена в нижней левой части области 714.
Согласно настоящему изобретению размеры монтажа маршрутной аэрофотосъемки определяются с помощью минимального и максимального значений х и у составляющих фотопланов. Выходной монтаж маршрутных аэрофотоснимков инициализируется к цвету фона. Первый фотоплан переносится на монтаж маршрутных аэрофотоснимков. Затем обрабатывается следующий (по траектории полета) фотоплан. Значения интенсивности областей перекрытия нового фотоплана и первого фотоплана коррелируются, отдельно для каждого цветового канала. Новый фотоплан делится на множество сегментов, соответствующих исходным входным изображениям, которые составляют фотоплан. Для нового фотоплана создается матрица маски, которая содержит множество элементов маски. Элемент маски содержит корреляционную матрицу для соответствующего пикселя в новом фотоплане. Все элементы в маске инициализируют в единицу. Размер маски может быть ограничен только областью перехода новой мозаики. Вычисляется корреляционная матрица для центрального сегмента. Обрабатывается область маски, соответствующая центральному сегменту. Значения элементов на краю области перекрытия устанавливаются соответственно корреляционному зектору. Затем, постепенно двигаясь от первого фотоплана по монтажу маршрутных аэрофотоснимков, компоненты корреляционной матрицы или увеличиваются, или уменьшаются (в зависимости от того, меньше они или больше единицы, соответственно), пока они не становятся единицей на предопределенном расстоянии перехода. Затем подобным образом обрабатывается область маски, соответствующая сегменту, примыкающему к центральному сегменту. Однако область 814, сформированная первым фотопланом и центральным и смежными сегментами нового изображения, требует специальной обработки. Поскольку корреляционная матрица для смежных сегментов не может быть идентична матрице для центрального сегмента, может появиться шов на границе двух сегментов в области перекрытия 714 с первым фотопланом. Поэтому угол зависит от корреляционных матриц для обоих сегментов. Для ячейки А маски, которая расположена на расстоянии х от границы с центральным сегментом и на расстоянии у от края перекрытия, ее корреляционная матрица является взвешенным по расстоянию средним значением двух сегментов, которое оценивается следующим образом:
Для пикселя А(х, у) в области 714 на расстоянии х до границы с центральным сегментом, его выровненные значения вычисляются, как взвешенные по расстоянию средние значения для значений, вычисленных с использованием двух сегментов;
V1 является выровненным вектором RGB, основанным на сегменте 704;
V2 является выровненным вектором RGB, основанным на сегменте 708;
V ' является объединенным окончательным выровненным вектором RGB
V = ( (d-x) /d) .V1+ (x/d) .V2; где ось х является линией, проходящей через основание области перекрытия;
ось у является линией, проходящей через левую сторону области перекрытия сегментов 704 и 708; h является шириной перехода; и
d является шириной области перекрытия сегментов 704 и 708.
Подобным образом вычисляются области маски, соответствующие другим смежным сегментам.
Дополнительно согласно настоящему изобретению применяется фильтр точности воспроизведения цветов (т. е. балансировки белого). Он умножает компоненты R и В на определяемый коэффициент для улучшения точности воспроизведения цветов. Данный коэффициент может быть определен путем калибровки камер и линз. Фильтр точности воспроизведения цветов гарантирует, что цвета в изображении сохраняют свою точность, как непосредственно воспринимается человеческим глазом. В устройстве регистрации изображения элементы, принимающие красный, зеленый и синий свет, могут иметь различную чувствительность к цвету, который они должны регистрировать. Применяется процесс "балансировки белого", в котором регистрируется изображение белого объекта. Теоретически, пиксели в изображении белого объекта должны иметь эквивалентные значения R, G и В. В действительности, однако, из-за различной чувствительности и других факторов, средние значения цвета для каждого R, G и В могут быть avgR, avgG и avgB, соответственно. Для выравнивания компонентов цвета, значения R, G и В пикселей умножают на следующие отношения:
значения R умножают на отношение avgG/avgR; и
значения В умножают на отношение avgG/avgB.
Конечным результатом является то, что изображение белого объекта имеет равные компоненты
RGB.
В большинстве приложений монтаж маршрутных аэрофотоснимков обычно охватывает большую
- 12 -
008402
область неводной поверхности. Таким образом, средняя интенсивность для монтажа маршрутных аэрофотоснимков вряд ли будет искажена аномалиями, такими как сильно отражающие поверхности. Настоящее изобретение обеспечивает модуль нормализации интенсивности, который нормализует среднюю интенсивность каждого монтажа маршрутных аэрофотоснимков так, чтобы среднее значение и стандартное (среднеквадратичное) отклонение имело требуемое значение. Например, значение 127 является нормой в фотограмметрии. Стандартное отклонение 51 помогает распространить значение интенсивности по оптимальному диапазону для визуального восприятия особенностей изображения. Каждый монтаж маршрутных аэрофотоснимков, возможно, был реализован при различных условиях освещения и поэтому может иметь различные профили данных формирования изображения (т.е. среднюю интенсивность и стандартное отклонение). Данный модуль осуществляет нормировку для монтажей маршрутных аэрофотоснимков так, что все они имеют те же самые среднюю интенсивность и стандартное отклонение, что позволяет сшивать их без видимых швов.
Эта нормализация интенсивности содержит вычисление средней интенсивности для каждого канала R, G и В и для всех каналов. Затем вычисляется полное стандартное отклонение. Каждое значение R, G и В каждого пикселя преобразуется к новому среднему значению и стандартному отклонению:
новое значение=новое среднее значение+(старое значение-старое среднее значение)*(новое стандартное отклонение/старое стандартное отклонение).
Затем множество смежных монтажей маршрутных аэрофотоснимков объединяют для создания фотоплана из элементов для области, представляющей интерес. Законченные элементы фотоплана могут соответствовать элементарным квадратным участкам или четвертям элементарных квадратных участков USGS (геологической службы США). Сшивание монтажей маршрутных аэрофотоснимков в фотопланы подобно их сшиванию фотопланов для генерации монтажа маршрутных аэрофотоснимков, только теперь роль фотопланов выполняют указанные монтажи. На линии шва между двумя монтажами маршрутных аэрофотоснимков могут возникнуть проблемы, если такая линия пересекает приподнятые относительно земли конструкции, например здания, мосты и т.д. Эта классическая проблема в фотограмметрии является результатом параллакса, вызванного одним и тем же объектом, наблюдаемым из двух разных точек зрения. При формировании изображения здания, например, один монтаж маршрутных аэрофотоснимков может представлять вид с одной стороны здания, в то время как другой представляет вид с другой стороны здания. После сшивания изображений вместе результирующий фотоплан может выглядеть подобно вигваму. Чтобы решить эту проблему, зависящий от рельефа процесс создания фотоплана может быть реализован с управлением размещением линии шва. Например, данные изображения, собранные с помощью лидара или ЦМР или проанализированные из их данных, могут обрабатываться для определения конфигурации и формы изображений, когда их соединяют вместе. Таким образом, в некоторых смонтированных изображениях, линия шва может быть не прямой линией, а может содержать линию шва, которая смещена назад и вперед для огибания поднятых относительно земли структур.
На фиг. 8 представлен один из вариантов осуществления процесса 800 формирования изображения в соответствии с настоящим изобретением, как описано выше. Процесс 800 начинается с получения последовательности 802 из одного или большего количества необработанных изображений. Изображения 802 затем обрабатываются процессом 804 балансировки белого с преобразованием их в последовательность промежуточных изображений. Данная последовательность 802 затем обрабатывается посредством функции 806 антивиньетирования перед переходом к процессу 808 ортотрансформирования. Как отмечено выше, ортотрансформирование может основываться на данных 810 расположения и ориентации от системы или платформы сенсоров формирования изображения, и на данных 812 ЦММ. Данные 812 ЦММ могут формироваться из данных 810 расположения и, например, из данных 814 ЦММ USGS или данных 816 лидара. Последовательность 802 ортотрансформируется, и обработка продолжается с помощью цветового выравнивания 818. После цветового выравнивания последовательность 802 преобразуется с помощью модуля 820 монтажа в составное изображение 822. Модуль 820 выполняет монтаж и процесс "сведения на нет" в течение этого преобразования. Затем одно или большее количество составных изображений 822 дополнительно объединяются на этапе 824 с помощью градиентного соединения и "сведения на нет" для получения полосы 826 изображения. Полосы изображения обрабатываются путем нормализации 828 интенсивности. Затем нормализованные полосы 828 соединяют вместе на этапе 830, опять с помощью градиентного соединения и "сведения на нет" для получения окончательного фотоплана 832 из элементов. Монтаж аэрофотоснимков, выполняемый таким образом на этапе 830, может быть реализован как зависящий от рельефа монтаж, основанный на данных 812 ЦММ или данных 816 лидара.
Фиг. 9 схематически показывает, как фотоснимки, сделанные с помощью блока матрицы камер, могут совмещаться для формирования отдельного кадра.
Фиг. 10 является структурной схемой логического устройства обработки согласно определенным вариантам осуществления настоящего изобретения. Как показано на структурной схеме 1000, логическое устройство обработки принимает один или большее количество наборов входной информации, которая может включать в себя результаты 1002 измерения высоты (рельефа), результаты 1004 определения пространственной ориентации и/или совокупность 1006 фотоснимков и изображений от сенсора. Некоторая входная информация может проходить через начальный этап обработки, предшествующий анализу, как
- 13 -
008402
показано на этапе 1008, в котором результаты определения пространственной ориентации объединяются с данными от наземных пунктов управления. Результаты 1002 измерения высоты (рельефа) и результаты 1004 определения пространственной ориентации могут объединяться для генерации обработанных данных 1010 высоты (рельефа). Обработанные данные 1010 высоты (рельефа) могут затем использоваться для генерации рельефа ЦМР 1014 и ЦММ 1016. Точно так же результаты 1006 определения пространственной ориентации могут объединяться с совокупностью 1006 фотоснимков и изображений от сенсора для генерации изображений 1012 с географической привязкой, которые затем подвергают обработке 1018 изображений, которая может включать в себя цветовое выравнивание и градиентную фильтрацию.
В зависимости от используемого набора данных (1020), ЦММ 1016 или ЦМР USGS 1022 объединяются с обработанными изображениями 1018 для генерации ортотрансформированных изображений 1024. Ортотрансформированные изображения 1024 затем подаются в блок самосинхронизации траекторий полета 1026. Затем следует монтаж 1028 выровненных проекций для генерации окончательных выходных фотоснимков 1030.
Настоящее изобретение может использовать определенную степень дискретизации с повышенной частотой в поперечном направлении для улучшения качества выходного изображения. Фиг. 11 является изображением нижнего обзора 1100 дискретизации с повышенной частотой в поперечном направлении с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения, где показана минимальная дискретизация с повышенной частотой в поперечном направлении. На этом изображении центральная область 1102, соответствующая точке стояния, съемка которой осуществляется центральной камерой, только немного перекрывается с левой областью 1104 точки стояния и правой областью 1106 точки стояния, так что перекрытие минимально. Фиг. 12 является изображением нижнего обзора дискретизации с повышенной частотой в поперечном направлении 1200 с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения, где показана повышенная степень дискретизации с повышенной частотой в поперечном направлении. На этом изображении центральная область 1202 точки стояния имеет более высокую степень перекрытия с левой областью 1204 точки стояния и правой областью 1206 точки стояния.
В дополнение к использованию дискретизации с повышенной частотой в поперечном направлении, как показано на фиг. 11 и 12, настоящее изобретение может также использовать дискретизацию с повышенной частотой в направлении по линии полета. Фиг. 13 является изображением нижнего обзора дискретизации с повышенной частотой по линии полета 1300 с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения, где показана определенная степень дискретизации с повышенной частотой по линии полета, но минимальная дискретизация с повышенной частотой в поперечном направлении. Центральные области 1302 и 1304, соответствующие точкам стояния, перекрываются по линии полета, но не перекрываются в поперечном направлении с левыми областями 1306 и 1308 точки стояния или с правыми областями 1310 и 1312 точки стояния.
Фиг. 14 является изображением нижнего обзора дискретизации с повышенной частотой по направлению полета с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения, где показана значительная дискретизация с повышенной частотой по линии полета, и значительная дискретизация с повышенной частотой в поперечном направлении. Можно заметить, что каждая из центральных областей 1402-1406 точки стояния значительно перекрывается друг с другом, а так же с левыми областями 1408-1412 точки стояния и правыми областями 1414-1418 точки стояния. Левые области 1408-1412 точки стояния перекрываются так же, как и правые области 1414-1418 точки стояния. Соответственно, каждая точка на поверхности дискретизируется по меньшей мере дважды, и в некоторых случаях четыре раза. Этот метод использует тот факт, что в области изображения, которую снимают два или более раз с помощью различных сенсоров камер, удвоение разрешения изображения возможно в боковом направлении (поперек направления движения) и в направлении линии полета (по направлению движения) для полного увеличения разрешения в четыре раза. Практически, увеличение разрешения изображения/сенсора несколько меньше чем в два раза в каждом из измерений, приблизительно 40% по каждому измерению, или 1,4х1,4=~2 раза. Это обусловлено статистическими изменениями выравнивания/ориентации суб-пикселей. В действительности, сетка из пикселей редко является точно эквидистантной сетке из пикселей перекрытия. Если бы очень точные поперечные выравнивания сенсоров камер были осуществлены на суб-пиксельном уровне, то могло быть реализовано увеличение разрешения изображения в четыре раза.
Фиг. 15 является изображением нижнего обзора 1500 с последовательным увеличением с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения. Центральная область 1502 точки стояния ограничена с левого и правого краев внутренней левой областью 1504 точки стояния и внутренней правой областью 1506 точки стояния, соответственно. Внутренняя левая область 1504 точки стояния ограничена с левого края внешней левой областью 1508 точки стояния, в то время как внутренняя правая область 1506 точки стояния ограничена с правого края внешней правой областью 1510 точки стояния. Следует отметить, что эти области имеют минимальную степень перекрытия и дискретизации с повышенной частотой между собой.
Фиг. 16 является изображением нижнего обзора 1600 последовательного увеличения с транспорт
- 14 -
008402
ного средства согласно некоторым вариантам осуществления настоящего изобретения. Центральная область 1602 точки стояния ограничена с левого и правого краев внутренней левой областью 1604 точки стояния и внутренней правой областью 1606 точки стояния, соответственно. Внутренняя левая область 1604 точки стояния ограничена с левого края внешней левой областью 1608 точки стояния, в то время как внутренняя правая область 1606 точки стояния ограничена с правого края внешней правой областью 1610 точки стояния. Следует отметить, что, как указано выше, эти области имеют минимальную степень перекрытия и дискретизации с повышенной частотой между собой. В пределах каждой из областей 16041610 точки стояния существует центральная область изображения 1614-1620, которая показана темно-серым цветом.
Фиг. 17 является изображением нижнего обзора 1700 последовательного увеличения с транспортного средства согласно некоторым вариантам осуществления настоящего изобретения. В центре образца 1700, левая внутренняя область 1702 точки стояния и правая внутренняя область 1704 точки стояния перекрываются в центре. Левая средняя область 1706 точки стояния и правая средняя область 1708 точки стояния располагаются частично вне областей 1702 и 1704, соответственно, каждая из них совместно использует область перекрытия с соответствующей смежной областью приблизительно на 50%. Внешняя левая область 1710 точки стояния и внешняя правая область 1712 точки стояния расположены частично вне областей 1706 и 1708, соответственно, каждая из них совместно использует области перекрытия с соответствующей смежной областью приблизительно на 50%. Центральная область изображения 1714, которая расположена в центре образца 1700, содержит центральные части областей 1702-1712 точки стояния.
Фиг. 18 изображает схемное решение архитектуры системы 1800 согласно некоторым вариантам осуществления настоящего изобретения. Система 1800 может включать в себя один или большее количество спутников GPS 1802 и один или большее количество спутников SATCOM (искусственных спутников коммерческой системы связи) 1804. Данная система может также включать в себя одну или большее количество систем позиционирования GPS 1806, которая функционально связана с одним или большим количеством модулей 1808, которые получают данные местоположения от лидара, GPS и/или X, Y, Z и вводят эту информацию в одно или более приложений 1812 системы сбора данных. Одно или более приложений 1812 системы сбора данных могут также принимать спектральные данные от матрицы 1822 камер. DGPS 1810 может осуществлять связь с одним или более спутников SATCOM 1804 через беспроводной канал связи 1826. Один или более спутников SATCOM 1804 могут, в свою очередь, осуществлять связь с одним или более приложений 1812 системы сбора данных.
Одно или более приложений 1812 системы сбора данных могут взаимодействовать с автопилотом 1816, системой SSD и/или системой RealTime StitchG 1820, которые могут также взаимодействовать друг с другом. Система SSD 1814 может быть функционально связана с RealTime DEM 1818. Наконец, RealTime DEM 1818 и RealTime StitchG 1820 могут быть связаны с запоминающим устройством, таким как дисковый массив 1824.
Описанные выше модули, алгоритмы и процессы могут быть реализованы по многим технологиям и во многих конфигурациях.
Варианты осуществления настоящего изобретения могут содержать функциональные экземпляры программного обеспечения или аппаратных средств, или их комбинации. Кроме того, модули и процессы настоящего изобретения могут объединяться вместе в одном функциональном экземпляре (например, в одной программе) или могут содержать функционально связанные отдельные функциональные устройства (например, множество соединенных между собой блоков процессора/памяти). Все такие реализации входят в объем настоящего изобретения.
Сформулированные варианты осуществления и примеры представлены для лучшего объяснения настоящего изобретения и его практического применения и, таким образом, для предоставления возможности специалистам изготавливать и использовать данное изобретение. Однако специалистам должно быть понятно, что предыдущее описание и примеры представлены только для иллюстрации. Сформулированное описание не исчерпывает и не ограничивает изобретение точной раскрытой формой. В свете приведенного выше возможны множество модификаций и разновидностей без отклонения от сущности объема формулы изобретения.
ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Система формирования карты поверхности, содержащая передатчик системы глобального позиционирования, транспортное средство, находящееся над поверхностью, модуль измерения рельефа, закрепленный на транспортном средстве,
антенну системы глобального позиционирования, закрепленную на транспортном средстве, блок определения пространственной ориентации, закрепленный на транспортном средстве, матрицу элементов формирования изображений, закрепленную на транспортном средстве, содержащую
- 15 -
008402
корпус,
апертуру, расположенную в корпусе, имеющую в нем область пересечения,
первый сенсор формирования изображения, связанный с корпусом, имеющий первую фокальную ось, проходящую через апертуру в пределах области пересечения, и
второй сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения,
компьютер, связанный с модулем измерения рельефа, антенной системой глобального позиционирования, блоком определения пространственной ориентации и первым и вторым сенсорами формирования изображения, который коррелирует по меньшей мере часть данных изображений от первого и второго сенсоров формирования изображения части поверхности на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.
2. Система по п.1, дополнительно содержащая третий сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.
3. Система по п.2, в которой фокальная ось третьего сенсора формирования изображения находится в общей плоскости с фокальными осями первого и второго сенсоров формирования изображения.
4. Система по п.2, в которой фокальные оси первого и второго сенсоров формирования изображения лежат в первой общей плоскости, а фокальная ось третьего сенсора формирования изображения лежит в плоскости, перпендикулярной к первой общей плоскости.
5. Система по п.1, в которой фокальная ось первого сенсора формирования изображения располагается вертикально.
6. Система по п.5, в которой фокальная ось второго сенсора формирования изображения располагается в первой плоскости с фокальной осью первого сенсора формирования изображения и под первым углом к ней, и фокальная ось третьего сенсора формирования изображения располагается с другой стороны по отношению ко второму сенсору формирования изображения от первого сенсора формирования изображения в первой общей плоскости и под вторым углом, имеющим ту же самую величину, что и первый угол.
7. Система по п.6, дополнительно содержащая пятый и шестой сенсоры формирования изображения, расположенные на противоположных сторонах от первого сенсора формирования изображения, фокальные оси которых располагаются во второй плоскости, общей с фокальной осью первого сенсора формирования изображения, перпендикулярно к первой общей плоскости и под третьим и четвертым углами от фокальной оси первого сенсора формирования изображения, имеющими одинаковую величину.
8. Система формирования карты поверхности, содержащая передатчик системы глобального позиционирования, транспортное средство, находящееся над поверхностью,
модуль измерения рельефа, закрепленный на транспортном средстве,
антенну системы глобального позиционирования, закрепленную на транспортном средстве, блок определения пространственной ориентации, закрепленный на транспортном средстве, первый сенсор формирования изображения, закрепленный на транспортном средстве, фокальная
ось которого расположена в направлении поверхности, который формирует изображение, содержащее
матрицу пикселей,
компьютер, связанный с модулем измерения рельефа, антенной системы глобального позиционирования, блоком определения пространственной ориентации и первым сенсором формирования изображения, который генерирует значения вычисленной долготы и вычисленной широты для координаты, соответствующей по меньшей мере одному пикселю в матрице, на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.
9. Система по п.8, в которой передатчик системы глобального позиционирования расположен на спутнике.
10. Система по п.8, в которой передатчик системы глобального позиционирования является наземным.
11. Система по п.8, в которой средством измерения рельефа является лидар.
12. Система по п.8, в которой блок определения пространственной ориентации является гироскопом.
13. Система по п.8, в которой фокальная ось первого сенсора формирования изображения вертикальна и проходит через апертуру, причем система дополнительно содержит
второй сенсор формирования изображения, связанный с транспортным средством и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апер
- 16 -
008402
туру и пересекающую первую фокальную ось в пределах области пересечения, и
третий сенсор формирования изображения, соединенный с транспортным средством и смещенный от первого сенсора формирования изображения в противоположном направлении от второго сенсора формирования изображения, имеющий третью фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.
14. Система по п.13, в которой транспортное средство имеет вектор направления, причем фокальная ось второго сенсора формирования изображения лежит в плоскости, перпендикулярной к вектору направления транспортного средства.
15. Система формирования карты поверхности, содержащая передатчик системы глобального позиционирования, транспортное средство, находящееся над поверхностью,
модуль измерения рельефа, закрепленный на транспортном средстве,
антенну системы глобального позиционирования, закрепленную на транспортном средстве, блок определения пространственной ориентации, закрепленный на транспортном средстве, матрицу элементов формирования изображений, закрепленную на транспортном средстве, содержащую
корпус,
апертуру, расположенную в корпусе, имеющую в ней перекрестную область,
первый сенсор формирования изображения, связанный с корпусом, имеющий фокальную ось, проходящую через апертуру в пределах области пересечения, который формирует первую матрицу пикселей, и
второй сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения, который формирует вторую матрицу пикселей,
компьютер, связанный с одним или более из модуля измерения рельефа, антенны системы глобального позиционирования, блока определения пространственной ориентации, первого сенсора формирования изображения и второго сенсора формирования изображения, который вычисляет истинную долготу и истинную широту по меньшей мере одной точки на поверхности, соответствующей по меньшей мере одному пикселю в матрице, на основе входной информации от одного или более из модуля измерения рельефа, антенны системы глобального позиционирования и блока определения пространственной ориентации.
16. Система по п.15, которая дополнительно содержит третий сенсор формирования изображения, связанный с корпусом и смещенный от первого сенсора формирования изображения, имеющий вторую фокальную ось, проходящую через апертуру и пересекающую первую фокальную ось в пределах области пересечения.
17. Система по п.16, в которой фокальная ось третьего сенсора формирования изображения находится в общей плоскости с фокальными осями первого и второго сенсоров формирования изображения.
18. Система по п.16, в которой фокальные оси первого и второго сенсоров формирования изображения лежат в первой общей плоскости, а фокальная ось третьего сенсора формирования изображения лежит в плоскости, перпендикулярной к первой общей плоскости.
19. Система по п.16, в которой фокальная ось третьего сенсора формирования изображения лежит в первой общей плоскости с фокальными осями первого и второго сенсоров формирования изображения, причем система дополнительно содержит четвертый сенсор формирования изображения, имеющий фокальную ось, лежащую в плоскости, перпендикулярной к первой общей плоскости.
20. Система по п.16, в которой фокальная ось третьего сенсора формирования изображения лежит в первой общей плоскости с фокальными осями первого и второго сенсоров формирования изображения, и система дополнительно содержит четвертый и пятый сенсоры формирования изображения, имеющие фокальные оси, лежащие в первой общей плоскости и пересекающие фокальную ось первого сенсора формирования изображения в пределах области пересечения.
- 17 -
008402
Схема бортовой системы формирования изображения с лидаром
Спутник GPS Спутник GPS Спутник GPS
станция дифференциальной GPS
Фиг. 1
Схема бортовой системы получения изображения с ортогональной / стереоскопической ретинальной матрицей камер (ОР.СА)
Спутник GPS Спутник GPS Спутник GPS
Фиг. 2
- 18 -
008402
,300
Фиг. 3
Дальнее левое изображение
340
Ближнее левое изображение
Изображение точки стояния
3?4>
Ближнее правое изображение
Эй.
Дальнее правое изображение
Фиг. 4
5 "Л
?1^
Угол FOVx
51'
Фиг. 5
- 19 -
008402
а х
Фиг. 9. Изображение образца фотоснимков 1 мили полета Нижний обзор с самолета Версия ортотрансформированных данных от пяти камер
л <х> °
?-''результаты ( измерения вы{ NIOTW (рельефа У.
/^результаты { измерения ^ориентации
Фотоснимки и изображения от сенсоров
_2_
ippe кти рова н н ык
Скорректирован ньш
с помощью наземных пунктов управления данные месторасположения
Обработанные данные высоты (рельефа)
\ООЬ
\о\г
Изображения
имеющие географическую привязку
Обра' изображений
* Цветовое выравнивание * Градиентная фильтрация
абогн
гwis
Самосинхронизация траекторий попета
Монтаж выровненных проекций
U> 7A
иял>
-4,
' Вывод окончательных фотоснимков 1
Фиг. 10
- 21 -
008402
MOO
.не> 4t
,H?> t>
Левая область
точки стояния
Правая область точки стояния
Фиг. 11
Фиг. 12
,\ЪОО
Д7ТРГКЯДДИ
Фиг. 13
1310
Фиг. 14
- 22 -
008402
Дисковый массив
Фиг. 18
Евразийская патентная организация, ЕАПВ Россия, 109012, Москва, Малый Черкасский пер., 2/6
- 23 -