(57) Реферат / Формула:
Изобретение относится к видеомониторингу леса. Предложены способы и системы для автоматической привязки видеокамеры к абсолютной системе координат и для определения изменения привязки видеокамеры. Согласно одному из аспектов способ содержит этапы, на которых в каждый по меньшей мере из двух предопределенных моментов времени наводят видеокамеру на объект, положение которого в абсолютной системе координат с центром в точке размещения видеокамеры известно в этот момент времени, и определяют ориентацию видеокамеры в собственной системе координат видеокамеры; рассчитывают на основе определенных ориентаций видеокамеры и положений объекта поворот собственной системы координат видеокамеры в абсолютной системе координат. Рассчитанный поворот собственной системы координат видеокамеры используется для пересчета координат наблюдаемого объекта из собственной системы координат видеокамеры в абсолютную систему координат. Технический результат заключается в повышении точности определения местоположения наблюдаемого объекта.
(12) МЕЖДУНАРОДНАЯ
ЗАЯВКА , ОПУБЛИКОВАННАЯ
В СООТВЕТСТВИИ
ДОГОВОРОМ (19) BceMiO Организация Интеллекту^-' й Собственности
Международное бюро
ими
О ПАТЕНТНОЙ КООПЕРАЦИИ (РСТ)
Номер международной публикации
WO 2012/118403 А1
н||Ц и|||Ц III
(43) Дата международной публикации
07 сентября 2012 (07.09.2012) W i P O I Р С Т
(51) Международная патентная классификация : О01С 11/10 (2006.01) G08B 1 7/00 (2006.01) G08B 25/00 (2006.01)
(21) Номер международной заявки : PCT/RU20 12/000045
(22) Дата международной подачи :
3 1 января 2012 (3 1.01 .2012)
(25) Язык подачи : Русский
(26) Язык публикации : Русский
(30) Данные о приоритете :
201 1108066 02 марта 201 1(02.03.201 1) RU
(71) Заявитель (для всех указанных государств , кроме US):
ОБЩЕСТВО С ОГРАНИЧЕННОЙ
ОТВЕТСТВЕННОСТЬЮ "ДИСИКОН " (LIMITED
LIABILITY COMPANY "DISICON") [RU/RU]; пгт .
Черепичный , 14, Нижний Новгород , 603 141, Nizhny
Novgorod (RU).
(72) Изобретатели ; и
(75) Изобретатели /Заявители (только для US):
ШИШАЛОВ , Иван Сергеевич (SHISHALOV, Ivan Sergeevich) [RU/RU]; ул. Куйбышева , 65-42, Нижний Новгород , 603074, Nizhny Novgorod (RU).
ГРОМАЗИН , Олег Андреевич (GROMAZIN, Oleg Andreevich) [RU/RU]; ул. Горная , 11-16, Нижний Новгород , 603062, Nizhny Novgorod (RU).
СОЛОВЬЕВ , Ярослав Сергеевич (SOLOVYEV,
Yaroslav Sergeevich) [RU/RU]; ул. Родионова , 184-206, Нижний Новгород , 603126, Nizhny Novgorod (RU).
РОМАНЕНКО , Александр Владимирович
(ROMANENKO, Aleksandr Vladimirovich) [RU/RU]; ул. Федосеенко , 89-6, Нижний Новгород 603 127, Nizhny Novgorod (RU). ЕСИН , Иван Васильевич (ESIN, Ivan Vasiilevich) [RU/RU]; ул. Серафимовича , 7, Нижний Новгород , 603022, Nizhny Novgorod (RU).
(74) Агент : ПЕТУХОВ , И. Е. (PETUKHOV, I. Е.);
Государственное бюджетное образовательное
учреждение "Нижегородский научно -информационный центр ", ул. Октябрьская , 25, Нижний Новгород ,
603005, Nizhny Novgorod (RU).
(81) Указанные государства (если не указано иначе, для каждого вида национальной охраны ):АЕ, AG, AL, AM, АО, AT, AU, AZ, BA, BB, BG, BH, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, Ш , IL, IN, IS, JP, KE, KG, KM, KN, KP, KR, KZ, LA, LC, LK, LR, LS, LT, LU, LY, MA, MD, ME,
[продолжение на следующей странице ]
(54) Title: SYSTEM AND METHOD FOR VIDEO SURVEILLANCE OF A FOREST
(54) Название изобретения : СИСТЕМА И СПОСОБ ВИДЕОМОНИТОРИНГА ЛЕСА
АА Distributed system of cameras
BB Tower without communications channel with provision of power supply
CC Towerof communications operator
DD Firewatch tower
120 Operator computer
140 System server
EE up to 30 km
FF up to 15-35 km
(57) Реферат :
(57) Abstract: The invention relates to video surveillance of a forest. What is proposed are: methods and systems for automatically referencing a video camera to an absolute system of coordinates and for determining a change in the video camera referencing. In accordance with one of the aspects, the method comprises the following steps: at each of at least two predetermined points in time the video camera is pointed at an object with a position, within the absolute system of coordinates with a center at the point at which the video camera is arranged, which position is known at this point in time, and the orientation of the video camera within a dedicated system of coordinates of the video camera is determined; and the rotation of the dedicated system o f coordinates o f the video camera within the absolute system of coordinates is calculated on the basis of the determined orientations of the video camera and the positions of the object. The calculated rotation of the dedicated system of coordinates of the video camera is used to convert the coordinates of the object under observation from the dedicated system of coordinates of the video camera into the absolute system of coordinates. The technical result consists in increasing the accuracy of the determination of the location o f an object under observation.
[продолжение на следующей странице ]
w o 2012/118403 л i liii^ld^hllHIliillhllNllllliilliilllhliiii^lii^liillllii
MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
(84) Указанные государства (если не указано иначе, для каждого вида региональной охраны ) : ARIPO (BW, GH, GM, К Е, LR, LS, MW, MZ, NA, RW, SD, SL, SZ, TZ, UG, ZM, ZW), евразийский (AM, AZ, BY, KG, KZ, MD, RU, TJ, TM), европейский патент (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR), OAPI (BF, BJ, CF,
CG, CI, CM, GA, GN, GQ, GW, ML, MR, NE, SN, TD, TG).
Декларации в соответствии с правилом 4.17:
- об авторстве изобретения (правило 4.17 (iv)) Опубликована :
- с отчётом о международном поиске (статья 21.3)
- до истечения срока для изменения формулы
изобретения и с повторной публикацией в случае
получения изменений (правило 48.2(h))
Изобретение относится к видеомониторингу леса. Предложены способы и системы для автоматической привязки видеокамеры к абсолютной системе координат и для определения изменения привязки видеокамеры . Согласно одному из аспектов , способ содержит этапы , на которых : в каждый из по меньшей мере двух предопределенных моментов времени , наводят видеокамеру на объект , положение которого в абсолютной системе координат с центром в точке размещения видеокамеры известно в этот момент времени , и определяют ориентацию видеокамеры в собственной системе координат видеокамеры ; и рассчитывают , на
основе определенных ориентаций видеокамеры и положений объекта , поворот собственной системы
координат видеокамеры в абсолютной системе координат . Рассчитанный поворот собственной системы координат видеокамеры используется для пересчета координат наблюдаемого объекта и з собственной системы координат видеокамеры в абсолютную систему координат . Технический результат заключается в повышении точности определения местоположения наблюдаемого объекта .
СИСТЕМА И СПОСОБ ВИДЕОМОНИТОРИНГА ЛЕСА
Область техники , к которой относится изобретение
Настоящее изобретение относится , в целом , к области видеонаблюдения и, более конкретно , к системе и способу видеомониторинга леса, которые , в общем , обеспечивают возможность вести мониторинг больших лесных территорий с целью раннего обнаружения лесных пожаров для их дальнейшей локализации и тушения .
Предшествующий уровень техники
Системы видеомониторинга леса , предназначенные для обнаружения и определения местоположения лесных пожаров , стали применяться сравнительно недавно . Тем не менее , их актуальность все возрастает , поскольку проблема лесных пожаров по праву может считаться одной и з наиболее серьезных и нерешенных в настоящий момент человеком проблем . Лесные пожары возникают и приносят огромный ущерб во многих странах мира , свидетельством чему могут служить лесные пожары на территории Российской Федерации летом 2010 г., имевшие катастрофические последствия , в том числе и п о причине невыполнения их раннего обнаружения и определения и х местоположения , о чем многократно и развернуто говорилось в средствах массовой
информации .
В типичном случае , иллюстрируемом н а Фиг . 1, система 100 видеомониторинга леса включает в себя одну или более дистанционно управляемых точек видеомониторинга 110 и связанные с ними одно или более автоматизированных рабочих мест 0 оператора для надлежащей эксплуатации точек видеомониторинга 110.
Оборудование 120 автоматизированного рабочего места оператора , в общем , реализуется н а основе широко известных компьютерных и коммуникационных технологий и , в типичном случае , содержит выполненный с возможностью удаленного обмена данными компьютер с установленным на нем специализированным программным
обеспечением и программным обеспечением общего назначения . Аппаратные средства и
программное обеспечение общего назначения (например , операционная система ) из состава такого компьютера являются широко известными в технике . При этом , под
понятием "компьютер " может пониматься персональный компьютер , ноутбук ,
совокупность связанных между собой компьютеров и т.п . с характеристиками ,
отвечающими требованиям , предъявляемым к системе 100. К компьютеру подключено дисплейное устройство , отображающее при работе компьютера ассоциированный со специализированным приложением графический пользовательский интерфейс (GUI), посредством которого оператор выполняет работу п о визуальному мониторингу территории и управлению точками 110 видеомониторинга . Взаимодействие с элементами графического пользовательского интерфейса осуществляется с помощью широко известных устройств ввода, подключенных к компьютеру , таких как клавиатура , мышь и т .п.
Такое рабочее место оператора может быть организовано в специализированном центре контроля и мониторинга . Наличие множества автоматизированных рабочих мест 120 оператора позволяет распределять нагрузку п о нескольким операторам , что позволяет
повысить качество обнаружения .
Каждая точка 110 видеомониторинга , п о сути , представляет собой оборудование 111 передающей стороны , размещенное н а высотном сооружении 112.
Высотное сооружение 112, в общем , может представлять собой любое высотное сооружение , удовлетворяющее налагаемым н а систему 100 требованиям (т.е. приспособленное для размещения оборудования передающей стороны на достаточной высоте и обеспечивающее возможность осматривать достаточно большую территорию ), и обычно представляет собой вышку провайдера связи , вышку оператора сотовой связи , телевизионную вышку , вышку освещения или т.п .
Обобщенным термином "оборудование передающей стороны " 111 обозначается размещенная н а высотном сооружении 112 аппаратура , содержащая управляемое видеоустройство 113 и коммуникационный модуль 114 для осуществления связи /обмена данными с рабочим местом (ами ) 120 оператора .
Управляемое видеоустройство 113, в общем случае , представляет собой цифровую видеокамеру 115 (т.е. устройство , преобразующее электромагнитные волны оптического диапазона или диапазона , близкого к оптическому диапазону , в электрический сигнал ), оснащенную трансфокатором 116 (т .е. устройством , предназначенным для изменения
фокусного расстояния (приближения /удаления получаемого изображения )) и
смонтированную на поворотном устройстве 117, посредством которого можно механически менять пространственную ориентацию видеокамеры 1 15 с высокой точностью .
Оборудование 111 передающей стороны также содержит устройство 118 управления видеокамерой , связанное с коммуникационным модулем 114, видеокамерой 115, трансфокатором 116 и поворотным устройством 117 и предназначенное для общего управления функциями управляемого видеоустройства 113 в целом и его компонентов в частности . Так , по приему управляющих сигналов от оператора через коммуникационный модуль 1 14 устройство 1 18 управления приспособлено задавать требующуюся пространственную ориентацию видеокамеры 115 (например , для наведения ее на объект ,
наблюдение которого требуется ), управляя поворотным устройством 117, и/или выполнять приближение /удаление изображения наблюдаемого с нее объекта , управляя
трансфокатором 116. Помимо этого устройство 118 управления приспособлено определять текущую пространственную ориентацию видеокамеры 115 и выдавать данные
о текущей ее пространственной ориентации через коммуникационный модуль 114
запрашивающей стороне (в частности , на рабочее место 120 оператора , где эти данные ,
например , отображаются в графическом пользовательском интерфейсе ). Перечисленные
здесь функциональные возможности являются известными свойствами современных комплектов управляемых видеокамер , предлагаемых н а рынке .
Устройство 118 управления , в общем , представляет собой очевидный для специалиста основывающийся н а микропроцессорах аппаратный блок типа контроллера ,
микрокомпьютера и т.п ., известным образом запрограммированный и/или программируемый для выполнения предписанных ему функций . Программирование
устройства 118 управления может осуществляться , например , путем записи ("прошивки ") его микропрограммного обеспечения ("firmware"), что является широко известным в технике . Соответственно , с устройством 118 управления видеокамерой , в типичном случае , связано запоминающее устройство (например , интегрированная флеш -память ), в
которой хранится соответствующее (микро )программное обеспечение , исполнением
которого реализуются ассоциированные с устройством 118 управления функции .
Рабочие места 120 оператора могут быть связаны с точками 110 видеомониторинга как напрямую , так и посредством сети связи (например , сети 130) с использованием
широко известных и используемых проводных и /или беспроводных , цифровых и/или
аналоговых коммуникационных технологий , при этом коммуникационный модуль 1 4
точки П О видеомониторинга и коммуникационный интерфейс компьютера рабочего
места 120 оператора должны соответствовать коммуникационным
стандартам /протоколам , н а основе которых строится такая связь .
Так , иллюстративная сеть 130, к которой подсоединены точки видеомониторинга и автоматизированные рабочие места 120 оператора , может представлять собой адресную сеть, такую как Интернет . При наличии на месте установки точки 110 видеомониторинга канала связи стороннего провайдера , что является распространенным случаем , предпочтительно использовать этот канал для подключения оборудования 111 передающей стороны к Интернет . Если же в месте установки точки 110 видеомониторинга отсутствует возможность прямого подключения к сети Интернет , применяются гиироко известные технологии беспроводной широкополосной связи (например , Wi-Fi, WiMAX, 3G и т .п.) для обеспечения связи между оборудованием 111 передающей стороны и точкой доступа в Интернет . Схожим образом осуществляется подсоединение к сети 130 и рабочих мест 120 оператора . В частности , для подсоединения к сети 130 может использоваться , в зависимости от реализуемой технологии доступа , модем (в том числе , беспроводной ), сетевая интерфейсная плата (NIC), плата беспроводного доступа и т.п., внешние или внутренние п о отношению к компьютеру рабочего места 120 оператора .
Система 100 также предпочтительно включает в себя подключенный к сети 130 сервер 140, которому делегируются функции централизованного управления совокупностью точек 1 10 видеомониторинга и и х взаимодействием с рабочими местами
120 оператора для обеспечения надежного функционирования системы 100. Сервер 140 обычно представляет собой высокопроизводительный компьютер или совокупность
связанных между собой компьютеров (например , стойку блейд -серверов ) с
установленным н а него (них ) специализированным серверным программным
обеспечением , имеющий (их) высокоскоростное (например , оптическое ) соединение с
Интернет . Аппаратная /программная реализация такого сервера является очевидной для специалиста . Помимо общих функций управления системой 100, сервер 140 может осуществлять и различные узкоспециализированные функции - например , он может
выполнять функции видеосервера , обеспечивающего промежуточную обработку данных и
предоставление и х пользователю п о запросу .
Описание конкретных реализаций обмена данными /сигналами между точками 110 видеомониторинга , рабочими местами 120 оператора и сервером 140 через сеть 130 опускается в силу и х широкой известности в технике .
При таком способе организации системы видеомониторинга леса один пользователь может проводить мониторинг достаточно большой подконтрольной территории , одновременно управляя несколькими видеокамерами . Кроме того , за счет
описанных выше характерных функциональных возможностей обеспечивается возможность ^ автоматического быстрого определения местоположения очага возгорания при видимости с нескольких видеокамер , используя широко известный угломерный метод , а также хранение в памяти (например , н а сервере 140 или в компьютере рабочего места 120 оператора ) заранее определенных маршрутов патрулирования для быстрого доступа к ним и выполнения мониторинга . Здесь под " маршрутом патрулирования " понимается заранее определенная последовательность изменения ориентации камеры , предназначенная для получения визуальной информации по требуемой предопределенной территории .
Необходимо заметить , что производительность современных электронных аппаратных средств позволяет создавать н а их основе устройства визуализации и управления из состава компонентов системы видеомониторинга леса с достаточно широкой пользовательской функциональностью , что существенно упрощает _ работу оператора . Кроме того , современные аппаратные средства , с помощью специального исполняемого ими программного обеспечения , могут взять н а себя некоторые функции п о автоматическому обнаружению потенциально опасных объектов на видео или фото изображениях , получаемых с видеокамер (при мониторинге леса такими объектами может быть дым , пожар и т.п.). Такие системы компьютерного зрения для поиска на
изображении опасных объектов могут использовать априорную информацию об
особенностях дыма или огня , например , специфичное движение , цвет , яркость и т.п . Подобные системы компьютерного зрения применяются во многих отраслях промышленности , начиная от робототехники до охранных систем , что достаточно подробно изложено , например , в публикации "Компьютерное зрение. Современный подход ", Д . Форсайт , Ж . Понс , издательство " Вильяме ", 2004, 928 с. В рассматриваемом
контексте неотъемлемой характеристикой автоматического обнаружения н а основе
компьютерного зрения является вероятность ложного срабатывания и пропуска цели , которые в каждой системе видеомониторинга должны быть уменьшены всеми
доступными способами .
Такая интеллектуальная подсистема , реализующая указанные технологи компьютерного зрения , может быть реализована и н а рабочем месте 120 оператора , и н а сервере 140, и даже в самом управляемом видеоустройстве 113.
Выше представлено обобщенное структурное описание типичной современной
системы видеомониторинга леса , принцип действия которой основан н а использовании
управляемых видеокамер . Данное обобщенное описание не подразумевается как исчерпывающее и предназначено для более понятного изложения предлагаемого изобретения , подробно описываемого ниже .
Известными примерами таких систем видеомониторинга леса являются системы ForestWatch (Канада ), IPNAS (Хорватия ), FireWatch (Германия ). Схожие системы разработаны и в Российской Федерации (например "Клен ", "Балтика ").
Стоит отметить , что создание и разворачивание подобных систем видеомониторинга леса стало возможным только в последние несколько лет. Только сейчас количество вышек сотовой связи стало таковым , что покрываются основные пожароопасные места . Кроме то о, стали существенно более доступными услуги широкополосного Интернета , позволяющие осуществлять обмен большими объемами информации и передавать через Интернет видео реального времени , и уменьшилась
стоимость оборудования для обеспечения беспроводной связи н а большие расстояния .
Следует дополнительно отметить , что обнаруживать лесные пожары с помощью видеокамер начали ещё в начале XXI века , но системы , предлагаемые на тот момент , представляли собой примитивные видеокамеры с функцией поворота и экран оператора ,
который должен был находиться в непосредственной близости от точки
видеомониторинга . Предлагаемые системы практически не могли быть масштабированы и применены для обнаружения пожаров в рамках даже одного лесничества , н е говоря уже о
масштабах области .
Для существующих же систем видеомониторинга леса характерны следующие недостатки .
1. Проблема точности определения координат видимого объекта
Точность определения координат видимого объекта определяется такими параметрами , как :
• точность определения местоположения видеокамеры (точность привязки видеокамеры к местности );
• точность привязки ориентации видеокамеры к системе координат относительно севера и угла отклонения от математического горизонта (вертикального угла ).
Как было отмечено выше , с помощью поворотного устройства можно изменять ориентацию видеокамеры - такие поворотные устройства обеспечивают возможность изменять в определенных пределах вертикальный и горизонтальные углы , т.е. фактически изменяется направление видеокамеры в сферической системе координат , которая
привязана непосредственно к поворотному устройству (собственной системе координат видеокамеры ).
При монтаже и эксплуатации видеокамеры необходимо определить , как ориентирована собственная система координат видеокамеры относительно сферической системы координат , центр которой расположен в месте размещения видеокамеры , единичный вектор с координатами f =0, 0 = 0, р =1 совпадает с направлением на север, а единичный вектор с координатами f =0, 0 = -90°, р =1 совпадает с вертикалью (в астрономии такую систему координат называют топоцентрической или горизонтальной , здесь ж е данная система координат будет называться "абсолютной системой координат видеокамеры ").
Текущее местоположение видеокамеры может быть определено с достаточно большой точностью , например , с помощью современных средств глобального позиционирования (GPS).
Точность определения текущей ориентации камеры в ее собственной системе координат так же может быть также достаточно высокой , что позволяют современные поворотные устройства (до 0,1-0,05', как , например , в случае управляемых видеокамер производства компании AXIS), причем эта точность постоянно увеличивается с развитием техники .
В то же время , практически невозможно исключить проблемы с точностью привязки собственной системы координат камеры к абсолютной системе координат -именно эта привязка отвечает за конечную точность определения местоположения видимого объекта . Данная проблема обуславливается как сложностью первоначальной привязки (при монтаже видеокамеры ), так и подпривязки в процессе работы системы ,
необходимость которой вызвана деформацией конструкции высотного сооружения , н а
котором закреплена камера , неидеальности крепления камеры и другими факторами .
2. Высокая вероятность ложных срабатываний
С использованием подсистемы компьютерного зрения , вкратце описанной выше , важным фактором является возможность валидации (т.е. подтверждения ) потенциально опасных объектов . Данное подтверждение может быть осуществлено , например ,
оператором , который отсеивает ложные обнаруженные объекты . Такая проверка облегчает работу автоматической подсистемы , так как при последующем обнаружении
опасного объекта в том же направлении подсистема может использовать введенную оператором информацию о типе данного объекта . Работа такого алгоритма должна
основываться на возможности определения точной текущей ориентации видеокамеры , чтобы в дальнейшем , при обнаружении объекта в том же направлении (т .е., по сути того же самого объекта ), исключить его из класса опасных .
Для выполнения этой функции необходимо точно определять , что текущее направление видеокамеры совпадает с тем, что было валидировано пользователем , с достаточной для работы подсистемы точностью . Данная процедура достаточно затруднена , поскольку , как уже говорилось выше , видеокамера , при всех возможностях жесткой её фиксации и жесткости конструкции высотного сооружения , не может обеспечить полную неподвижность , то есть ориентация собственной системы координат камеры смещается , а значит ,точность выполнения процедуры отсеивания будет связана с точностью определения текущего направления .
Это становится наиболее актуально при обнаружении объектов на большом расстоянии (более 15 км), когда угловой размер объекта достаточно мал (менее Г): в этом случае даже небольшое отклонение камеры приведет к неправильной оценке места размещения отмеченного объекта .
3. Невозможность определения местоположения объекта при видимости только с одной камеры
Данная проблема возникает на граничных территориях , где размещение второй камеры для определения местоположения опасного объекта невозможно или экономически нецелесообразно . Кроме того , невозможность хотя бы приблизительного определения местоположения объекта с одной видеокамеры усложняет процесс поиска этого объекта с другой видеокамеры , с которой возможно его так же видно .
Сущность изобретения
Одной задачей настоящего изобретения является создание системы видеомониторинга леса и осуществляемого ею способа , которыми реализуется автоматическая привязка собственной системы координат видеокамеры к абсолютной системе координат , связанной с видеокамерой ,с целью повышения точности определения местоположения наблюдаемого объекта . П о сути , предлагаемые согласно настоящей задаче система и способ направлены на устранение первого из вышеперечисленных недостатков .
Согласно соответствующему этой задаче аспекту предложена система видеомониторинга леса . Предлагаемая система содержит п о меньшей мере одну
дистанционно управляемую точку видеомониторинга и по меньшей мере одно компьютеризированное рабочее место оператора для эксплуатации этой точки видеомониторинга . Система может дополнительно содержать сервер, с взаимным соединением точек видеомониторинга , сервера и рабочих места оператора с возможностью осуществления связи (например , посредством адресной сети).
Дистанционно управляемая точка видеомониторинга включает в себя высотное сооружение и размещенное на высотном сооружении оборудование передающей стороны . Оборудование передающей стороны содержит видеокамеру на поворотном устройстве и устройство управления видеокамерой , выполненное с возможностью определять текущую пространственную ориентацию видеокамеры в собственной системе координат видеокамеры . Видеокамера оснащена трансфокатором .
Предлагаемая система видеомониторинга леса также содержит компьютерно -реализованный модуль , сконфигурированный в каждый из по меньшей мере двух предопределенных моментов времени получать определенную устройством управления видеокамерой ориентацию видеокамеры , наведенной на известный астрономический объект , в собственной системе координат видеокамеры и определять , исходя из предварительно определенного местоположения точки видеомониторинга и данного момента времени , положение астрономического объекта в абсолютной системе координат с центром в точке размещения видеокамеры . Компьютерно -реализованный модуль также сконфигурирован рассчитывать , на основе определенных ориентации видеокамеры и положений астрономического объекта , поворот собственной системы координат видеокамеры в абсолютной системе координат .
Компьютерно -реализованный модуль может быть размещен на сервере и/или на рабочем месте оператора и/или в оборудовании передающей стороны точки видеомониторинга .
Астрономическим объектом предпочтительно является Солнце , при этом местоположение точки видеомониторинга определяется её географическими координатами , а положение астрономического объекта определяется его угловой высотой над горизонтом и азимутом .
Наведение видеокамеры на астрономический объект может осуществляться путем ручного совмещения центра изображения , получаемого с видеокамеры , с центром астрономического объекта .
Предлагаемая система может дополнительно содержать компьютерно -реализованную интеллектуальную подсистему , выполненную с возможностью , на основе технологий компьютерного зрения , наводить видеокамеру на астрономический объект путем автоматического обнаружения астрономического объекта исходя из анализа изображения , получаемого с видеокамеры , и автоматического совмещения центра изображения , получаемого с видеокамеры , с центром астрономического объекта .
При наведении видеокамеры н а астрономический объект , посредством трансфокатора предпочтительно устанавливается максимально возможное приближение астрономического объекта .
Согласно реализуемому предлагаемой системой видеомониторинга леса способу
автоматической привязки собственной системы координат видеокамеры к абсолютной
системе координат , в каждый из по меньшей мере двух предопределенных моментов времени , наводят видеокамеру на известный астрономический объект и определяют ориентацию видеокамеры в собственной системе координат видеокамеры и определяю ! , исходя из предварительно определенного местоположения упомянутой точки видеомониторинга и данного момента времени , положение астрономического объекта в абсолютной системе координат с центром в точке размещения видеокамеры . Далее, рассчитывают , на основе определенных ориентации видеокамеры и положений астрономического объекта , поворот собственной системы координат видеокамеры в
абсолютной системе координат .
Н а основе рассчитанного поворота собственной системы координат видеокамеры можно осуществить пересчет координат наблюдаемого объекта из собственной системы координат видеокамеры в абсолютную систему координат .
Следует подчеркнуть , что , согласно рассматриваемому аспекту , в роли упоминаемого астрономического объекта может выступать , по сути , любой различимый объект , положение которого в абсолютной системе координат видеокамеры известно в заданный момент времени .
Другой задачей настоящего изобретения является создание системы
видеомониторинга леса и осуществляемого ею способа , которыми реализуется определение изменения привязки видеокамеры с целью точного определения текущего ее направления при отсеивании неопасных объектов . П о сути , предлагаемые согласно настоящей задаче система и способ направлены на устранение второго из вышеперечисленных недостатков .
Согласно соответствующему этой задаче аспекту предложена система видеомониторинга леса, содержащая те же составляющие , что перечислены выше согласно предшествующему аспекту . Предлагаемая система дополнительно содержит хранилище для запоминания ориентаций видеокамеры в собственной системе координат видеокамеры , определенных устройством управления видеокамерой после наведения
видеокамеры н а каждый и з п о меньшей мере двух заранее заданных различимых
неподвижных объектов на местности . При этом , компьютерно -реализованный модуль в системе сконфигурирован , для каждого объекта из упомянутых объектов , получать текущую ориентацию видеокамеры в собственной системе координат видеокамеры , определенную устройством управления видеокамерой после повторного наведения видеокамеры на объект . Компьютерно -реализованный модуль также сконфигурирован , на основе полученных текущих ориентаций видеокамеры и соответствующих запомненных ориентаций видеокамеры , рассчитывать поворот собственной системы координат видеокамеры .
Предпочтительно , компьютерно -реализованный модуль дополнительно
сконфигурирован , при сопоставлении текущей ориентации видеокамеры , наведенной на наблюдаемый объект , с запомненной ориентацией видеокамеры при ее наведении на ранее проанализированный объект , корректировать эту запомненную ориентацию видеокамеры н а основе рассчитанного поворота собственной системы координат видеокамеры .
Согласно реализуемому предлагаемой системой видеомониторинга леса способу
определения изменения привязки видеокамеры , наводят видеокамеру на каждый из по меньшей мере двух заранее заданных различимых неподвижных объектов н а местности и определяют ориентацию видеокамеры в собственной системе координат видеокамеры . Затем запоминают определенные ориентации видеокамеры . После этого , для каждого объекта из упомянутых объектов , направляют видеокамеру согласно сохраненной ориентации видеокамеры , соответствующей объекту , и, в случае отклонения видеокамеры от объекта , повторно наводят видеокамеру на объект и определяют текущую ориентацию видеокамеры в собственной системе координат видеокамеры . Наконец , на основе определенных текущих ориентаций видеокамеры и соответствующих запомненных ориентаций видеокамеры , рассчитывают поворот собственной системы координат видеокамеры . При сопоставлении текущей ориентации видеокамеры , наведенной на наблюдаемый объект , с запомненной ориентацией видеокамеры при ее наведении на
ранее проанализированный объект , эта запомненная ориентация видеокамеры может быть скорректирована на основе рассчитанного поворота собственной системы координат видеокамеры .
Еще одной задачей настоящего изобретения является создание системы видеомониторинга леса и осуществляемого ею способа , которыми реализуется определение расстояния до наблюдаемого объекта с одной видеокамеры с достаточно высокой точностью . П о сути , предлагаемые согласно настоящей задаче система и способ направлены на устранение третьего из вышеперечисленных недостатков . Перечень фигур чертежей
Вышеуказанные и иные аспекты и преимущества настоящего изобретения раскрыты в нижеследующем подробном его описании , приводимом со ссылками на фигуры чертежей , на которых :
Фиг . 1 - схематическая частичная системы видеомониторинга леса;
Фиг . 2 - иллюстративная логическая блок -схема способа автоматической привязки собственной системы координат видеокамеры к абсолютной системе координат согласно
настоящему изобретению ;
Фиг . 3 - иллюстрация углов Эйлера ;
Фиг . 4 - иллюстративная логическая блок -схема способа определения изменения привязки собственной системы координат видеокамеры согласно настоящему
изобретению ;
Фиг . 5 - иллюстративная логическая блок -схема способа фильтрации наблюдаемых объектов при патрулировании .
Подробное описание изобретения
При последующем раскрытии настоящего изобретения будет делаться ссылка на
систему 100 видеомониторинга леса по Фиг . 1, при этом описание данной системы в
полной мере относится к раскрытию настоящего изобретения . В настоящем разделе, во
избежание ненужных повторов и загромождения изложения , н е будут подробно и
повторно описываться составляющие системы 100 видеомониторинга , которые в общем
характерны для систем предшествующего уровня техники .
Далее раскрытие настоящего изобретения приводится в подразделах ,
соответствующих обозначенным выше задачам .
1. Автоматическая ... привязка собственной системы координат видеокамеры к абсолютной системе координат
Со ссылкой на Фиг .2 описывается реализуемый в системе видеомониторинга леса (такой как система 100 по Фиг . 1) способ 200 автоматической привязки собственной системы координат (С К) видеокамеры к абсолютной системе координат .
Из астрономии известны способы определения с высокой точностью горизонтальных (топоцентрических ) координат (т.е. азимута (угла от направления на север) и угловой высоты ((угла от математического горизонта )) различных небесных светил , например , Солнца , на основе данных о географических координатах наблюдателя и точном времени суток . Широкое применение таких способов известно , в частности , в
морской навигации .
На этапе 202 наводят видеокамеру 115 на известный астрономический объект (например , Солнце , Луну ит .д.).
Наведение видеокамеры 115 может осуществляться в ручном режиме , то есть оператор обнаруживает астрономический объект , просматривая территорию ,и направляет н а него видеокамеру , так чтобы центр получаемого с видеокамеры изображения совпадал с центром этого объекта . В иллюстративном варианте осуществления это осуществляется путем взаимодействия оператора , с помощью устройств ввода , с соответствующими
элементами отображаемого н а дисплейном устройстве графического пользовательского
интерфейса , вследствие чего компьютером рабочего места 120 оператора генерируются управляющие команды , пересылаемые по сети 130 (возможно , через сервер 140 и с его непосредственным участием ) в соответствующее оборудование (я) 1 11 приемной стороны , где эти команды через коммуникационный модуль 114 поступают в устройство 118 управления видеокамерой , которое н а и х основе генерирует управляющие сигналы для приведения в действие поворотного устройства 117 для задания такой пространственной ориентации видеокамеры 115, чтобы она была наведена н а соответствующий
астрономический объект .
Эта процедура так же может быть выполнена автоматически , то есть в автоматическом режиме видеокамера 1 15 просматривает территорию и с помощью специальных алгоритмов компьютерного зрения , реализуемых в системе 100 как отмечено выше , обнаруживает объект с заранее известными характеристиками (например , в случае
Солнца это будет яркий круг ) .
При этом , при наведении видеокамеры 115 на астрономический объект
предпочтительно устанавливается максимально возможное приближение
астрономического объекта (для этого , в иллюстративном варианте осуществления , устройство 118 управления видеокамерой соответственным образом управляет трансфокатором 116) и осуществляется ручное или автоматическое совмещение центра изображения , получаемого с видеокамеры , с центром астрономического объекта .
Местоположение астрономического объекта может быть оценено при этом с точностью до нескольких десятых /сотых градуса . Так , угловой размер Солнца составляет примерно 3 1'27". Современные видеокамеры могут получить приближение , при котором угловой обзор составляет Г . Методы компьютерного зрения позволяют определить положение центра круга на изображении с точностью до нескольких пикселей . То есть, при разрешении видеокамеры 1 и более мегапикселей точность определения направления на Солнце может быть около 0,05'.
После направления видеокамеры на астрономический объект , на этапе 204 определяют ориентацию видеокамеры в собственной системе координат видеокамеры , то есть направление видеокамеры в собственной системе координат , связанной с механикой видеокамеры . Как было сказано выше , такая функциональная возможность предусмотрена в современных управляемых видеокамерах и реализуется , например , устройством 118
управления видеокамерой .
На этапе 206, исходя из известного точного местоположения точки П О видеомониторинга , определяют положение астрономического объекта в абсолютной системе координат видеокамеры в текущий момент времени . Как говорилось выше , из астрономии известны методы и формулы , н а основании которых можно и з известных географических координат наблюдателя и точного времени суток определить азимут и высоту астрономического объекта , то есть координаты объекта в горизонтальной системе координат .
Процедуру по этапам 202-206 следует выполнить многократно , с выжиданием некоторого интервала времени между последовательными ее выполнениями . Минимальное количество выполнений равно двум , что вытекает и з нижеприведенного подробного изложения . В то же время , в целях повышения точности можно осуществить дополнительные выполнения указанной процедуры , так как какими бы н и были точными устройства , при каждом замере будет допускаться некая ошибка , которая может быть уменьшена за счет многократности указанных измерений /определений .
Наиболее удобно проводить эту процедуру на астрономическом объекте Солнце . В этом случае видеокамеру можно наводить на Солнце дважды - непосредственно после восхода Солнца и перед его закатом , тогда яркость будет достаточной для обнаружения , но не слишком большой для образования различных бликов на оптике и повреждения электроники видеокамеры . Еще раз подчеркивается , что в каждый из этих двух моментов времени видеокамера наводится на Солнце (этап 202), определяется ее ориентация в собственной системе координат (этап 204), и определяется положение астрономического объекта в абсолютной системе координат , зная точное время , соответствующее этому моменту , и точные географические координаты видеокамеры (этап 206).
На этапе 208 рассчитывают , на основе определенных на этапах 204, 206
ориентаций видеокамеры и положений астрономического объекта , поворот собственной
системы координат видеокамеры в абсолютной системе координат , связанной с ней . Рассчитанный поворот собственной системы координат видеокамеры позволяет
определять коэффициенты пересчета координат наблюдаемого объекта из собственной
системы координат видеокамеры в абсолютную систему координат .
Фактически получаются следующие соответствия : вертикальный и горизонтальный (панорамный ) угол в собственной системе координат видеокамеры - высота астрономического объекта (например , Солнца ) от математического горизонта (вертикальный угол в абсолютной системе координат ), привязанная к месту расположения
видеокамеры (наблюдателя ), и азимут (горизонтальный угол в абсолютной системе
координат ), привязанный к месту расположения видеокамеры .
Для дальнейшего пересчета из системы координат видеокамеры в абсолютную (горизонтальную ) систему координат необходимо на основании данных о соответствиях определить поворот собственной системы координат в абсолютной системе координат , для чего можно , например , определить углы Эйлера . Углы Эйлера - это углы , описывающие поворот абсолютно твердого тела в трёхмерном евклидовом пространстве .
Определив углы Эйлера , можно для каждой точки в собственной системе координат получить значение в абсолютной системе координат , а это означает , что для каждого видимого объекта м ы имеем возможность пересчитать получаемое направление н а данный объект в абсолютную систему координат , связанную с местом расположения видеокамеры , т.е., по сути , исключить влияние вышеперечисленных факторов на точность определения направления на наблюдаемый объект .
Математически это выражается следующим образом .
Получаем два соответствия двух точек наблюдения в горизонтальной системе координат (азимут (а), высота (v)) двум точкам в собственной системе координат камеры (панорамный угол (р), вертикальный угол (t)):
(a\, vl) - ip\, t\),
(al, v2) - (р 2, t2).
Согласно вышеприведенному примеру , эти точки могут соответствовать двум наведениям видеокамеры на Солнце .
На основе этого необходимо получить три угла Эйлера е\, е2, еЗ, то есть
е \ =f\(a\,v\,pl, tl, а2,v2,p2, /2), * е2 =J'2(al, vl,p\, t\, ai", V" , pT, t2), e3 =/3(tfl, vl,pl, t\, al, vl,pl, t2). Затем , зная три угла Эйлера , получаем для каждого (р , ^) соответствие (a, V), то есть
a =fl(p, t, e\, el, ез), v -flip, t, e\, el, ез).
Остановимся подробнее на задаче пересчета координат и определения углов
Эйлера .
Прямая задача
Соответствие между координатами на видимый объект в собственной системе координат камеры (р , t), где р - панорамный угол , Г - вертикальный угол , и абсолютными координатами (a, V), где а - азимут , V - угловая высота над математическим горизонтом , задается с помощью углов Эйлера а, b, g, которые в данном случае описывают поворот (ориентацию ) собственной системы координат видеокамеры в абсолютной системе координат . Н а Фиг . 3 схематично отмечены углы Эйлера . П о сути , под "привязкой
видеокамеры " или "привязкой собственной системы координат видеокамеры " в
настоящей заявке понимается определенная ориентация (поворот ) собственной системы координат видеокамеры в абсолютной системе координат видеокамеры , описываемая
углами Эйлера .
Углы Эйлера позволяют привести любое положение системы к текущему .
Обозначим начальную систему координат как (х, у, Z), а конечную как (X, Y, Z).
Пересечение координатных плоскостей ху и XY называется линией узлов N, при этом :
угол а - угол между осью х и линией узлов .
¦ угол b - угол между осями Z и Z.
угол у - угол между осью X и линией узлов .
Повороты системы координат на эти углы называются прецессия , нутация и поворот на собственный угол (вращение ). Такие повороты некоммутативны , и конечное положение системы зависит от порядка , в котором совершаются повороты . В случае углов Эйлера это последовательность 3, 1, 3 (Z, X, 2) (см . Фиг . 3).
Определив углы Эйлера , рассчитывается матрица поворота , на основе которой для
каждой пары (р, f) однозначно определяются углы {a, v). Матрица поворота декартовых
координат для углов Эйлера выглядит следующим образом :
/cos a cos b cos a sin b s in 7 -sin a cos 7 cos as in b cos 7 + sin a s in 71
M(a, b, 7) = j sin a cos b sin a sin b sin 7 + cos a cos 7 sin a sin b cos 7 -cos a sin
\^ -sincos/? sin 7 cos b cos 7
Для использования данной матрицы углы (р, t) необходимо перевести в декартову
систему координат . Угол р соответствует углу f в сферической системе координат , а угол
0 = л/2 + t. Радиус сферы не важен , так как её размер при повороте не изменяется ,
следовательно , г = 1. Координаты в декартовой системе координат определяются как :
х = г sin (c)cos f , у - r sin (c)sin f,
Z = г COs (9.
П ри перемножении матрицы поворота на вектор -столбец \z i определяется вектор -
столбец vi /. На основе определенного вектора -столбца определяются новые
сферические координаты :
/ Г
Таким образом , азимут на точку соответствует а угол наклона соответствует
^х То есть , зная р и t и углы Эйлера a, b, у, определены a, v.
Обратная задача
Для определения углов Эйлера п о известным соотношениям ориентации в
собственной и абсолютной системах координат необходимо решить задачу , обратную по отношению к описанной выше прямой задаче .
Для решения обратной задачи , а именно для нахождения углов Эйлера , опишем вращение системы через кватернионы . Кватернион в данном случае - это четверка чисел (х, у, z, ц> ), причем (х, у, z) -вектор , aw - скаляр . При таком представлении кватерниона получается , что первые три компонента представляют вектор , лежащий на оси вращения , причем длина вектора зависит от угла поворота . Четвертый компонент зависит только от величины угла поворота . Зависимость довольно простая - если взять единичный вектор V за ось вращения и угол alpha за вращение вокруг этой оси , тогда кватернион , представляющий это вращение , можно записать как : q = [V* sin(alpha/2), cos(alpha/2)].
В качестве исходных данных обратной задачи выступают две пары связанных друг с другом векторов , а именно (р \, -> (а \, V\) и (р2, -> (#2, v2), где р , I) - координаты в собственной системе координат видеокамеры , a {a, v) - координаты в абсолютной системе координат видеокамеры . Переведем каждый из этих векторов в декартову систему координат , получая соответствующие вектора : (хzi)-> (Uj, v" wi), i = 1,2.
Теперь найдем кватернион поворота исходной системы координат видеокамеры , переводящий вектор (xi, у \, Z\) в (u\,V\,W\). Этот кватернион будет описывать поворот по кратчайшему расстоянию . Для его нахождения воспользуемся следующими формулами :
• (%р У,, Z v,,u-,)= (a,b,c) - векторное произведение исходного вектора на
конечный ;
• q - [а, Ь, ^(x^y^z,) *(uvvx,w{)] - искомый кватернион (здесь (х,, у ,,z,) • (w,,v,,w,) -скалярное произведение векторов )..
последним шагом нормируем кватернион q, для этого поделим х, у, z ,
входящие в него, на п = ^х2 + у2 + z2 + w2 .
Полученный н а данном шаге кватернион задает поворот декартовой системы координат , переводящий (XI,уь Z\) В (иь vuwi).
Повернем систему координат , для этого воспользуемся формулой поворота : V = qvq~l, где v - исходный вектор , а V - вектор после поворота . Таким образом , после поворота декартовой системы координат кватернионом q м ы получаем два вектора : {и \, \, w\), полученный из (х \, у \, z\), и некоторый вектор (up, vp, wp), полученный из (х2, у^z2). Теперь необходимо повернуть декартову систему координат так , чтобы вектор , \, w\) остался на месте , а вектор (ир, vp, wp) перешел в вектор (u2, v2, w2) (в общем случае , это
соответственно .
Далее воспользуемся формулой для нахождения углового расстояния (данная формула широко применяется , например , в астрономии ):
f \/[cos Aa = arctan < :- - ¦-: -'- >
I sin ф1 sin Ф2 4- cos Ф1 cos ф2 cos ДА I
где АЛ - разность координат по долготе , то есть разность координат по углу Я, а Ас -угловая разность .
Используя полученный угол и зная ось поворота , мы получаем кватернион поворота , переводящий вектор (и,,, v", wJ в (и~, v~, WT): ay = f(U\, v\, w) * sin(Arr/2), cos(Aa/2)]
Таким образом , у нас получилось два кватерниона поворота , q и а2 последовательное применение которых переводит исходные точки (хь _у,-5 Z,) в (и,-, V/, w,), г=1, 2. По определению и свойствам кватернионов , кватернион поворота , который эквивалентен двум последовательным применениям q и л~, равен q *q. Обозначим его как Q = [Х , Y, Z, W].
Далее воспользуемся известным соотношением для перевода кватерниона в углы Эйлера и получим :
f 2XW - 2XZ ^
1-2Г2 -2Z2
р. = arcsin(2XF + 22ж)
f 2XW - 2YZ
g =arctgl
\\-2X~-2Z2
Такой расчет может быть сделан достаточно точно , так как местоположение астрономического объекта может быть оценено с точностью до нескольких десятых /сотых градуса , согласно вышесказанному .
Следует обратить внимание на то, что описанная выше методика автоматической привязки н е обязательно должна основываться исключительно н а астрономическом объекте (ах). И з вышеприведенного изложения для специалиста должно быть очевидно ,
что в роли астрономического объекта может выступать , по сути , любой различимый объект , положение которого в абсолютной системе координат видеокамеры известно или может быть определено в заданный момент (ы) времени с достаточной точностью . В качестве такого объекта может выступать различимый неподвижный объект на местности , пример чего приводится ниже .
Описанная выше процедура 200 реализуется , по меньшей мере частично (т.е., по меньшей мере, ее этапы 206, 208), в виде компьютерно -реализованного модуля . Компьютерно -реализованный модуль предпочтительно представляет собой программное обеспечение , которое может , локальным или распределенным образом , храниться в запоминающих устройствах и исполняться процессорами на сервере 140, и/или в компьютере рабочего места 120 оператора , и /или в оборудовании 111 передающей стороны , в зависимости от проекта системы 100. В то же время , компьютерно -
реализованный модуль может представлять собой и аппаратный или программно -аппаратный блок (например , блейд -сервер в стойке блейд -серверов или отдельное
компьютерное устройство ), что должно быть очевидно для специалиста . Вышеупомянутое
программное обеспечение может быть разработано с использованием подходящей
технологии программирования и з доступного и х многообразия .
2. Коррекция привязки видеокамеры
Для обеспечения возможности отсеивания ложных объектов при срабатывании алгоритмов автоматического обнаружения необходимо точно определять направление н а обнаруженный объект при его повторном обнаружении . Эта задача осложняется тем, что камера п о различным причинам меняет свою привязку , то есть изменяется ориентация
собственной системы координат видеокамеры (поворотного устройства ) в абсолютной
(горизонтальной ) системе координат , связанной с местом размещения видеокамеры .
Для исключения влияния этого эффекта на точность определения направления на
объект при его повторном обнаружении необходимо определять , как изменилась
ориентация собственной системы координат видеокамеры в абсолютной системе координат видеокамеры за время , прошедшее между повторными обнаружениями
объекта .
Для этого предлагается использовать видимые н а местности объекты , о которых достоверно известно , что они н е меняют своего местоположения или меняют его
незначительно (т.е. по сути являются неподвижными ). Такими объектами могут быть любые видимые неподвижные объекты (например , ставни окон , дорожные знаки ит .п.).
Ниже со ссылкой на Фиг .4 описывается реализуемый в системе видеомониторинга леса (такой как система 100 по Фиг . 1) способ 400 определения изменения привязки видеокамеры , отвечающий настоящему изобретению .
На этапе 402 наводят видеокамеру на каждый из по меньшей мере двух заранее заданных различимых неподвижных объектов на местности и определяют ориентацию видеокамеры в собственной системе координат видеокамеры .
Н а этапе 404 запоминают ориентации видеокамеры , определенные н а этапе 402. Определенные ориентации могут быть сохранены в запоминающем устройстве из состава сервера 140 и /или компьютера рабочего места 120 оператора .
В случае необходимости проверки , на этапе 406 для каждого объекта из упомянутых неподвижных объектов выполняют следующие подэтапы . Н а подэтапе 406-1 направляют видеокамеру согласно соответствующей объекту ориентации видеокамеры , сохраненной н а этапе 404. Н а подэтапе 406-2, если видеокамера за время между наведениями н а объект сместилась (например , п о причисленным выше возможным причинам ), то повторно наводят видеокамеру на объект и определяют текущую ее ориентацию в собственной системе координат видеокамеры .
Н а этапе 408, н а основе текущих ориентаций видеокамеры , определенных на подэтапе 406-2, и соответствующих ориентаций видеокамеры , сохраненных на этапе 404, рассчитывают поворот собственной системы координат видеокамеры , определяющий поправку на вышеупомянутые смещения видеокамеры . По сути , определяется поворот собственной системы координат видеокамеры н а момент выполнения этапа 406 относительно собственной системы координат видеокамеры н а момент выполнения этапа 402.
Впоследствии , например , при обнаружении видеокамерой потенциально опасного объекта ее текущая ориентация сравнивается с ориентацией , определенной н а основе запомненной ранее ориентации видеокамеры н а объект , прежде отмеченный как
неопасный , и вычисленного поворота собственной системы координат видеокамеры .
Возможная реализация этапов 402-408 средствами компонентов системы 100 указана выше или очевидным образом следует из ее описания .
Для специалиста является очевидным , что при осуществлении описанной выше процедуры 400 можно использовать более двух неподвижных объектов . Их количество , в
общем случае , определяется требуемой точностью - так, при увеличении количества объектов мы увеличиваем количество независимо получаемых результатов измерений , что при соответствующей обработке приводит к повышению точности определения направления .
Как уже описывалось выше , для определения поворота необходимо определить углы Эйлера , которые в этом случае будут описывать поворот собственной системы координат видеокамеры на текущий момент относительно собственной системы координат видеокамеры , зафиксированной при предшествующей процедуре сохранения ориентации .
По сути и по сложности , математически задача абсолютно идентична описанной
выше .
Предположим , что видеокамера немного сместилась , то есть у видимого объекта были одни координаты в собственной системе координат видеокамеры , а именно р 1 1, /11) (которые были предварительно сохранены ), а стали другие , а именно (р 12, /12). Получаем соответствия :
(p\\,tll)- (pl2, /12),
(?21, /2 1) - (р22, /22)
Н а основе этих соответствий , аналогично описанному выше , определяем углы
Эйлера , то есть
е7=/1(р1 \,t\\,р \2, t\2,p2\, t2\,p22, /22),
е2 =fi{pl l, /1 1,А12, /12, р21, /21,/?22, /22),
еЗ ==> (р\ 1, /1 \, р 12, /12,_р21, /21,А22, /22). После нахождения углов Эйлера (el, е2, еЗ), для каждого из ранее отмеченных объектов (например , как неопасные ), имея сохраненную ориентацию видеокамеры на этот объект (p , /1), можно определить скорректированную ориентацию видеокамеры н а данный объект (р п , /п ), то есть ориентацию с поправкой н а смещение видеокамеры , как
рп =/l(el, е2, e3,pl, /1),
tn=/2(e\,e2, e3,p\,t\) п о методике , описанной выше , при сравнении с текущей ориентацией видеокамеры .
Для наиболее точной работы системы можно выполнять процедуру 400 привязки перед каждым патрулированием , эта процедура п о оценкам должна занимать не очень много времени (несколько секунд ) .
Co ссылкой на Фиг .5, способ 500 фильтрации наблюдаемых объектов , где применяется описанный выше способ 400, может работать следующим образом .
Видеокамера в процессе патрулирования осматривает территорию , автоматический алгоритм обнаружения опасных объектов определяет на видеоизображении потенциально опасный объект (этап 501). При этом определяется текущая ориентация камеры (этап 502). Далее каким -либо способом происходит валидация обнаруженного объекта - например , это делает непосредственно оператор , что может заключаться в визуальном представлении оператору потенциально опасного объекта и подтверждении или опровержении опасности обнаруженного объекта (этап 503). После этого система продолжает патрулирование п о заданному маршруту (этап 504).
После некоторого времени , определяемого классом пожарной опасности и
требованиями п о скорости обнаружения (например , раз в 15 минут ), система запускает
прохождение маршрута ещё раз (этап 506). Перед этим выполняется процедура определения изменения привязки видеокамеры по описанному выше способу 400 (этап 505).
При обнаружении потенциально опасного объекта ориентация видеокамеры н а него определяется и сравнивается с сохраненной ориентацией видеокамеры н а объект (ы ),
который при прошлом или прошлых патрулированиях был обозначен как неопасный
скорректированной н а основе вычисленного поворота собственной системы координат видеокамеры (этап 507). Если ориентации совпадают с заранее установленной точностью , определяемой настройками системы (например , до 0,01'), то система не создает нового оповещения для оператора и н е требует валидации , а продолжает патрулирование (этап 508). Такой способ может существенно снизить нагрузку на оператора , увеличить количество видеокамер н а одного оператора и уменьшить общее количество ложных
срабатываний .
Описанная выше процедура 400 реализуется , по меньшей мере частично (т.е., по меньшей мере, ее этап 408), в виде компьютерно -реализованного модуля . Компьютерно -реализованный модуль предпочтительно представляет собой программное обеспечение , которое может , локальным или распределенным образом , храниться в запоминающих устройствах и исполняться процессорами н а сервере 140, и/или в компьютере рабочего места 120 оператора , и/или в оборудовании 111 передающей стороны , в зависимости от проекта системы 100. В то же время , компьютерно -реализованный модуль может
представлять собой и аппаратный или программно -аппаратный блок (например , блейд
сервер в стойке блейд -серверов или отдельное компьютерное устройство ), что должно быть очевидно для специалиста . Вышеупомянутое программное обеспечение может быть разработано с использованием подходящей технологии программирования из доступного их многообразия .
Изобретение было раскрыто выше со ссылкой на конкретные варианты его осуществления . Для специалистов могут быть очевидны и иные варианты осуществления изобретения , не меняющие его сущности , как она раскрыта в настоящем описании . Соответственно , изобретение следует считать ограниченным по объему только нижеследующей формулой изобретения .
Формула изобретения
1. Система видеомониторинга леса, содержащая :
по меньшей мере одну дистанционно управляемую точку видеомониторинга , включающую в себя высотное сооружение и размещенное на высотном сооружении оборудование передающей стороны , содержащее видеокамеру на поворотном устройстве и устройство управления видеокамерой , выполненное с возможностью определять текущую пространственную ориентацию видеокамеры в собственной системе координат видеокамеры ;
по меньшей мере одно компьютеризированное рабочее место оператора для эксплуатации упомянутой точки видеомониторинга ; и
компьютерно -реализованный модуль , сконфигурированный :
в каждый из по меньшей мере двух предопределенных моментов времени , получать определенную устройством управления видеокамерой ориентацию видеокамеры , наведенной на известный астрономический объект , в собственной системе координат видеокамеры и определять , исходя из предварительно определенного местоположения упомянутой точки видеомониторинга и данного момента времени , положение астрономического объекта в абсолютной системе координат с центром в точке размещения видеокамеры и
рассчитывать , на основе определенных ориентаций видеокамеры и положений астрономического объекта , поворот собственной системы координат видеокамеры в абсолютной системе координат .
2. Система по п. 1, в которой оборудование передающей стороны упомянутой точки видеомониторинга дополнительно содержит коммуникационное устройство , при этом система дополнительно содержит сервер, причем упомянутые точка видеомониторинга , сервер и рабочее место оператора соединены с возможностью осуществления связи .
3. Система по п.2, в которой видеокамера оборудования передающей стороны
упомянутой точки видеомониторинга оснащена трансфокатором .
4. Система поп. 3, в которой наведение видеокамеры на астрономический объект осуществхшется путем ручного совмещения центра изображения , получаемого с видеокамеры , с центром астрономического объекта .
5. Система по п. 3, дополнительно содержащая компьютерно - реализованную интеллектуальную подсистему , выполненную с возможностью , н а основе технологий
4.
компьютерного зрения , наводить видеокамеру на астрономический объект путем автоматического обнаружения астрономического объекта исходя из анализа изображения , получаемого с видеокамеры , и автоматического совмещения центра изображения , получаемого с видеокамеры , с центром астрономического объекта .
6. Система по п .4 или 5, в которой , при наведении видеокамеры на астрономический объект , посредством трансфокатора устанавливается максимально
возможное приближение астрономического объекта .
7. Система по п .2, в которой упомянутый компьютерно -реализованный модуль размещен на сервере и/или на упомянутом рабочем месте оператора и/или в оборудовании
передающей стороны упомянутой точки видеомониторинга .
8. Система поп . 1, при этом астрономическим объектом является Солнце .
9. Система по п. 1, в которой собственная система координат видеокамеры определена производителем видеокамеры .
10. Система по п. 1, в которой местоположение упомянутой точки
видеомониторинга определяется её географическими координатами , а положение
астрономического объекта определяется его угловой высотой над горизонтом и азимутом .
11 . Система п о п . 1, в которой рассчитанный поворот собственной системы
координат видеокамеры используется для пересчета координат наблюдаемого объекта из собственной системы координат видеокамеры в абсолютную систему координат .
12. Способ , реализуемый в системе видеомониторинга леса , содержащей п о
меньшей мере одну дистанционно управляемую точку видеомониторинга , содержащую размещенную н а высотном сооружении видеокамеру с поворотным устройством и устройство управления видеокамерой , выполненное с возможностью определять текущую пространственную ориентацию видеокамеры в собственной системе координат
видеокамеры , и предназначенный для автоматической привязки собственной системы
координат видеокамеры к абсолютной системе координат , при этом способ содержит этапы , н а которых :
в каждый и з п о меньшей мере двух предопределенных моментов времени
наводят видеокамеру н а известный астрономический объект и определяют
ориентацию видеокамеры в собственной системе координат видеокамеры и
определяют , исходя из предварительно определенного местоположения упомянутой точки видеомониторинга и данного момента времени , положение
астрономического объекта в абсолютной системе координат с центром в точке размещения видеокамеры ; и
рассчитывают , н а основе определенных ориентации видеокамеры и положений астрономического объекта , поворот собственной системы координат видеокамеры в абсолютной системе координат .
13. Способ п о п . 12, в котором н а основе рассчитанного поворота собственной системы координат видеокамеры осуществляют пересчет координат наблюдаемого
объекта из собственной системы координат видеокамеры в абсолютную систему
координат .
14. Способ п о п . 12, в котором видеокамеру наводят н а астрономический объект путем ручного совмещения центра изображения , получаемого с видеокамеры , с центром астрономического объекта .
15. Способ п о п . 12, в котором видеокамеру наводят н а астрономический объект путем автоматического обнаружения астрономического объекта исходя из анализа изображения , получаемого с видеокамеры , и автоматического совмещения центра изображения , получаемого с видеокамеры , с центром астрономического объекта , н а основе технологий компьютерного зрения .
16. Система видеомониторинга леса , содержащая :
п о меньшей мере одну дистанционно управляемую точку видеомониторинга , включающую в себя высотное сооружение и размещенное н а высотном сооружении оборудование передающей стороны , содержащее видеокамеру на поворотном устройстве и устройство управления видеокамерой , выполненное с возможностью определять текущую пространственную ориентацию видеокамеры в собственной системе координат видеокамеры ;
п о меньшей мере одно компьютеризированное рабочее место оператора для эксплуатации упомянутой точки видеомониторинга ; и
компьютерно -реализованный модуль , сконфигурированный :
в каждый и з п о меньшей мере двух предопределенных моментов времени , получать определенную устройством управления видеокамерой ориентацию видеокамеры , наведенной н а объект , положение которого в абсолютной системе координат с центром в точке размещения видеокамеры известно в этот момент времени , в собственной системе координат видеокамеры и
рассчитывать , н а основе определенных ориентаций видеокамеры и
положений объекта , поворот собственной системы координат видеокамеры в
абсолютной системе координат .
17. Способ , реализуемый в системе видеомониторинга леса, содержащей по
меньшей мере одну дистанционно управляемую точку видеомониторинга , содержащую размещенную н а высотном сооружении видеокамеру с поворотным устройством и устройство управления видеокамерой , выполненное с возможностью определять текущую пространственную ориентацию видеокамеры в собственной системе координат
видеокамеры , и предназначенный для автоматической привязки собственной системы
координат видеокамеры к абсолютной системе координат , при этом способ содержит этапы , н а которых :
в каждый и з п о меньшей мере двух предопределенных моментов времени , наводят видеокамеру н а объект , положение которого в абсолютной системе координат с центром в точке размещения видеокамеры известно в этот момент времени , и определяют ориентацию видеокамеры в собственной системе координат видеокамеры ; и
рассчитывают , н а основе определенных ориентаций видеокамеры и положений объекта , поворот собственной системы координат видеокамеры в абсолютной системе координат .
18. Система видеомониторинга леса, содержащая
п о меньшей мере одну дистанционно управляемую точку видеомониторинга , включающую в себя высотное сооружение и размещенное н а высотном сооружении
оборудование передающей стороны , содержащее видеокамеру н а поворотном устройстве
и устройство управления видеокамерой , выполненное с возможностью определять текущую пространственную ориентацию видеокамеры в собственной системе координат видеокамеры ;
п о меньшей мере одно компьютеризированное рабочее место оператора для эксплуатации упомянутой точки видеомониторинга ;
хранилище для запоминания ориентаций видеокамеры в собственной системе
координат видеокамеры , определенных устройством управления видеокамерой после наведения видеокамеры н а каждый и з п о меньшей мере двух заранее заданных различимых неподвижных объектов н а местности ; и
компьютерно -реализованный модуль , сконфигурированный :
для каждого объекта из упомянутых объектов получать текущую ориентацию видеокамеры в собственной системе координат видеокамеры , определенную устройством управления видеокамерой после повторного наведения видеокамеры н а объект , и
н а основе полученных текущих ориентации видеокамеры и соответствующих запомненных ориентаций видеокамеры , рассчитывать поворот собственной системы координат видеокамеры .
19. Система по п .18, в которой компьютерно -реализованный модуль дополнительно сконфигурирован , при сопоставлении текущей ориентации видеокамеры , наведенной на наблюдаемый объект , с запомненной ориентацией видеокамеры при ее наведении на ранее проанализированный объект , корректировать эту запомненную ориентацию видеокамеры н а основе рассчитанного поворота собственной системы координат видеокамеры .
20. Способ , реализуемый в системе видеомониторинга леса, содержащей по меньшей мере одну дистанционно управляемую точку видеомониторинга , содержащую размещенную н а высотном сооружении видеокамеру с поворотным устройством и устройство управления видеокамерой , выполненное с возможностью определять текущую пространственную ориентацию видеокамеры в собственной системе координат видеокамеры , и предназначенный для определения изменения привязки видеокамеры при этом способ содержит этапы , н а которых :
наводят видеокамеру на каждый из по меньшей мере двух заранее заданных различимых неподвижных объектов н а местности и определяют ориентацию видеокамеры в собственной системе координат видеокамеры ;
запоминают определенные ориентации видеокамеры ;
для каждого объекта и з упомянутых объектов ,
направляют видеокамеру согласно сохраненной ориентации видеокамеры ,
соответствующей объекту , и , в случае отклонения видеокамеры от объекта ,
повторно наводят видеокамеру н а объект и
определяют текущую ориентацию видеокамеры в собственной системе координат видеокамеры ; и
н а основе определенных текущих ориентаций видеокамеры и соответствующих запомненных ориентаций видеокамеры , рассчитывают поворот собственной системы координат видеокамеры .
21. Способ по п .20, в котором , при сопоставлении текущей ориентации видеокамеры , наведенной на наблюдаемый объект , с запомненной ориентацией видеокамеры при ее наведении на ранее проанализированный объект , корректируют эту запомненную ориентацию видеокамеры на основе рассчитанного поворота собственной системы координат видеокамеры .
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)
2/3
202 - наведение видеокамеры на астрономический объект
204
определение ориентации видеокамеры в ее собственной СК
206 -
определение положения астрономического объекта в абсолютной СК видеокамеры
•200
208
расчет поворота собственной СК в абсолютной СК
3/3
402 -
наведение видеокамеры на неподвижные объекты
на местности
404 -
запоминание ориентаций видеокамеры
^^400
406-1 -f
направление видеокамеры согласно сохраненной
ориентации
406-2 -j-
повторное наведение видеокамеры на объект определение текущей ее ориентации
406 \
408 -
расчет поворота
собственной СК видеокамеры
ФИГ. 4
501 -
обнаружение потенциально опасного объекта при осмотре
502
определение текущей ориентаций видеокамеры
503 -
валидация обнаруженного объекта
500
504
продолжение патрулирования по маршруту
505
определение изменения привязки видеокамеры (по 400;
506 -
повторное прохождение маршрута
507
при обнаружении потенциально опасного объекта, определение скорректированной ориентации видеокамеры на него и сравнение ее с сохраненной ориентацией видеокамеры на объект(ы), прежде обозначенный как неопасный
совпадение: неоповещение и продолжение патрулирования
ФИГ. 5
International application No.
PCT/RU 201 2/000045
A. CLASSIFICATION OF SUBJECT MATTER
G01 C 11/10 (2006.01); G08B 25/00(2006.01); G08B /7/00(2006.01 )
According to International Patent Classification (IPC) or to both national classification and IPC
B . FIELDS SEARCHED
Minimum documentation searched (classification system followed by classification symbols)
G08B 13/00-13/194, 17/00-1 7/12, 25/00, G01S 7/00-7/48, 17/00-17/95, G06F 17/00, G01 C 11/00-1 1/28, G08C 19/00-1 9/06, H04N 7/00-7/18
Documentation searched other than minimum documentation to the extent that such documents are included in the fields searched
Electronic data base consulted during the international search (name ofdata base and, where practicable, search terms used)
PatSearch (RUPTO internal), Esp@senet, PAJ, USPTO
C . DOCUMENTS CONSIDERED TO BE RELEVANT
Category*
Citation of document, with indication, where appropriate, of the relevant passages
Relevant to claim No.
A A
RU 2293998 C2 (INSTITUTO SUPERIOR TEKHNIKO) 20.02.2007
BY 8173 C1 (BELORUSSKY GOSUDARSTVENNY UNIVERSITET) 30.06.2006
KR 100839090 B 1 (NAIN INFORMATION SYSTEM CO LTD) 20.06.2008
WO 2000/023959 A 1 (VSD LIMITED) 27.04.2000
1-21 1-21
1-21
1-21
Further documents are listed in the continuation ofBox C.
See patent family annex.
* Special categories of cited documents:
"A" document defining the general state of the art which is not considered to be of particular relevance
"E" earlier application or patent but published on or after the international filing date
"L" document which may throw doubts on priority claim(s) or which is cited to establish the publication date of another citation or other special reason (as specified)
"O" document referring to an oral disclosure, use, exhibition or other means
"T" later document published after the international filing date or priority date and not in conflict with the application but cited to understand the principle or theory underlying the invention
"X" document of particular relevance; the claimed invention cannot be considered novel or cannot be considered to involve an inventive step when the document is taken alone
"Y" document of particular relevance; the claimed invention cannot be considered to involve an inventive step when the document is combined with one or more other such documents, such combination being obvious to a person skilled in the art
" &" document member of the same patent family
ОТЧЕТ О МЕЖДУНАРОДНОМ ПОИСКЕ
Номер международной заявки
PCT/RU 2012/000045
A. КЛАССИФИКАЦИЯ ПРЕДМЕТА ИЗОБРЕТЕНИЯ G01C 11/10 (2006.01)
G08B 25/00 (2006. 01) G08B / 7/00 (2006. 01)
Согласно Международной патентной классификации МПК
B. ОБЛАСТЬ ПОИСКА
Проверенный минимум документации (система классификации с индексами классификации )
G08B 13/00- 13/194, 17/00- 17/12,25/00, GOIS 7/00-7/48, 17/00- 17/95, G06F 17/00, G0 1С 11/00-11/28, G08C 19/00- 19/06,
H04N 7/00-7/1 8
Другая проверенная документация в той мере , в какой она включена в поисковые подборки
Электронная база данных , использовавшаяся при поиске (название базы и, если, возможно , используемые поисковые термины )
PatSearch (RUPTO internal), Esp@cenet, PAJ, USPTO
С .
ДОКУМЕНТЫ , СЧИТАЮЩИЕСЯ РЕЛЕВАНТНЫМИ
Категория
Цитируемые документы с указанием , где это возможно , релевантных частей
Относится к ункту
УНИВЕРСИТЕТ
RU 2293998 С 2(ИНСТИТУТО СУПЕРИОР ТЕХНИКО ) 20.02.2007
ГОСУДАРСТВЕННЫЙ
BY 8173 С 1 (БЕЛОРУССКИЙ
30.06.2006
R 00839090 В 1 (N A I INFORMATION SYSTEM С О LTD) 20.06.2008 WO 2000/023959 Al (VSD LIMITED) 27.04.2000
1-2 1 1-21
1-2 1 -2 1
последующие документы указаны в продолжении графы С.
| | данные о патентах -аналог ах указаны в приложении
Особые категории ссылочных документов : "А" документ , определяющий общий уровень техники и не считающийся особо релевантным
более ранняя заявка или патент , но опубликованная на дату международной подачи или после нее
документ , подвергающий сомнению притязание (я) на приоритет , или который приводится с целью установления даты публикации другого ссылочного документа , а также в других целях (как указано ) документ , относящийся к устному раскрытию , использованию , экспонированию и т .д .
документ , опубликованный до даты международной подачи но после
даты испрашиваемого приоритета
оолее поздний документ , опуоликованныи после даты международной
подачи или приори тета , но приведенный для понимания принципа или теории , н которых основывается изобретение
документ , имеющий наиболее близкое отношение к предмету поиска заявленное изобретение не обладает новизной или изобретательским
уровнем , в сравнении с документом взятым в отдельности
документ , имеющий наиболее близкое отношение к предмету поиска заявленное изобретение не обладает изобретательским уровнем , когда
документ взят в сочетании с одним или несколькими документами той ж е категории , такая комбинация документов очевидна для специалиста документ , являющийся патентом -аналогом
Дата действительного завершения международного поиска 0 1 июня 2012 (01.06.20 12)
Дата отправки настоящего отчета о международном поиске 28 июня 2012 (28.06.20 12)
Наименование и адрес ISA/RU :
Ф И С,
РФ ,123995, Москва , Г-59, ГСП -5, Бережковская наб 30-1 Факс : (499) 243-33-37
Уполномоченное лицо :
Птенцова Л .
Телефон №> 499-240-25-9 1
Форма PCT/ISA/2 10 (второй лист ) (Июль 2009)
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403 PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
508
508
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
508
508
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
508
508
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
508
508
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
508
508
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
508
508
WO 2012/118403
PCT/RU2012/000045
WO 2012/118403
PCT/RU2012/000045
508
508
INTERNATIONAL SEARCH REPORT
INTERNATIONAL SEARCH REPORT
INTERNATIONAL SEARCH REPORT
INTERNATIONAL SEARCH REPORT
INTERNATIONAL SEARCH REPORT
INTERNATIONAL SEARCH REPORT
