[RU]

1. Способ создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающий, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, включающий в себя следующие шаги: используют систему, содержащую по меньшей мере одно устройство отображения, по меньшей мере одни очки для стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера, по меньшей мере два матричных оптических датчика, по меньшей мере два устройства считывания и обработки, устройство вычисления 3D-координат маркеров, по меньшей мере одно устройство предсказания координат маркеров, устройство построения 3D-сцены, по меньшей мере одно устройство вывода изображения; получают изображения с матричных оптических датчиков, обнаруживают маркеры на этих изображениях и определяют 2D-координаты маркеров; определяют 3D-координаты маркеров на основе 2D-координат маркеров; выполняют экстраполяцию координат маркеров для компенсации задержки между моментом времени получения изображения с матричных оптических датчиков и моментом отображения 3D-сцены таким образом, что некомпенсированная часть задержки не превышает 5 мс; выполняют построение 3D-сцены на основе 3D-координат маркеров с учетом экстраполяции координат маркеров; выводят изображения 3D-сцены по меньшей мере на одно устройство отображения, при этом обеспечивают вывод изображений 3D-сцены для каждого глаза наблюдателя поочередно.

2. Способ по п.1, в котором маркеры являются светоизлучающими маркерами.

3. Способ по п.1, в котором дополнительно управляют следящим окном, а используемая система дополнительно содержит по меньшей мере одно устройство управления следящим окном.

4. Способ по п.1, в котором дополнительно выполняют калибровку средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.

5. Способ по п.1, в котором дополнительно обнаруживают мешающие источники излучения и устраняют их влияние на обнаружение маркеров.

6. Способ по п.1, в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом.

7. Способ по п.2, в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом и с маркерами.

8. Способ по п.2, в котором избирательно включают и выключают маркеры, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи.

9. Способ по п.8, в котором до шага поиска маркеров формируют карту освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.

10. Способ по п.1 или 8, в котором после шага определения 2D-координат маркеров выполняют идентификацию маркеров, а используемая система дополнительно содержит устройство идентификации маркеров.

11. Способ по п.1, в котором экстраполяция координат маркеров представляет собой экстраполяцию 2D-координат маркеров до шага определения 3D-координат маркеров.

12. Способ по п.1, в котором экстраполяция координат маркеров представляет собой экстраполяцию 3D-координат маркеров после шага определения 3D-координат маркеров.

13. Способ по п.1, в котором используемая система содержит по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.

14. Способ по п.1, в котором отображение изображения для каждого глаза наблюдателя выполняют для более чем одного наблюдателя.

15. Способ по п.1, в котором обработку данных, считываемых с матричного оптического датчика, начинают до окончания считывания кадра.

16. Способ по п.1, в котором выполняют распределенную обработку данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.

17. Способ по п.1, в котором определение 2D-координат маркеров выполняют с субпиксельной точностью.

18. Способ по п.1, в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, для определения 3D-координат маркеров очков в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи и устройство ориентации.

19. Способ по п.1, в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, для определения 3D-координат маркеров манипулятора в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, дополнительно содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.

20. Способ по п.3, в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи и устройство ориентации.

21. Способ по п.3, в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, при задании размеров и расположения следящего окна, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, дополнительно содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.

22. Способ по п.1 или 3, в котором шаг обнаружения маркеров и определения их 2D-координат включает в себя следующие шаги: определяют строки матричного оптического датчика для считывания; выполняют считывание выбранной строки матричного оптического датчика; проверяют, превышает ли интенсивность сигнала каждого пикселя выбранной строки пороговое значение; если интенсивность сигнала пикселя превышает пороговое значение, выполняют обнаружение контура изображения маркера и переходят к шагу вычисления размера контура изображения маркера, а если интенсивность сигнала пикселя не превышает пороговое значение, возвращаются к шагу считывания выбранной строки матричного оптического датчика; вычисляют размер контура изображения маркера; проверяют размер контура изображения маркера; если размер контура изображения маркера находится в заранее определенных пределах, переходят к шагу вычисления геометрического центра контура изображения маркера, а если размер контура изображения маркера не находится в заранее определенных пределах, переходят к шагу исключения контура изображения маркера; вычисляют геометрический центр контура изображения маркера; вычисляют максимальный и минимальный радиус контура изображения маркера; проверяют соотношение максимального и минимального радиуса контура изображения маркера; если соотношение максимального и минимального радиуса контура изображения маркера находится в заранее заданных пределах, переходят к шагу проверки равномерности яркости, а если соотношение максимального и минимального радиуса контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера; проверяют равномерность яркости области внутри контура изображения маркера; если равномерность яркости области внутри контура изображения маркера находится в заранее заданных пределах, переходят к шагу вычисления координат взвешенного центра контура изображения маркера, а если равномерность яркости области внутри контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера; исключают контур из дальнейшего рассмотрения и переходят к шагу, на котором выполняют маркирование контура изображения маркера; вычисляют координаты взвешенного центра контура изображения маркера, передают для соответствующего шага по меньшей мере одно из следующего: координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и соотношение максимального и минимального радиуса контура изображения маркера и переходят к шагу, на котором выполняют маркирование контура изображения маркера; маркируют контур изображения маркера и исключают его из дальнейшего анализа изображения, полученного с матричного оптического датчика.

23. Способ по п.3, в котором шаг управления следящим окном включает в себя следующие шаги: выполняют проверку того, все ли маркеры присутствуют в изображении, полученном с матричного оптического датчика; если в изображении, полученном с матричного оптического датчика, присутствуют все маркеры, выполняют переход к шагу проверки необходимости коррекции параметров следящего окна, а если в изображении, полученном с матричного оптического датчика, присутствуют не все маркеры, выполняют определение области, в которой может находиться маркер, отсутствующий в кадре, определяют и передают для соответствующего шага размеры и расположение следящего окна; проверяют необходимость коррекции следящего окна; если коррекция следящего окна необходима, определяют и передают для соответствующего шага размеры и расположение следящего окна.

24. Система для создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающая, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, содержащая: по меньшей мере одно устройство отображения, выполненное с возможностью отображения последовательности изображений; по меньшей мере одни очки, выполненные с возможностью стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера, расположенные заранее известным образом; по меньшей мере два матричных оптических датчика, выполненные с возможностью получения изображения маркеров, расположенные заранее известным образом; по меньшей мере два устройства считывания и обработки, выполненные с возможностью считывания данных с матричного оптического датчика и определения 2D-координат маркеров; устройство вычисления 3D-координат маркеров, выполненное с возможностью вычисления 3D-координат маркеров на основе 2D-координат маркеров; по меньшей мере одно устройство предсказания координат маркеров, выполненное с возможностью экстраполяции координат маркеров для компенсации задержки между моментом времени получения изображения с матричных оптических датчиков и моментом отображения 3D-сцены таким образом, что некомпенсированная часть задержки не превышает 5 мс; устройство построения 3D-сцены, выполненное с возможностью построения 3D-сцены на основе 3D-координат маркеров с учетом экстраполяции координат маркеров; по меньшей мере одно устройство вывода изображения, выполненное с возможностью вывода изображения 3D-сцены по меньшей мере на одно устройство отображения.

25. Система по п.24, в которой маркеры являются светоизлучающими маркерами.

26. Система по п.24, дополнительно содержащая по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него в зависимости от положения изображения по меньшей мере одного маркера, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.

27. Система по п.24, дополнительно выполненная с возможностью калибровки средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.

28. Система по п.24, дополнительно выполненная с возможностью автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.

29. Система по п.24, дополнительно содержащая устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом.

30. Система по п.25, дополнительно содержащая устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом и с маркерами.

31. Система по п.25, дополнительно содержащая по меньшей мере одно устройство радиосвязи, при этом очки также содержат по меньшей мере одно устройство радиосвязи, и выполненная с возможностью избирательного включения и выключения маркеров.

32. Система по п.24 или 31, дополнительно содержащая устройство идентификации маркеров, выполненное с возможностью определения принадлежности маркеров на основе данных, полученных с матричных оптических датчиков.

33. Система по п.24, в которой устройство предсказания координат маркеров выполнено с возможностью экстраполяции 2D-координат маркеров до определения 3D-координат маркеров.

34. Система по п.24, в которой устройство предсказания координат маркеров выполнено с возможностью экстраполяции 3D-координат маркеров после определения 3D-координат маркеров.

35. Система по п.24, содержащая по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.

36. Система по п.24, выполненная с возможностью отображения трехмерных объектов для более чем одного наблюдателя.

37. Система по п.24, дополнительно выполненная с возможностью начала обработки данных, считываемых с матричного оптического датчика, до окончания считывания кадра.

38. Система по п.24, дополнительно выполненная с возможностью распределенной обработки данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.

39. Система по п.24, в которой устройство считывания и обработки выполнено с возможностью определения 2D-координат маркеров с субпиксельной точностью.

40. Система по п.24, в которой очки содержат по меньшей мере одно устройство радиосвязи.

41. Система по п.40, в которой очки содержат по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.

42. Система по п.41, выполненная с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков и дополнительно содержащая по меньшей мере одно устройство радиосвязи.

43. Система по п.41, выполненная с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна и дополнительно содержащая по меньшей мере одно устройство радиосвязи и по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.

44. Система по п.24, дополнительно содержащая по меньшей мере один манипулятор.

45. Система по п.44, в которой манипулятор содержит по меньшей мере один маркер.

46. Система по п.25, дополнительно содержащая по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор.

47. Система по п.46, в которой манипулятор содержит по меньшей мере один маркер.

48. Система по п.47, в которой манипулятор содержит по меньшей мере одно устройство радиосвязи.

49. Система по п.48, выполненная с возможностью избирательного включения и выключения маркеров.

50. Система по п.48, в которой манипулятор дополнительно содержит по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.

51. Система по п.50, выполненная с возможностью использования данных, полученных с устройства ориентации манипулятора, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков.

52. Система по п.50, выполненная с возможностью использования данных, полученных с устройства ориентации манипулятора, при задании размеров и расположения следящего окна, дополнительно содержащая по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.

53. Система по п.25, в которой маркеры выполнены с возможностью излучения света в ИК-диапазоне.

54. Система по любому из пп.24, 25, 45, 47, в которой матричные оптические датчики оснащены узкополосными оптическими фильтрами.

55. Система по любому из пп.24, 25, 45, 47, в которой маркеры оснащены узкополосными оптическими фильтрами.

56. Система по п.31 или 49, выполненная с возможностью формирования карты освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.

(57) Реферат / Формула:

1. Способ создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающий, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, включающий в себя следующие шаги: используют систему, содержащую по меньшей мере одно устройство отображения, по меньшей мере одни очки для стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера, по меньшей мере два матричных оптических датчика, по меньшей мере два устройства считывания и обработки, устройство вычисления 3D-координат маркеров, по меньшей мере одно устройство предсказания координат маркеров, устройство построения 3D-сцены, по меньшей мере одно устройство вывода изображения; получают изображения с матричных оптических датчиков, обнаруживают маркеры на этих изображениях и определяют 2D-координаты маркеров; определяют 3D-координаты маркеров на основе 2D-координат маркеров; выполняют экстраполяцию координат маркеров для компенсации задержки между моментом времени получения изображения с матричных оптических датчиков и моментом отображения 3D-сцены таким образом, что некомпенсированная часть задержки не превышает 5 мс; выполняют построение 3D-сцены на основе 3D-координат маркеров с учетом экстраполяции координат маркеров; выводят изображения 3D-сцены по меньшей мере на одно устройство отображения, при этом обеспечивают вывод изображений 3D-сцены для каждого глаза наблюдателя поочередно.

2. Способ по п.1, в котором маркеры являются светоизлучающими маркерами.

3. Способ по п.1, в котором дополнительно управляют следящим окном, а используемая система дополнительно содержит по меньшей мере одно устройство управления следящим окном.

4. Способ по п.1, в котором дополнительно выполняют калибровку средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.

5. Способ по п.1, в котором дополнительно обнаруживают мешающие источники излучения и устраняют их влияние на обнаружение маркеров.

6. Способ по п.1, в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом.

7. Способ по п.2, в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом и с маркерами.

8. Способ по п.2, в котором избирательно включают и выключают маркеры, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи.

9. Способ по п.8, в котором до шага поиска маркеров формируют карту освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.

10. Способ по п.1 или 8, в котором после шага определения 2D-координат маркеров выполняют идентификацию маркеров, а используемая система дополнительно содержит устройство идентификации маркеров.

11. Способ по п.1, в котором экстраполяция координат маркеров представляет собой экстраполяцию 2D-координат маркеров до шага определения 3D-координат маркеров.

12. Способ по п.1, в котором экстраполяция координат маркеров представляет собой экстраполяцию 3D-координат маркеров после шага определения 3D-координат маркеров.

13. Способ по п.1, в котором используемая система содержит по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.

14. Способ по п.1, в котором отображение изображения для каждого глаза наблюдателя выполняют для более чем одного наблюдателя.

15. Способ по п.1, в котором обработку данных, считываемых с матричного оптического датчика, начинают до окончания считывания кадра.

16. Способ по п.1, в котором выполняют распределенную обработку данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.

17. Способ по п.1, в котором определение 2D-координат маркеров выполняют с субпиксельной точностью.

18. Способ по п.1, в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, для определения 3D-координат маркеров очков в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи и устройство ориентации.

19. Способ по п.1, в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, для определения 3D-координат маркеров манипулятора в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, дополнительно содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.

20. Способ по п.3, в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи и устройство ориентации.

21. Способ по п.3, в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, при задании размеров и расположения следящего окна, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, дополнительно содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.

22. Способ по п.1 или 3, в котором шаг обнаружения маркеров и определения их 2D-координат включает в себя следующие шаги: определяют строки матричного оптического датчика для считывания; выполняют считывание выбранной строки матричного оптического датчика; проверяют, превышает ли интенсивность сигнала каждого пикселя выбранной строки пороговое значение; если интенсивность сигнала пикселя превышает пороговое значение, выполняют обнаружение контура изображения маркера и переходят к шагу вычисления размера контура изображения маркера, а если интенсивность сигнала пикселя не превышает пороговое значение, возвращаются к шагу считывания выбранной строки матричного оптического датчика; вычисляют размер контура изображения маркера; проверяют размер контура изображения маркера; если размер контура изображения маркера находится в заранее определенных пределах, переходят к шагу вычисления геометрического центра контура изображения маркера, а если размер контура изображения маркера не находится в заранее определенных пределах, переходят к шагу исключения контура изображения маркера; вычисляют геометрический центр контура изображения маркера; вычисляют максимальный и минимальный радиус контура изображения маркера; проверяют соотношение максимального и минимального радиуса контура изображения маркера; если соотношение максимального и минимального радиуса контура изображения маркера находится в заранее заданных пределах, переходят к шагу проверки равномерности яркости, а если соотношение максимального и минимального радиуса контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера; проверяют равномерность яркости области внутри контура изображения маркера; если равномерность яркости области внутри контура изображения маркера находится в заранее заданных пределах, переходят к шагу вычисления координат взвешенного центра контура изображения маркера, а если равномерность яркости области внутри контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера; исключают контур из дальнейшего рассмотрения и переходят к шагу, на котором выполняют маркирование контура изображения маркера; вычисляют координаты взвешенного центра контура изображения маркера, передают для соответствующего шага по меньшей мере одно из следующего: координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и соотношение максимального и минимального радиуса контура изображения маркера и переходят к шагу, на котором выполняют маркирование контура изображения маркера; маркируют контур изображения маркера и исключают его из дальнейшего анализа изображения, полученного с матричного оптического датчика.

23. Способ по п.3, в котором шаг управления следящим окном включает в себя следующие шаги: выполняют проверку того, все ли маркеры присутствуют в изображении, полученном с матричного оптического датчика; если в изображении, полученном с матричного оптического датчика, присутствуют все маркеры, выполняют переход к шагу проверки необходимости коррекции параметров следящего окна, а если в изображении, полученном с матричного оптического датчика, присутствуют не все маркеры, выполняют определение области, в которой может находиться маркер, отсутствующий в кадре, определяют и передают для соответствующего шага размеры и расположение следящего окна; проверяют необходимость коррекции следящего окна; если коррекция следящего окна необходима, определяют и передают для соответствующего шага размеры и расположение следящего окна.

24. Система для создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающая, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, содержащая: по меньшей мере одно устройство отображения, выполненное с возможностью отображения последовательности изображений; по меньшей мере одни очки, выполненные с возможностью стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера, расположенные заранее известным образом; по меньшей мере два матричных оптических датчика, выполненные с возможностью получения изображения маркеров, расположенные заранее известным образом; по меньшей мере два устройства считывания и обработки, выполненные с возможностью считывания данных с матричного оптического датчика и определения 2D-координат маркеров; устройство вычисления 3D-координат маркеров, выполненное с возможностью вычисления 3D-координат маркеров на основе 2D-координат маркеров; по меньшей мере одно устройство предсказания координат маркеров, выполненное с возможностью экстраполяции координат маркеров для компенсации задержки между моментом времени получения изображения с матричных оптических датчиков и моментом отображения 3D-сцены таким образом, что некомпенсированная часть задержки не превышает 5 мс; устройство построения 3D-сцены, выполненное с возможностью построения 3D-сцены на основе 3D-координат маркеров с учетом экстраполяции координат маркеров; по меньшей мере одно устройство вывода изображения, выполненное с возможностью вывода изображения 3D-сцены по меньшей мере на одно устройство отображения.

25. Система по п.24, в которой маркеры являются светоизлучающими маркерами.

26. Система по п.24, дополнительно содержащая по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него в зависимости от положения изображения по меньшей мере одного маркера, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.

27. Система по п.24, дополнительно выполненная с возможностью калибровки средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.

28. Система по п.24, дополнительно выполненная с возможностью автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.

29. Система по п.24, дополнительно содержащая устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом.

30. Система по п.25, дополнительно содержащая устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом и с маркерами.

31. Система по п.25, дополнительно содержащая по меньшей мере одно устройство радиосвязи, при этом очки также содержат по меньшей мере одно устройство радиосвязи, и выполненная с возможностью избирательного включения и выключения маркеров.

32. Система по п.24 или 31, дополнительно содержащая устройство идентификации маркеров, выполненное с возможностью определения принадлежности маркеров на основе данных, полученных с матричных оптических датчиков.

33. Система по п.24, в которой устройство предсказания координат маркеров выполнено с возможностью экстраполяции 2D-координат маркеров до определения 3D-координат маркеров.

34. Система по п.24, в которой устройство предсказания координат маркеров выполнено с возможностью экстраполяции 3D-координат маркеров после определения 3D-координат маркеров.

35. Система по п.24, содержащая по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.

36. Система по п.24, выполненная с возможностью отображения трехмерных объектов для более чем одного наблюдателя.

37. Система по п.24, дополнительно выполненная с возможностью начала обработки данных, считываемых с матричного оптического датчика, до окончания считывания кадра.

38. Система по п.24, дополнительно выполненная с возможностью распределенной обработки данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.

39. Система по п.24, в которой устройство считывания и обработки выполнено с возможностью определения 2D-координат маркеров с субпиксельной точностью.

40. Система по п.24, в которой очки содержат по меньшей мере одно устройство радиосвязи.

41. Система по п.40, в которой очки содержат по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.

42. Система по п.41, выполненная с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков и дополнительно содержащая по меньшей мере одно устройство радиосвязи.

43. Система по п.41, выполненная с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна и дополнительно содержащая по меньшей мере одно устройство радиосвязи и по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.

44. Система по п.24, дополнительно содержащая по меньшей мере один манипулятор.

45. Система по п.44, в которой манипулятор содержит по меньшей мере один маркер.

46. Система по п.25, дополнительно содержащая по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор.

47. Система по п.46, в которой манипулятор содержит по меньшей мере один маркер.

48. Система по п.47, в которой манипулятор содержит по меньшей мере одно устройство радиосвязи.

49. Система по п.48, выполненная с возможностью избирательного включения и выключения маркеров.

50. Система по п.48, в которой манипулятор дополнительно содержит по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.

51. Система по п.50, выполненная с возможностью использования данных, полученных с устройства ориентации манипулятора, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков.

52. Система по п.50, выполненная с возможностью использования данных, полученных с устройства ориентации манипулятора, при задании размеров и расположения следящего окна, дополнительно содержащая по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.

53. Система по п.25, в которой маркеры выполнены с возможностью излучения света в ИК-диапазоне.

54. Система по любому из пп.24, 25, 45, 47, в которой матричные оптические датчики оснащены узкополосными оптическими фильтрами.

55. Система по любому из пп.24, 25, 45, 47, в которой маркеры оснащены узкополосными оптическими фильтрами.

56. Система по п.31 или 49, выполненная с возможностью формирования карты освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.

---

Евразийское 032105 (13) B1
патентное
ведомство
(12) ОПИСАНИЕ ИЗОБРЕТЕНИЯ К ЕВРАЗИЙСКОМУ ПАТЕНТУ
(45) Дата публикации и выдачи патента 2019.04.30
(21) Номер заявки 201791295
(22) Дата подачи заявки
2014.12.31
(51) Int. Cl. G06T15/08 (2011.01) H04N13/04 (2006.01)
(54) СПОСОБ И СИСТЕМА ДЛЯ ОТОБРАЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ
(43) 2017.10.31
(86) PCT/RU2014/001019
(87) WO 2016/108720 2016.07.07
(71) (73) Заявитель и патентовладелец:
ООО "АЛЬТ" (RU)
(72) Изобретатель:
Севостьянов Петр Вячеславович (RU)
(74) Представитель:
Федоров С.В. (RU)
(56) US-A1-20120200676 US-A1-20140184588 US-A1-20120062556 US-A1-20120038635 RU-C2-2298294 RU-U1-118462
(57) Система для отображения трехмерных объектов с применением двумерных средств визуализации, I одновременно обеспечивающая, по меньшей мере, эффекты бинокулярного параллакса и I параллакса движения, содержащая по меньшей мере один дисплей для отображения последовательности изображений; по меньшей мере одни очки для стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера; по меньшей мере два матричных оптических датчика; по меньшей мере два модуля считывания и обработки, выполненные с возможностью считывания данных с области матричного оптического датчика и определения 2Б-координат маркеров; по меньшей мере один модуль предсказания координат маркеров, выполненный с возможностью экстраполяции координат маркеров таким образом, что эффективная полная задержка не превышает 5 мс; модуль вычисления 3Б-координат маркеров; модуль построения 3Б-сцены; по меньшей мере один модуль вывода изображения. Изобретение включает в себя также соответствующий способ отображения трехмерных объектов и обеспечивает реалистичное отображение трехмерных объектов для одного или нескольких наблюдателей.
Область техники, к которой относится изобретение
Изобретение относится к многопользовательским средствам реалистичного отображения трехмерных объектов, в частности к средствам, использующим монокулярные и бинокулярные зрительные механизмы восприятия объема изображения с применением средств визуализации, создающих изображение на поверхности экрана.
Уровень техники
Средства отображения трехмерных объектов применяются в системах виртуальной реальности (virtual reality) различного назначения - научного, производственного, образовательного, игрового и т.д. При этом для создания иллюзии глубины объемного изображения при использовании традиционных средств визуализации (т.е. формирующих изображение на поверхности экрана, а не в объеме среды), например на основе условно плоских панелей (жидкокристаллических, плазменных, проекционных и т.п.), целесообразно применять способы, в которых задействовано как можно больше зрительных механизмов восприятия объема изображения.
Зрительные механизмы восприятия разделяют на монокулярные и бинокулярные и на физиологические и психологические. К монокулярным механизмам относят окклюзию, узнаваемость размера известного объекта, параллакс движения, линейную перспективу, градиент текстуры, затенение и аккомодацию. К бинокулярным механизмам относят конвергенцию и бинокулярную ретинальную диспаратность. К физиологическим относят механизмы, которые могут быть описаны с помощью понятийного и формульного аппарата физики и математики (параллакс движения, аккомодация, конвергенция и бинокулярная диспаратность), к психологическим - основывающиеся на перцептивном опыте человека (все остальные механизмы). Как правило, физиологические механизмы восприятия объема имеют большее значение при зрительном восприятии объема, а психологические механизмы лишь дополняют физиологические.
Окклюзия или интерпозиция - механизм, обеспечивающий восприятие глубины за счет того, что один наблюдаемый предмет частично закрывает другой.
Параллакс движения - смещение частей изображения друг относительно друга с угловой скоростью, пропорциональной разнице расстояния между ними и наблюдателем, при изменении взаимного положения наблюдателя и объекта наблюдения. Это явление наиболее заметно на объектах, расположенных на небольших расстояниях от наблюдателя в окружении, неподвижном относительно наблюдателя.
Узнаваемость размера основывается на наличии в перцептивном опыте человека представлений о размере объекта, что позволяет использовать информацию о его видимом размере для того, чтобы понять, насколько он удален от наблюдателя.
Линейная перспектива - пропорциональное уменьшение видимых размеров предметов и расстояний между ними при удалении от наблюдателя, создающее впечатление глубины при наблюдении двумерных изображений.
Градиент текстуры - оптический эффект, когда по мере изменения расстояния от наблюдателя до текстурной поверхности изменяется не только видимый размер элементов текстуры, но и воспринимаемый характер текстуры. Затенение - уменьшение освещенности предметов по мере их удаления от источника света и затенение одних частей изображения другими.
Затенение является важным признаком восприятия глубины, поскольку позволяет судить о форме и размерах объекта без непосредственного наблюдения самого объекта путем сопоставления формы поверхности, на которую объект отбрасывает тень, формы тени и информации о положении источника или источников света.
Аккомодация - механизм восприятия глубины, при котором для оценки расстояния до объекта мозг использует степень размытия фона при фокусировке оптической системы глаза на объект, наблюдаемый на этом фоне. Чем ближе объект, на который направлено внимание наблюдателя, тем больше кривизна хрусталика глаза и тем сильнее размывается фон. Получение информации с помощью аккомодации, в основном, происходит при малых и очень малых расстояниях от наблюдателя до объекта.
Конвергенция - тенденция глаз к сближению при рассматривании объектов, расположенных вблизи наблюдателя. Удаленные объекты, напротив, рассматриваются так, что линии взгляда обоих глаз приближаются к параллельным линиям.
Бинокулярная диспаратность - различие между двумя ретинальными изображениями двух глаз. Это явление также называют бинокулярным параллаксом или стереоскопичностью. Именно диспаратность ретинальных изображений создает сильное впечатление объемности изображения.
В процессе визуального восприятия мира человек одновременно использует все доступные из вышеперечисленных механизмов восприятия объема, при этом мозг сводит данные всех механизмов в единую общую картину. Взаимодействие этих механизмом происходит на основе двух основных стратегий: стратегия аддитивности предполагает интеграцию информации, полученной посредством разных механизмов, стратегия избирательности основана на преимущественном использовании информации, предоставляемой одним ведущим механизмом восприятия глубины. Стратегия аддитивности используется чаще и обладает большей эффективностью при восприятии пространства, в частности глубины изображения. В качестве доминирующего признака в стратегии избирательности чаще всего используются окклюзия, параллакс движения или бинокулярная диспаратность.
При построении систем виртуальной реальности для обеспечения реалистичности трехмерного изображения следует задействовать как можно больше механизмов восприятия объема и добиваться, чтобы их действие подтверждало и усиливало действие друг друга. При выборе используемых механизмов следует отдавать предпочтение физиологическим механизмам, поскольку каждый из них может являться доминирующим в избирательной стратегии и все они имеют большой вес в аддитивной стратегии. При правильном выборе используемых механизмов восприятия объема в системе виртуальной реальности возможно добиться того, что мозг будет отсеивать информацию, предоставляемую неиспользуемыми механизмами, поскольку будет считать ее менее достоверной. В любом случае для обеспечения реалистичности трехмерного изображения в системе виртуальной реальности необходимо одновременно использовать бинокулярную диспаратность и параллакс движения (далее такая система обозначена как MP3D, Motion Parallax 3D).
Для получения эффекта параллакса движения необходимо реализовать изменение изображения на экране в соответствии с изменением положения наблюдателя: в каждом кадре на поверхность экрана дисплея должна выводиться проекция 3D-сцены, как она видна из текущей точки положения зрителя. При этом эффект параллакса движения необходимо обеспечивать с учетом бинокулярной диспаратности, т.е. изменение изображения на экране в соответствии с изменением положения наблюдателя необходимо реализовать для каждого глаза наблюдателя. Для уменьшения геометрических искажений изображения до границы заметности и обеспечения зрительного комфорта наблюдателя промежуток времени между моментом начала определения положения наблюдателя и моментом вывода изображения на экран не должен превышать 5 мс.
Из патентной заявки US 2012200676 (MICROSOFT) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса (stereo cue) и параллакса движения (parallax cue) в горизонтальной и вертикальной плоскостях. Эффект параллакса движения предлагается реализовать с использованием отслеживания положения головы наблюдателя посредством триангуляции с применением магнитных или инфракрасных датчиков или с использованием отслеживания положения глаз наблюдателя посредством оптической системы (Kinect). Эффект бинокулярного параллакса предлагается реализовать с использованием двумерного дисплея и затворных очков либо с использованием автостереоскопического дисплея. В заявке упоминается также возможность многопользовательского режима работы системы.
Из патентной заявки US 2013147931 (SONY) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения лица наблюдателя, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея, причем параметры автостереоскопического дисплея предлагается изменять ступенчатым (дискретным) образом в зависимости от дальности и скорости перемещения наблюдателя. В заявке также упоминаются маркеры на основе светоизлучающих диодов (СИД). Указание на многопользовательский режим в заявке отсутствует.
Из патента US 7705876 (MICROSOFT) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения зрачков наблюдателя за счет отражения света инфракрасной (ИК) подсветки от сетчатки глаза, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. Указание на многопользовательский режим в патенте отсутствует.
Из патентной заявки WO 2005009052 (PHILIPS) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. Указание на многопользовательский режим в заявке отсутствует.
Из патента US 8581966 (SHENZHEN SUPER PERFECT OPTICS) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя, а эффект бинокулярного параллакса - ступенчатым (дискретным) образом с применением автостереоскопического дисплея. Указание на многопользовательский режим в патенте отсутствует.
Из патента US 8199186 (MICROSOFT) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя с предсказанием положения на основе скорости движения, ускорения и т.п. параметров, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. Описана также калибровка такой системы. Указание на многопользовательский режим в патенте отсутствует. Кроме того, в патенте содержится декларативное указание на возможность предсказания положения головы пользователя, но не раскрыты технические решения, которые позволили бы предположить, что такое предсказание способно обес
печить реалистичность трехмерного изображения, соответствующую полной задержке в пределах 5 мс, в системе без компенсации задержки, т.е. что такое предсказание способно обеспечить полную эффективную задержку не более 5 мс и что ошибки в предсказании не приведут к заметному снижению реалистичности трехмерного изображения.
Из патента US 7692640 (PHILIPS) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием отслеживания положения головы наблюдателя с применением магнитных, ультразвуковых датчиков, или инфракрасных датчиков и маркеров, или видеокамер, а эффект бинокулярного параллакса - с применением поляризационных очков или автостереоскопического дисплея. Указание на многопользовательский режим в патенте отсутствует.
Из патентной заявки US 2012172119 (BALLY GAMING et al) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея. Указание на многопользовательский режим в заявке отсутствует.
Из патентной заявки US 2012019908 (SAMSUNG) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя, а эффект бинокулярного параллакса - с применением автостереоскопического дисплея с временным разделением диспаратных изображений. Указание на многопользовательский режим в заявке отсутствует.
Из патента US 5872590 (FUJITSU) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием отслеживания положения глаз наблюдателя с применением двух фотокамер или с применением магнитных либо ультразвуковых датчиков, а эффект бинокулярного параллакса с применением автостереоскопического дисплея. В патенте есть указание на многопользовательский режим, однако также указано, что стереоскопический режим обеспечивается лишь в определенной зоне, за пределами которой изображение носит обычный двумерный характер.
Из патента US 8537206 (LG) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя с применением оптического распознавания лица наблюдателя или с применением светоизлучающих маркеров, а эффект бинокулярного параллакса с применением пространственного разделения (автостереоскопии), временного разделения (затворных очков) или поляризационного разделения (поляризационных очков), в том числе в многопользовательском режиме.
Из патента US 8203599 (SAMSUNG) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения зрачков наблюдателя за счет отражения света ИК подсветки от сетчатки глаза, а эффект бинокулярного параллакса с применением автостереоскопического дисплея, причем дисплей способен к автоподстройке изображения на основе измеренной частоты моргания наблюдателя. Указание на многопользовательский режим в патенте отсутствует.
Из патентной заявки US 2012038635 (SONY) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя по маркерам, а эффект бинокулярного параллакса с применением затворных очков или автостереоскопического дисплея. В заявке есть указание на многопользовательский режим, однако также указано, что изображение демонстрируется группе наблюдателей, имеющих близкие параметры ориентации в пространстве.
Из патентной заявки US 2012044330 (PANASONIC) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения головы наблюдателя путем оптического распознавания, а эффект бинокулярного параллакса с применением автостереоскопического дисплея. В заявке есть указание на многопользовательский режим, однако полноценная реализация такого режима средствами автостереоскопического дисплея весьма сомнительна.
Из патентной заявки US 2012062556 (TOSHIBA) известна система отображения трехмерных объектов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием отслеживания положения наблюдателя путем оптического распознавания или с применением акселерометра или дальномера, а эффект бинокулярного параллакса с применением автостереоскопического дисплея. Указание на многопользовательский режим в заявке отсутствует.
Из патентной заявки US 2006139447 (AGILENT) известна система отображения трехмерных объек
тов, обеспечивающая эффекты бинокулярного параллакса и параллакса движения. Эффект параллакса движения предлагается реализовать с использованием оптического отслеживания положения зрачков наблюдателя за счет отражения света ИК подсветки от сетчатки глаза, а эффект бинокулярного параллакса с применением автостереоскопического дисплея. Указание на многопользовательский режим в заявке отсутствует.
Следует отметить, что указание в упомянутых выше документах на применение или возможность применения автостереоскопического дисплея ставит под сомнение саму возможность полноценной реализации эффекта параллакса движения, поскольку в данной области техники хорошо известно, что автостереоскопические дисплеи способны обеспечить вывод информации лишь для ограниченного числа ракурсов, и это число в настоящий момент сильно ограничено как оптическими параметрами автостереоскопических дисплеев, так и вычислительной мощностью компьютеров и пропускной способностью каналов передачи видеосигнала. Недостаток существующих автостереоскопических систем заключается в том, что пока пользователь находится в одной рабочей зоне автостереоскопического дисплея, эффект параллакса движения для него отсутствует полностью, а в момент смены пользователем рабочей зоны разрушается эффект бинокулярного параллакса. Применение автостереоскопических экранов в многопользовательских системах при современном уровне развития данной технологии также вызывает серьезные сомнения, поскольку в таких системах невозможно одновременное использование разными наблюдателями одной и той же рабочей зоны при сохранении для всех наблюдателей эффекта параллакса движения.
Теоретически эффект параллакса движения в случае применения автостереоскопического дисплея возможно реализовать при количестве рабочих зон, стремящемся к бесконечности. Однако при практической реализации подобной системы на разрешающую способность и количество ракурсов дисплея накладывают ограничения конечные размеры оптических элементов (субпикселей дисплея, линз, призм, решеток и т.п.), а также пропускная способностью каналов передачи данных на дисплей, поскольку даже для одного наблюдателя в такой системе необходимо передавать значительное количество избыточной информации, необходимой для отображения изображения, видимого из тех точек пространства, в которых наблюдатель может оказаться вследствие своего движения.
Кроме того, ни в одном из упомянутых выше документов не раскрыты технические решения, которые обеспечили бы полную задержку не более 5 мс или позволили бы обойти это ограничение с обеспечением высокой степени реалистичности виртуальных объектов.
Более того, ни в одном из упомянутых выше документов не раскрыты технические решения, которые обеспечили бы полноценную реализацию многопользовательского режима с независимым отслеживанием положения каждого из нескольких наблюдателей вблизи дисплея и выводом трехмерного изображения приемлемого качества для каждого из них.
Из приведенных выше примеров современного уровня техники очевидно, что задача реалистичного отображения трехмерных объектов с применением двумерных средств визуализации в настоящее время не решена. Также очевидно, что, поскольку на построение трехмерной сцены и отображение изображения на дисплее физически требуется порядка 25 мс, эта задача и не может быть решена лишь оптимизацией алгоритмов существующего программного обеспечения и совершенствованием существующей аппаратной части систем MP3D.
Этот вывод подтверждается свойствами представленных в настоящее время на рынке систем MP3D -EON Ibench, Idesk, Icube и т.п. (EON Reality, Inc., www.eonreality.com) и zSpace (zSpace, Inc., www.zspace.com): по оценке авторов настоящего изобретения, геометрические искажения изображений трехмерных объектов в этих системах при изменении положения пользователя со скоростью порядка 1 м/с вызывают отчетливый зрительный дискомфорт у наблюдателя, что ограничивает сферу их применения областями, в которых наблюдатель относительно статичен и/или в значительной степени удален от плоскости отображения изображения, в частности настольными или "окружающими" системами для образовательных, научных или инженерных целей, и делает их малоприменимыми для интерактивных игровых систем виртуальной реальности с высокой подвижностью игроков. Также следует отметить, что зрительный дискомфорт по-разному проявляется в системах различной конфигурации и зависит, в том числе, от наличия в поле зрения пользователя реальных объектов, которые служат ориентирами для механизмов зрительного восприятия. При наличии таких объектов пользователю более заметны геометрические искажения виртуальных объектов относительно реальных. В частности, в системах с одной поверхностью для отображения изображения дискомфорт ощущается в большей степени, чем в системах с полным погружением (full-immersive systems).
Таким образом, целью настоящего изобретения является реалистичное отображение трехмерных объектов для одного или нескольких наблюдателей с применением средств визуализации, создающих изображение на поверхности экрана, и использованием по меньшей мере двух основных физиологических зрительных механизмов восприятия объемного изображения, бинокулярного параллакса и параллакса движения, со степенью реалистичности, не уступающей гипотетической системе MP3D с полной задержкой не более 5 мс, обеспечение высокой степени геометрической корректности проекции при скорости перемещения наблюдателя от 0 до 3 м/с и ускорении перемещения наблюдателя от 0 до 10 м/с2, а
также использование для воздействия на виртуальные объекты манипуляторов, ориентация и положение которых в пространстве отслеживается, по существу, тем же способом, что и положение глаз наблюдателя.
Раскрытие изобретения
Цель настоящего изобретения достигается посредством способа создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающего, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, включающего в себя следующие шаги:
используют систему, содержащую
по меньшей мере одно устройство отображения;
по меньшей мере одни очки для стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера; по меньшей мере два матричных оптических датчика; по меньшей мере два устройства считывания и обработки; устройство вычисления 3D-координат маркеров; по меньшей мере одно устройство предсказания координат маркеров; устройство построения 3D-сцены;
по меньшей мере одно устройство вывода изображения;
получают изображения с матричных оптических датчиков, обнаруживают маркеры на этих изображениях и определяют 2D-координаты маркеров;
определяют 3D-координаты маркеров на основе 2D-координат маркеров;
выполняют экстраполяцию координат маркеров таким образом, что эффективная полная задержка не превышает 5 мс;
выполняют построение 3D-сцены с учетом 3D-координат маркеров;
выводят изображения 3D-сцены по меньшей мере на одно устройство отображения, при этом обеспечивают вывод изображений 3D-сцены для каждого глаза наблюдателя поочередно. В таком способе маркеры могут быть светоизлучающими маркерами.
В таком способе возможно управление следящим окном, а используемая система может содержать по меньшей мере одно устройство управления следящим окном.
В таком способе возможно выполнение калибровки средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.
В таком способе возможно обнаружение мешающих источников излучения и устранение их влияния на обнаружение маркеров.
В таком способе до шага получения изображения с матричных оптических датчиков возможна синхронизация матричных оптических датчиков друг с другом или друг с другом и с маркерами.
В таком способе возможно избирательное включение и выключение маркеров, используемая система может дополнительно содержать по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы могут содержать по меньшей мере одно устройство радиосвязи.
В таком способе до шага поиска маркеров возможно формирование карты освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
В таком способе после шага определения 2D-координат маркеров возможно выполнение идентификации маркеров, а используемая система может содержать устройство идентификации маркеров.
В таком способе возможно выполнение экстраполяции 2D-координат маркеров до шага определения 3D-координат маркеров.
В таком способе возможно выполнение экстраполяции 3D-координат маркеров после шага определения 3D-координат маркеров.
В таком способе используемая система может содержать по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.
В таком способе отображение изображения для каждого глаза наблюдателя может выполняться для более чем одного наблюдателя.
В таком способе обработка данных, считываемых с матричного оптического датчика, может начинаться до окончания считывания кадра.
В таком способе обработка данных, считываемых с матричного оптического датчика, может выполняться распределенным образом в устройствах считывания и обработки.
В таком способе определение 2D-координат маркеров может выполняться с субпиксельной точностью.
В таком способе данные, полученные с устройства ориентации очков посредством устройства радиосвязи, могут использоваться для определения 3D-координат маркеров очков в случае временной невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система может содержать по меньшей мере одно устройство радиосвязи, очки используемой системы могут
содержать по меньшей мере одно устройство радиосвязи и устройство ориентации.
В таком способе данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, могут использоваться для определения 3D-координат маркеров манипулятора в случае временной невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система может содержать по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.
В таком способе данные, полученные с устройства ориентации очков посредством устройства радиосвязи, могут использоваться при задании размеров и расположения следящего окна, используемая система может содержать по меньшей мере одно устройство радиосвязи, очки используемой системы могут содержать по меньшей мере одно устройство радиосвязи и устройство ориентации.
В таком способе данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, могут использоваться при задании размеров и расположения следящего окна, используемая система может содержать по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.
В таком способе шаг обнаружения маркеров и определения их 2D-координат может включать в себя следующие шаги:
определяют строки матричного оптического датчика для считывания;
выполняют считывание выбранной строки матричного оптического датчика;
проверяют, превышает ли интенсивность сигнала каждого пикселя выбранной строки пороговое значение;
если интенсивность сигнала пикселя превышает пороговое значение, выполняют обнаружение контура изображения маркера и переходят к шагу вычисления размера контура изображения маркера, а если интенсивность сигнала пикселя не превышает пороговое значение, возвращаются к шагу считывания выбранной строки матричного оптического датчика;
вычисляют размер контура изображения маркера;
проверяют размер контура изображения маркера;
если размер контура изображения маркера находится в заранее определенных пределах, переходят к шагу вычисления геометрического центра контура изображения маркера, а если размер контура изображения маркера не находится в заранее определенных пределах, переходят к шагу исключения контура изображения маркера;
вычисляют геометрический центр контура изображения маркера;
вычисляют максимальный и минимальный радиус контура изображения маркера;
проверяют соотношение максимального и минимального радиуса контура изображения маркера;
если соотношение максимального и минимального радиуса контура изображения маркера находится в заранее заданных пределах, переходят к шагу проверки равномерности яркости, а если соотношение максимального и минимального радиуса контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;
проверяют равномерность яркости области внутри контура изображения маркера;
если равномерность яркости области внутри контура изображения маркера находится в заранее заданных пределах, переходят к шагу вычисления координат взвешенного центра контура изображения маркера, а если равномерность яркости области внутри контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;
исключают контур из дальнейшего рассмотрения и переходят к шагу, на котором выполняют маркирование контура изображения маркера;
вычисляют координаты взвешенного центра контура изображения маркера, передают для соответствующего шага по меньшей мере одно из следующего: координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и соотношение максимального и минимального радиуса контура изображения маркера, и переходят к шагу, на котором выполняют маркирование контура изображения маркера;
маркируют контур изображения маркера и исключают его из дальнейшего анализа изображения,
полученного с матричного оптического датчика.
В таком способе шаг управления следящим окном может включать в себя следующие шаги: выполняют проверку того, все ли маркеры присутствуют в изображении, полученном с матричного
оптического датчика;
если в изображении, полученном с матричного оптического датчика, присутствуют все маркеры, выполняют переход к шагу проверки необходимости коррекции параметров следящего окна, а если в изображении, полученном с матричного оптического датчика, присутствуют не все маркеры, выполняют определение области, в которой может находиться маркер, отсутствующий в кадре, определяют и передают для соответствующего шага размеры и расположение следящего окна;
проверяют необходимость коррекции следящего окна;
если коррекция следящего окна необходима, определяют и передают для соответствующего шага размеры и расположение следящего окна.
Цель настоящего изобретения достигается также посредством системы для создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающего, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, содержащего
по меньшей мере одно устройство отображения, выполненное с возможностью отображения последовательности изображений;
по меньшей мере одни очки, выполненные с возможностью стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера, расположенные заранее известным образом;
по меньшей мере два матричных оптических датчика, выполненные с возможностью получения изображения маркеров, расположенные заранее известным образом;
по меньшей мере два устройства считывания и обработки, выполненные с возможностью считывания данных с матричного оптического датчика и определения 2D-координат маркеров;
устройство вычисления 3D-координат маркеров, выполненное с возможностью вычисления 3D-координат маркеров на основе 2D-координат маркеров;
по меньшей мере одно устройство предсказания координат маркеров, выполненное с возможностью экстраполяции координат маркеров таким образом, что эффективная полная задержка не превышает 5 мс;
устройство построения 3D-сцены, выполненное с возможностью построения 3D-сцены с учетом 3D-координат маркеров;
по меньшей мере одно устройство вывода изображения, выполненное с возможностью вывода изображения 3D-сцены на по меньшей мере одно устройство отображения. В такой системе маркеры могут быть светоизлучающими маркерами.
Такая система может содержать по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него в зависимости от положения изображения по меньшей мере одного маркера, при этом размер области матричного оптического датчика может быть меньше размера полного кадра матричного оптического датчика.
Такая система может быть выполнена с возможностью калибровки средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.
Такая система может быть выполнена с возможностью автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
Такая система может содержать устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом или друг с другом и с маркерами.
Такая система может дополнительно содержать по меньшей мере одно устройство радиосвязи, при этом очки также содержат по меньшей мере одно устройство радиосвязи, и может быть выполнено с возможностью избирательного включения и выключения маркеров очков.
Такая система может содержать устройство идентификации маркеров, выполненное с возможностью определения принадлежности маркеров на основе данных, полученных с матричных оптических датчиков.
В такой системе устройство предсказания координат маркеров может быть выполнено с возможностью экстраполяции 2D-координат маркеров, кроме того, оно может быть выполнено с возможностью экстраполяции 3D-координат маркеров.
Такая система может содержать по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.
Такая система может быть выполнена с возможностью отображения трехмерных объектов для более чем одного наблюдателя.
Такая система может быть выполнена с возможностью начала обработки данных, считываемых с матричного оптического датчика, до окончания считывания кадра.
Такая система может быть выполнена с возможностью распределенной обработки данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.
В такой системе устройство считывания и обработки может быть выполнено с возможностью определения 2D-координат маркеров с субпиксельной точностью.
В такой системе очки могут содержать по меньшей мере одно устройство радиосвязи.
В такой системе очки могут содержать по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.
Такая система может быть выполнена с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков и может дополнительно содержать по меньшей мере одно устройство радиосвязи.
Такая система может быть выполнена с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна и может дополнительно содержать по меньшей мере одно устройство радиосвязи и по
меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика может быть меньше размера полного кадра матричного оптического датчика.
Такая система может содержать по меньшей мере один манипулятор. Манипулятор может содержать по меньшей мере один маркер. Манипулятор может содержать по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.
Такая система может быть выполнена с возможностью использования данных, полученных с устройства ориентации манипулятора посредством устройства радиосвязи, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков и может дополнительно содержать по меньшей мере одно устройство радиосвязи.
Такая система может быть выполнена с возможностью использования данных, полученных с устройства ориентации манипулятора посредством устройства радиосвязи, при задании размеров и расположения следящего окна и может дополнительно содержать по меньшей мере одно устройство радиосвязи и по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных.
Такая система может дополнительно содержать по меньшей мере одно устройство радиосвязи, при этом манипулятор также содержит по меньшей мере одно устройство радиосвязи, и может быть выполнена с возможностью избирательного включения и выключения маркеров манипуляторов.
Такое устройство может быть выполнено с возможностью формирования карты освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
В такой системе маркеры могут быть выполнены с возможностью излучения света в ИК-диапазоне.
В такой системе маркеры и/или матричные оптические датчики могут быть оснащены узкополосными оптическими фильтрами.
Краткое описание чертежей
На фиг. 1А, 1Б представлен способ рендеринга из уровня техники, в котором время рендеринга кадра превышает время отображения кадра на дисплее.
На фиг. 2А представлен способ рендеринга из уровня техники, в котором время рендеринга кадра не превышает времени отображения кадра на дисплее.
На фиг. 2Б представлен способ ALAP-рендеринга, в котором время рендеринга кадра не превышает времени отображения кадра на дисплее.
На фиг. 3 представлен общий вид системы LCMP3D в одном варианте осуществления изобретения.
На фиг. 4 приведена функциональная схема системы LCMP3D в одном варианте осуществления изобретения.
На фиг. 5 представлен способ вычисления 3D-координат маркеров в одном варианте осуществления изобретения.
На фиг. 6 представлен общий вид смарт-камеры в одном варианте осуществления изобретения. На фиг. 7А показан общий вид очков в одном варианте осуществления изобретения. На фиг. 7Б показан общий вид маркера с частично удаленным корпусом в одном варианте осуществления изобретения.
На фиг. 8 представлен общий вид общий вид системы LCMP3D в другом варианте осуществления изобретения.
На фиг. 9 представлен общий вид общий вид системы LCMP3D в еще одном варианте осуществления изобретения.
На фиг. 10 показан общий вид очков в другом варианте осуществления изобретения. На фиг. 11 представлен общий вид общий вид системы LCMP3D в еще одном варианте осуществления изобретения.
На фиг. 12 представлен процесс отображения трехмерных объектов, реализованный в системе LCMP3D в одном варианте осуществления изобретения.
На фиг. 13 представлен процесс поиска маркеров и определения их 2D-координат, реализованный в системе LCMP3D в одном варианте осуществления изобретения.
На фиг. 14 представлен процесс управления следящим окном смарт-камеры в системе LCMP3D в одном варианте осуществления изобретения.
Осуществление изобретения
Качество MP3D систем, основным критерием которого является реалистичность восприятия виртуального мира, определяется качеством стереоскопического разделения, качеством рендеринга и геометрической корректностью проекции.
Качество стереоскопического разделения снижается вследствие гостинга (ghosting) - явления, при котором каждый глаз, помимо предназначенного для него изображения, воспринимает также и изображение, предназначенное для другого глаза. Причиной гостинга могут служить различные факторы, например остаточное свечение люминофора в плазменных экранах или неполное совпадение направления
поляризации при поляризационном стереоскопическом разделении. В настоящее время лучшее качество стереоскопического разделения обеспечивает сочетание DLP-проектора и затворных очков.
Качество рендеринга в целом не является критичным в современных MP3D системах, однако высокая детализация рендеринга и использование специальных эффектов позволяет задействовать психологические механизмы восприятия объема, такие как градиент текстуры, затенение и т.д., что содействует повышению реалистичности восприятия.
Геометрическая корректность проекции 3D-сцены - наиболее значимый показатель качества MP3D системы. Если изображение сформировано для наблюдения из первого положения и демонстрируется наблюдателю, находящемуся во втором положении, то наблюдатель видит объект искаженным, т.е. получает неверную информацию о его форме и пропорциях. Искажения становятся заметными при ошибке позиционирования наблюдателя (расстоянии между первым и вторым положениями) порядка 5% от расстояния между наблюдателем и экраном (что составляет менее 5 мм для большинства систем виртуальной реальности).
На геометрическую корректность проекции влияют точность отслеживания положения наблюдателя и промежуток времени между моментом начала определения положения наблюдателя и моментом вывода изображения на экран. Точность отслеживания непосредственно влияет на корректность проекции виртуального объекта и определяется а) общей геометрической ошибкой, зависящей от архитектуры и геометрии средств отслеживания и качества калибровки и б) ошибки, вносимой шумом. Промежуток времени между моментом начала определения положения наблюдателя и моментом вывода изображения на экран (далее именуемый полной задержкой) является основной причиной геометрической некорректности проекции 3D-сцены в системах MP3D. За время полной задержки движущийся наблюдатель успевает переместиться на некоторое расстояние, которое представляет собой ошибку позиционирования. Как показано далее, в существующих системах MP3D эта задержка составляет более 60 мс. Скорость перемещения наблюдателя может быть порядка 2 м/с, и ошибка позиционирования наблюдателя в таких системах оказывается весьма значительной (более 100 мм).
Полная задержка складывается из нескольких составляющих, возникающих на следующих этапах работы системы.
А. Определение положения наблюдателя.
Определять положение наблюдателя возможно несколькими способами, наиболее широко в системах виртуальной реальности применяется позиционирование с помощью оптических систем. Кроме того, существуют системы позиционирования с использованием ультразвуковых, магнитных и радиочастотных датчиков, но они не получили распространения из-за недостаточной точности позиционирования.
Чаще всего для оптического позиционирования применяют маркеры, закрепляемые на отслеживаемом объекте (например, на очках наблюдателя). Применение маркеров позволяет не только легко идентифицировать отслеживаемый объект на изображении, но и обеспечивает высокую точность определения координат. Помимо систем MP3D, оптическое позиционирование используется в технологиях "захвата движения" (Motion Capture) для записи мимики или движения тела, применяемых в кинематографе и при создании видеоигр.
В отличие от систем, применяемых в 3D-кинематографе, системы MP3D значительно более требовательны к точности и чистоте (незашумленности) данных, поскольку данные о положении маркеров используются тотчас после их получения и не могут корректироваться при последующей обработке.
Помимо систем оптического позиционирования с применением маркеров, существуют системы без применения маркеров, определяющие положение глаз пользователя посредством обработки изображения лица в последовательности кадров, получаемых с видеокамеры. В теории этот подход позволяет значительно расширить область применения систем MP3D, но на практике современные системы отслеживания лица не обладают достаточной точностью позиционирования и, что более важно, они характеризуются чрезвычайной ресурсоемкостью, что приводит к недопустимо большой для систем виртуальной реальности полной задержке (порядка 80-120 мс), что сдерживает применение подобных систем оптического позиционирования в системах MP3D.
Соответствующая современному уровню техники гипотетическая система позиционирования с применением маркеров, реализованная на базе камеры Firefly MV производства компании Point Grey (http://ptgrey.com/) с оптическим сенсором Micron MT9V022, имеет следующие значения составляющих задержки:
съемка кадра (время экспозиции) - 16,6 мс;
считывание данных с сенсора и отправка кадра через порт USB в компьютер - приблизительно 20 мс;
запись кадра в память и обработка данных в компьютере - от 10 до 20 мс в зависимости от вычислительной мощности компьютера и применяемых алгоритмов распознавания отслеживаемого объекта.
Следовательно, суммарная задержка определения положения наблюдателя этой системы составляет приблизительно от 36,6 до 46,6 мс.
Б. Построение трехмерной сцены.
В системах MP3D изображение рассчитывается в реальном масштабе времени и не может быть полностью заранее подготовленным. Технологии формирования изображения в системах MP3D сходны с
технологиями, применяемыми в производстве видеоигр. Однако при построении трехмерных сцен в системах MP3D применяется проекционная матрица с неортогональными осями, и многие алгоритмы построения трехмерных сцен либо полностью несовместимы с таким типом матриц, либо требуют значительных доработок. В первую очередь это относится к эффектам рендеринга в экранном пространстве, таким как SSAO (Screen Space Ambient Occlusion).
Длительность рендеринга определяется объемом 3D-сцены (т.е. зависит от количества геометрических элементов, сложности освещения, наличия и степени проявления дополнительных оптических эффектов) и производительностью GPU (графического процессора, Graphics Processing Unit). Задача ограничения длительности рендеринга периодом вывода одного кадра изображения решается увеличением производительности GPU, а также оптимизацией 3D сцены, и для оценки полной задержки в системе MP3D с частотой вывода кадров 120 Гц среднюю длительность рендеринга можно принять равной 8,3 мс.
Помимо этого, для систем, реализующих временное разделение стереоскопических каналов, характерно дополнительное время ожидания между моментом полной готовности кадра и началом его вывода на устройство отображения, которое может составлять от 0 до 8,3 мс. Максимальная задержка 8,3 мс возникает, например, в случае, когда рендеринг кадра для левого глаза завершается в тот момент, когда начинается вывод кадра для правого глаза, и ожидание вывода кадра для левого глаза равно времени вывода кадра для правого глаза.
Следовательно, время построения трехмерной сцены одного кадра можно оценить в среднем как
8,3+(8,3/2)=12,4 (мс).
В. Отображение изображения на дисплее.
Выбор устройства отображения (дисплея, проектора) прямо влияет на величину полной задержки системы, поскольку большинство современных дисплеев (в отличие от устаревших ЭЛТ-дисплеев) выполняют буферизацию и дополнительную обработку изображения для улучшения его качества, а это приводит к задержке вывода, зачастую весьма существенной. Этот показатель можно обозначить как собственную задержку устройства отображения. Минимальное значение собственной задержки зависит от типа устройства отображения и, как правило, составляет 8,3 мс, но на практике устройства с такой собственной задержкой встречаются довольно редко. В случае плазменных панелей авторам настоящего изобретения неизвестны модели с собственной задержкой менее 30 мс. В случае жидкокристаллических (LCD, Liquid-Crystal Display) 3D дисплеев или проекторов на основе DLP (Digital Light Processing) известны устройства с собственной задержкой, лишь незначительно превышающей 8,3 мс.
Время вывода одного кадра изображения для стереоскопических систем MP3D с частотой 120 Гц составляет 8,3 мс, при этом в зависимости от технологии устройства отображения изображение отображается на экране по-разному: оно может отображаться построчно в течение всего времени вывода кадра, как в LCD-дисплеях, отображаться поканально, как в DLP-проекторах, или отображаться для всего кадра в самом начале периода вывода кадра и далее постепенно угасать, как в плазменных панелях.
В качестве показателя времени вывода изображения на экран можно принять время, прошедшее с начала отображения кадра до момента, когда на сетчатку глаза попала половина фотонов из числа тех, которые должны попасть на нее за время отображения всего кадра. В дальнейшем описании момент времени вывода изображения на экран соответствует именно этому моменту, если явно не указано иначе. В случае с LCD-дисплеями и DLP-проекторами это время составляет половину длительности кадра, т.е. 4,15 мс. В случае с плазменными панелями этот показатель будет несколько меньше, порядка одной трети длительности кадра.
Следовательно, минимальное время вывода изображения на экран на практике составляет
8,3+(8,3/2)=12,4 (мс) для дисплеев с небольшой собственной задержкой (LCD-дисплеев и DLP-проекторов) и
30+(8,3/3)=32,8 (мс) для дисплеев с большой собственной задержкой (плазменных панелей).
Таким образом, типичная для современных систем MP3D полная задержка от начала определения положения наблюдателя до вывода изображения на экран составляет приблизительно от 61,4 до 71,4 мс для дисплеев с небольшой собственной задержкой и от 81,8 до 91,8 мс для дисплеев с большой собственной задержкой, что вызывает значительные геометрические искажения изображения. Эти искажения негативно сказываются на ощущении достоверности виртуальной реальности и приводят к сильному зрительному дискомфорту наблюдателя.
Следует отметить, что в системах MP3D пользователь воспринимает полную задержку не как запаздывание изменения изображения при движении, а как геометрические искажения объектов сцены, в частности вертикальные элементы объектов выглядят как отклоненные от вертикали (т.е. наклоненные), а горизонтальные элементы выглядят как имеющие некорректные пропорции.
В результате таких явлений у наблюдателя может возникать диссонанс между данными, поступающими по зрительным каналам восприятия, и данными от вестибулярного аппарата. Такой диссонанс приводит к проявлению симптомов морской болезни (тошнота, головокружение, головная боль). Такое явление получило название virtual reality motion sickness или VR-sickness.
При этом влияние полной задержки на воспринимаемые наблюдателем геометрические искажения изображения различается для случаев равномерного движения наблюдателя и его движения с ускорени
ем. В частности, авторами настоящего изобретения экспериментально установлено, что перцептивный аппарат человека позволяет относительно безболезненно воспринимать геометрические искажения изображения, возникающие при равномерном движении наблюдателя, в особенности при равномерном прямолинейном движении. В этом случае искажения хоть и существуют, но их характер не изменяется. К примеру, объект кубической формы будет восприниматься пользователем как параллелепипед, но параллелепипед с неизменными параметрами (до тех пор, пока наблюдатель двигается равномерно), а вертикальный объект будет выглядеть наклонным, но не будет раскачиваться из стороны в сторону, провоцируя симптомы морской болезни. В случае же движения с ускорением, особенно при резкой смене направления движения, искажения становятся весьма заметными и крайне неприятными для наблюдателя. Это дополнительно указывает на важность минимизации полной задержки в игровых системах MP3D с характерной для них высокой двигательной активностью наблюдателей.
По оценке авторов настоящего изобретения, для уменьшения геометрических искажений изображения до границы заметности и обеспечения зрительного комфорта наблюдателя полная задержка не должна превышать 5 мс. Реализация системы MP3D для нескольких наблюдателей (многопользовательский режим) накладывает на систему еще более жесткие ограничения. Очевидно, что тривиальной оптимизацией алгоритмов программного обеспечения и совершенствованием существующей аппаратной части систем MP3D достигнуть такого значения полной задержки невозможно.
Указанное значение полной задержки справедливо как для систем без предсказания положения наблюдателя, так и для систем с предсказанием положения наблюдателя, т.е. с временной экстраполяцией координат наблюдателя. В последнем случае эффективная полная задержка представляет собой промежуток времени от момента начала определения положения наблюдателя до момента вывода изображения на экран с учетом компенсации задержки, а основным критерием системы виртуальной реальности становится достоверность предсказания положения пользователя, которая во многом зависит от величины полной задержки до ее компенсации.
Цель настоящего изобретения достигнута за счет реализации системы LCMP3D (Lag Compensated MP3D). Одним из ключевых технических решений LCMP3D является предсказание положения наблюдателя в момент будущего вывода изображения на экран. Это позволяет компенсировать объективно существующую полную задержку таким образом, что реалистичность отображения трехмерных объектов системы LCMP3D не уступает реалистичности гипотетической системы MP3D без компенсации, в которой полная задержка не превышает 5 мс. Следует отметить, что наличие компенсации полной задержки в системе MP3D само по себе не гарантирует реалистичность отображения трехмерных объектов, поскольку предсказание положения наблюдателя носит вероятностный характер и в силу этого является дополнительным источником искажений. Например, компенсация полной задержки величиной 80-120 мс, характерной для систем отслеживания на основе оптического распознавания лица наблюдателя, не способно обеспечить реалистичность отображения трехмерных объектов из-за низкой точности экстраполяции координат наблюдателя на столь значительном временном интервале.
Для достижения показателей системы LCMP3D, при которых возможно достаточно точное предсказание положения наблюдателя и компенсация полной задержки, был разработан комплекс оригинальных конструкторско-технологических и алгоритмических решений, которые в сочетании друг с другом позволили добиться высокой степени реалистичности восприятия объемного изображения в системе виртуальной реальности.
Очевидно, что реалистичность отображения трехмерных объектов в системе с предсказанием положения наблюдателя непосредственно зависит от точности такого предсказания. Известно также, что результаты работы алгоритмов экстраполяции крайне чувствительны к количеству и качеству входных данных. В частности, на точность экстраполяции влияют
а) возраст данных - точность экстраполяции нелинейно и резко снижается при увеличении возраста
данных;
б) объем выборки, по которой производится экстраполяция - точность экстраполяции повышается
при увеличении объема выборки, однако при фиксированной частоте дискретизации повышение объема
выборки сверх некоторого критического значения приводит к снижению точности экстраполяции, что
связано с устареванием данных в начале выборки;
в) зашумленность данных - точность экстраполяции снижается с увеличением уровня шума;
г) горизонт экстраполяции - точность экстраполяции нелинейно и резко снижается с увеличением
горизонта экстраполяции.
Авторы настоящего изобретения опытным путем установили, что для получения высокой достоверности экстраполяции положения наблюдателя в системе LCMP3D горизонт экстраполяции не должен превышать 30 мс, для получения удовлетворительной достоверности экстраполяции горизонт экстраполяции не должен превышать 50 мс.
Поскольку горизонт экстраполяции обусловлен объективно существующей полной задержкой, высокую точность экстраполяции возможно обеспечить лишь за счет остальных трех параметров - максимально возможного уменьшения возраста входных данных, обеспечения оптимального объема выборки, а также снижения зашумленности входных данных.
Для обеспечения необходимого для экстраполяции количества и качества входных данных был реализован целый комплекс технических решений:
применение активных управляемых маркеров;
применение в качестве камер отслеживания "смарт-камер";
применение "следящего окна";
увеличение количества камер отслеживания;
применение ALAP-рендеринга;
калибровка средств отслеживания.
Активные маркеры.
В большинстве систем MP3D применяются пассивные маркеры. Как правило, пассивный маркер представляет собой область на поверхности очков или манипулятора, покрытую световозвращающим материалом. В некоторых случаях пассивный маркер имеет вид небольшого шара (порядка 10 мм в диаметре). При освещении такого маркера источником света, расположенным вблизи объектива камеры отслеживания, маркер виден в кадре как яркая область. Минусом такого метода является необходимость подсветки, что приводит к появлению бликов в кадре. В системе LCMP3D применены активные маркеры, которые сами являются источником света в инфракрасном диапазоне (длина волны приблизительно 850 нм). Активные маркеры позволяют избавиться от бликов и имеют существенно большую яркость, чем пассивные маркеры, что позволяет значительно уменьшить время экспозиции камеры отслеживания при сохранении высокой контрастности изображения. В свою очередь, уменьшение времени экспозиции позволяет уменьшить "смазывание" изображения маркеров при высокой скорости их перемещения, что особенно важно для игровых вариантов системы LCMP3D. В системе LCMP3D время экспозиции составляет порядка 100 мкс, при этом активный маркер на кадре виден как яркая белая область на черном фоне. Это позволило применить в системе LCMP3D особый алгоритм обработки, позволяющий достичь субпиксельной точности позиционирования маркера в кадре за счет анализа яркости пикселей по краям изображения маркера. Этот алгоритм позволил практически полностью избавиться от влияния оптического шума на качество выходных данных, а также достичь точности позиционирования маркера в кадре, равной приблизительно 1/30 пикселя, что, в свою очередь, обеспечило увеличение производительности средств отслеживания за счет снижения размера кадра, а также возможность применения более дешевых матриц камер отслеживания. В системе LCMP3D размер кадра камеры отслеживания составляет 0,36 мегапикселей (матрица 752^480 пикселей). Благодаря небольшому размеру кадра в системе LCMP3D обеспечена высокая скорость считывания кадра, что позволило уменьшить возраст входных данных для алгоритма экстраполяции, а также существенно увеличить "плотность" этих входных данных. Таким образом, применение активных маркеров способствует повышению точности предсказания положения наблюдателя.
Управляемые маркеры.
В системе LCMP3D применены маркеры с управлением по радиоканалу. Использование устройства радиосвязи позволяет дистанционно включать и выключать каждый маркер или группу маркеров, что позволяет однозначно идентифицировать маркеры, что особенно важно при инициализации системы или при сбое отслеживания. Однако отсутствие свечения маркера приводит к отсутствию его изображения в соответствующем кадре камеры отслеживания, следовательно, производить данную процедуру следует по возможности реже и только в те моменты, где данные об их положении восстановимы (например, при равномерном линейном перемещении наблюдателя). Возможность управления активными маркерами также дает возможность значительной экономии заряда аккумулятора очков или манипулятора и, соответственно, увеличения времени их непрерывной работы, поскольку позволяет включать активные маркеры синхронно со срабатыванием электронных затворов камер отслеживания. Синхронизация работы маркеров и камер отслеживания обеспечивает повышение импульсной мощности излучения маркеров без превышения допустимой средней мощности источников света маркеров, следовательно, обеспечивает весьма короткое время экспозиции камер отслеживания с сохранением высокой контрастности кадров и, таким образом, способствует увеличению производительности средств отслеживания.
Смарт-камеры.
Передача изображения с камер отслеживания на компьютер занимает значительное время, поэтому было принято решение обрабатывать изображение непосредственно в камере. В первом опытном образце системы LCMP3D были применены камеры LeanXcam (Supercomputing Systems AG, Zurich, Switzerland) со встроенным процессором Blackfin ADSP-BF537, работающие под управлением операционной системы |j.CLinux. Это решение позволило перенести обработку кадров с CPU компьютера непосредственно в камеры, распределить ее вычислительную нагрузку между камерами и достигнуть средней производительности средств отслеживания, равной приблизительно 350 кадрам в секунду. Следующим шагом в этом направлении стала разработка новых смарт-камер, оптимизированных для LCMP3D. Максимальная производительность новых камер составила более 900 кадров в секунду, камеры стали существенно устойчивей к внешним физическим воздействиям (колебаниям температуры, вибрации, ударам). Кроме того, примененные технические решения при необходимости позволяют начинать обработку кадра еще до
окончания считывания всего кадра, что обеспечивает дополнительные возможности для увеличения производительности средств отслеживания. Следящее окно.
В высокопроизводительных системах отслеживания положение маркера в кадре N и в кадре N+1 отличается незначительно. Это дает возможность заранее определить следящее окно, т.е. ту область кадра, которую следует считать с матричного оптического датчика камеры отслеживания в следующем кадре вместо чтения полного кадра. Это позволяет существенно сократить время на чтение данных с матричного оптического датчика и время их последующей обработки. В системе LCMP3D управление размером следящего окна и его положением в кадре осуществляется путем сочетания централизованного и децентрализованного принципов управления: компьютер выполняет "стратегическое" управление, определяя, какие именно маркеры должна отслеживать каждая камера, а смарт-камеры самостоятельно выполняют "оперативное" управление, определяя размеры и положение следящего окна. В случае "потери" смарт-камерой маркера (например, когда маркер закрыт от камеры рукой наблюдателя, другим наблюдателем или иным предметом) с компьютера в эту камеру передается информация, позволяющая вновь "захватить" маркер и возобновить его отслеживание.
Увеличение количества камер отслеживания.
В многопользовательской системе LCMP3D использовано не менее трех камер отслеживания. По сравнению с традиционным для существующих систем MP3D количеством камер (одна или две) это позволило существенно повысить надежность отслеживания в ситуациях, когда маркеры случайно оказываются закрытыми от камер, и создать эффективный алгоритм фильтрации мешающих источников излучения (отопительных приборов, ламп накаливания, вспышек и дальномеров фотоаппаратов и видеокамер и т.п.). Кроме того, это дало возможность повысить точность позиционирования маркеров. Чем ближе маркер расположен к камере, тем больше пикселей его изображение занимает в кадре и тем выше точность работы алгоритма субпиксельного позиционирования. Это позволяет назначать весовые коэффициенты для данных позиционирования, получаемых с разных камер, и использовать их при определении положения наблюдателя. В частности, данные с камеры, к которой маркер расположен ближе, вносят больший вклад в формирование конечного результата.
ALAP-рендеринг.
В оптимизированной системе MP3D время рендеринга одного кадра не должно превышать времени вывода кадра на экран (например, 8,3 мс для систем MP3D с частотой вывода кадров 120 Гц). В противном случае возникает ситуация, когда буфер вывода кадра модифицируется непосредственно во время вывода, а это приводит к тому, что на экране отображается составной кадр, частично состоящий из изображения одного кадра и частично - из другого. На фиг. 1А представлена ситуация, когда рендеринг кадров L2, L3, L7, L8 для левого глаза и кадров R2, R3, R7, R8 для правого глаза завершается во время вывода предыдущего кадра для соответствующего глаза. В результате наблюдателю демонстрируются составные кадры L1/L2, L2/L3, L6/L7, L7/L8 для левого глаза и R1/R2, R2/R3, R6/R7, R7/R8 для правого глаза, и при изменении положения наблюдателя относительно объекта изображения наблюдается эффект дрожания этого объекта на изображении. Кроме того, эффект дрожания объекта на изображении при изменении положения наблюдателя относительно изображения возникает также вследствие того, что кадры отображаются с различной степенью запаздывания относительно того времени, когда они должны отображаться. На фиг. 1А видно, что наблюдается запаздывание AtL1, AtL4, AtL5, AtL6 и AtL9 на кадрах L1, L4, L5, L6 и L9 для левого глаза и AtR4, AtR5 и AtR9 на кадрах R4, R5 и R9 для правого глаза. Полностью корректно воспроизводятся лишь кадры R1 и R6 для правого глаза. Первую проблему (неоднородность кадра) решает вертикальная синхронизация, но она усугубляет вторую проблему (дрожание объектов). На фиг. 1Б представлена ситуация, когда за счет вертикальной синхронизации в изображении отсутствуют составные кадры, но различная степень запаздывания наблюдается на всех кадрах, кроме кадров R1 и R6 для правого глаза, а кадры L1 и L6 для левого глаза и кадры R1 и R6 для правого глаза воспроизводятся дважды.
Тем не менее, даже если время рендеринга одного кадра существенно меньше времени вывода кадра на экран, возникает ситуация, когда рендеринг кадра уже завершен, но система еще не готова его выводить (например, идет вывод кадра для другого глаза). Возникает ожидание от момента готовности кадра до начала его вывода, а некоторые кадры, рендеринг которых завершен, могут и вовсе не попасть на экран, что также приводит к дрожанию изображения. На фиг. 2А представлена ситуация, когда время ожидания увеличивается для кадров L1, L2, L3 и L4, а кадр L5 выпадает из последовательности отображения, затем время ожидания увеличивается для кадров L6, L7, L8 и L9, а кадр L10 выпадает из последовательности отображения и т.д. Аналогичное увеличение времени ожидания наблюдается для кадров R5, R6, R7 и R8, а кадр R9 выпадает из последовательности отображения. Помимо дрожания изображения, это приводит к излишней вычислительной нагрузке на GPU, поскольку часть времени тратится на рендеринг кадров, которые не попадают на экран. Эти недостатки позволяет устранить применение рендеринга ALAP (As Late As Possible) - способа, в котором на основе показателей сложности сцены и производительности GPU прогнозируется время рендеринга кадра, и время начала рендеринга вычисляется таким
образом, чтобы рендеринг закончился непосредственно перед началом вывода кадра на устройство отображения. На фиг. 2Б представлен ALAP-рендеринг, при котором момент времени начала рендеринга каждого кадра (например, R1) сдвинут относительно момента времени конца рендеринга предыдущего кадра (например, L1) на определенную величину (например, AtL1R1). Это позволяет практически полностью устранить упомянутую дополнительную задержку, связанную с ожиданием вывода кадра, и предотвратить дрожание изображения. Кроме того, применение ALAP-рендеринга позволяет использовать для экстраполяции координат маркеров максимально свежие данные с камер, что способствует повышению точности предсказания положения наблюдателя. Калибровка средств отслеживания.
В системе LCMP3D применена калибровка по облаку точек. Исходными данными для алгоритма является последовательность данных некалиброванных средств отслеживания, т.е. для первичной калибровки достаточно перемещать включенный маркер в области видимости камер в течение приблизительно 30 с, а вся процедура калибровки занимает порядка 5 мин. Для последующей самодиагностики средств отслеживания с целью контроля точности и надежности отслеживания, как правило, достаточно данных, формируемых во время работы системы LCMP3D.
На фиг. 3 представлен общий вид одного варианта осуществления изобретения в виде демонстрационного стола для трехмерных презентаций. Система (10) LCMP3D содержит несущую конструкцию (16), дисплей (18), четыре смарт-камеры (17) отслеживания, компьютер (19), одни или несколько очков (12) и один или несколько манипуляторов (13) для наблюдателей. Наблюдатель имеет возможность наблюдать трехмерное изображение на дисплее (18) сквозь очки (12), при этом изображение корректно изменяется в соответствии с положением глаз каждого наблюдателя при его перемещении вблизи стола в верхней полусфере над плоскостью экрана дисплея.
На фиг. 4 приведена функциональная схема системы LCMP3D в варианте осуществления, представленном на фиг. 3. Для облегчения понимания настоящего изобретения на фиг. 4 показаны лишь устройства, функции которых специфичны для данного варианта реализации системы (10) LCMP3D. В несущей конструкции (16) смонтирован дисплей (18), четыре смарт-камеры (17) и компьютер (19). Кроме того, в состав системы (10) LCMP3D входят по меньшей мере одни очки (12). Для воздействия на виртуальные объекты может использоваться по меньшей мере один манипулятор (13). Следует отметить, что в состав системы (10) LCMP3D входят и другие части, обеспечивающие функционирование этой системы. В частности, очки, манипуляторы, компьютер и смарт-камеры по мере необходимости содержат источники питания, средства индикации и управления, интерфейсы, линии передачи данных, несущие и ограждающие конструкции, а также иные элементы, обеспечивающие выполнение технических, эргономических и эстетических требований.
Дисплей (18) представляет собой так называемую плазменную панель с размером экрана 1268 мм по диагонали, обеспечивающую вывод изображения размером 1280*720 пикселей с частотой 120 кадров в секунду, динамической контрастностью 5000000:1 и собственной задержкой приблизительно 30 мс, например TH-50PF50E (Panasonic, http://www.panasonic.com/). Помимо плазменных панелей, возможно использование и других видов дисплеев с аналогичными или лучшими характеристиками.
Следует отметить, что дисплей с указанными характеристиками обеспечивает хорошее качество стереоскопического изображения для одного наблюдателя (с частотой смены кадров 60 Гц и скважностью 2 для каждого глаза наблюдателя). Появление на рынке более совершенных дисплеев и интерфейсов для передачи изображения позволит увеличить количество пользователей без существенного изменения архитектуры и принципа действия системы (10) LCMP3D. В частности, применение дисплея высокой четкости (HD, High Definition) с частотой вывода изображения 240 кадров в секунду обеспечит хорошее качество стереоскопического изображения для двух наблюдателей, а с частотой 360 кадров в секунду - для трех наблюдателей.
Компьютер (19) представляет собой компьютер общего назначения традиционной архитектуры, содержащий, помимо прочего, специализированное программное обеспечение системы LCMP3D. Функции устройств в составе компьютера (19), представленных на фиг. 4, реализованы сочетанием аппаратных средств (общего назначения и специализированных), программного обеспечения общего назначения (где это применимо) и специализированного программного обеспечения системы (10) LCMP3D.
Устройство (191) радиосвязи компьютера предназначено для обеспечения связи между компьютером (19) с одной стороны и очками (12) и манипулятором (13) с другой стороны. В одном варианте осуществления радиоканал (14) действует в диапазоне частот 2,4 ГГц с модуляцией GFSK, реализован с применением контроллера радиоканала nRF24L01 и протокола Enhanced ShockBurst (Nordic Semiconductor, http://www.nordicsemi.com/) и обеспечивает дальность устойчивой связи порядка 10 м. Для реализации радиоканала (14) возможно использование и других подобных технических решений.
Устройство (194) предсказания 2D-координат маркеров на основании данных, полученных с камер отслеживания, прогнозирует положение изображения маркеров в кадре каждой камеры отслеживания в определенный момент времени в будущем, реализуя компенсацию полной задержки. Следует отметить, что с применением предсказания определение положения наблюдателя приобретает вероятностный характер.
Устройство (196) вычисления 3D-координат маркеров вычисляет координаты маркеров в трехмерном пространстве. Принцип вычисления 3D-координат проиллюстрирован на фиг. 5. Вычисление 3D-координат маркеров выполняется на основе 2D-координат маркеров, полученных с использованием данных о положении опорной точки, а также на основе функции объектива и значений углового рассогласования каждой камеры. Опорная точка представляет собой точку пересечения главной оптической оси объектива с рабочей поверхностью матричного оптического датчика камеры отслеживания. Функция объектива представляет собой зависимость положения точки на рабочей поверхности матричного оптического датчика камеры отслеживания от угла между лучом, проходящим через центр рабочей поверхности матричного оптического датчика и точку расположения условного центра маркера, и нормалью к рабочей поверхности матричного оптического датчика. Функция объектива в общем случае является нелинейной и несимметричной и зависит от оптических свойств объектива камеры отслеживания и от юстировки объектива относительно матричного оптического датчика. Угловое рассогласование - комплексный параметр, включающий в себя угловое отклонение реального положения главной оптической оси объектива камеры от положения оси, заданного в настройках камеры, и угол поворота матричного датчика камеры относительно положения, заданного в настройках камеры.
На основе 2D-координат маркеров функции объектива и значений углового рассогласования определяется направление на точку, соответствующую центру маркера, для каждой камеры отслеживания (в данном случае четыре камеры #1, #2, #3, #4). В идеальной системе все лучи, соответствующие этим направлениям, должны пересечься в точке центра маркера. В реальной системе, даже с учетом калибровки, эти лучи могут не пересекаться, а проходить достаточно близко друг друга в некоторой области пространства вблизи центра маркера. За точку их пересечения в пространстве принимается точка A, для которой среднеквадратичное расстояние до лучей минимально.
Устройство (193) управления следящим окном на основании 3D-координат маркеров определяет параметры (размеры и положение в кадре) следящего окна, которые при необходимости передаются устройству (173) управления следящим окном и используются устройством (172) считывания и обработки сигнала при считывании данных с матричного оптического датчика (171) смарт-камеры (17). Кроме того, 3D-координаты маркеров используются в качестве входных данных устройством (198) построения 3D-сцены непосредственно или после их обработки устройством (197) логики. Непосредственное использование 3D-координат маркеров возможно в однопользовательском варианте системы (10) LCMP3D, где применяются лишь одни очки, а манипулятор не содержит маркеров. В случае многопользовательской системы (10) LCMP3D с использованием нескольких очков (и, возможно, нескольких манипуляторов, снабженных маркерами) данные с устройства (196) вычисления 3D-координат маркеров обрабатываются устройством (199) идентификации маркеров, в котором определяется принадлежность каждого маркера тому или иному пользовательскому устройству (очкам или манипулятору), и устройством (197) логики, в котором учитывается игровая логика (т.е. законы игры) и физическая логика (т.е. законы природы) и с которого данные поступают в устройство (198) построения 3D-сцены. Данные с устройства (199) идентификации маркеров могут также передаваться устройству (191) радиосвязи компьютера для управления маркерами (в частности, для адресного гашения или предотвращения включения маркеров с целью облегчения их идентификации в процессе инициализации или при нарушении отслеживания).
Устройство (192) вывода изображения обеспечивает формирование сигнала изображения, выводимого на дисплей (18) и представляющего собой последовательность сигналов изображений для левого и правого глаза наблюдателя, в том числе для нескольких наблюдателей в многопользовательской системе (10) LCMP3D, на основе информации от устройства (198) построения 3D-сцены.
Устройство (195) синхронизации обеспечивает установку единого времени для компьютера (19), очков (12), манипуляторов (13) и смарт-камер (17), а также синхронизацию срабатывания затворов камер и включения маркеров.
Смарт-камеры (17) предназначены для отслеживания положения маркеров. Один вариант конструктивной реализации смарт-камеры (17) представлен на фиг. 6. Смарт-камеры (17) расположены в верхней части несущей конструкции (16), при этом объективы (174) камер расположены, по существу, в плоскости экрана дисплея (18) вблизи его углов и ориентированы в направлении вверх. Матричный оптический датчик (171) смарт-камеры (17) снабжен объективом (174) и смонтирован на несущей конструкции (175), имеющей с двух сторон фланцы (176) для крепления к несущей конструкции (16) стола. Фланцевое крепление смарт-камеры (17) обеспечивает жесткость конструкции, необходимую для обеспечения высокой стойкости системы LCMP3D к вибрационным и ударным нагрузкам. Смарт-камера (17) содержит также устройство (172) считывания и обработки и устройство (173) управления следящим окном. Кроме того, смарт-камеры (17) могут быть оснащены узкополосными светофильтрами для снижения влияния мешающих источников света на средства отслеживания. Устройство (173) управления следящим окном также содержит средства передачи информации по линии связи, соединяющей смарт-камеры (17) между собой и с компьютером (9).
Очки (12) предназначены для временного разделения стереоскопического изображения для левого и правого глаза наблюдателя. На фиг. 7 показан один вариант конструктивной реализации очков (12), которые содержат стереоскопические очки (120) и маркеры (121). Стереоскопические очки (120) содержат
оптические затворы и средства управления оптическими затворами. Сами по себе стереоскопические очки (120) хорошо известны в данной области техники, поэтому их подробное описание опущено.
В этом варианте осуществления изобретения очки (12) реализованы на базе стереоскопических очков (120) XPAND Universal 3D Glasses (X6D Ltd, http://www.xpand.me/), которые дополнительно оборудованы двумя маркерами (121). Стереоскопические очки (120) в этом случае управляются посредством ИК-сигнала управления, т.е. синхронизация оптических затворов очков (120) с дисплеем (18) выполняется ИК-сигналом, излучаемым источником (11) ИК-излучения (см. фиг. 3). Очки (12) могут быть реализованы и на базе других стереоскопических очков подобной конструкции и с подобными характеристиками, например 3D Vision 2 Wireless Glasses (NVIDIA Corp., http://www.nvidia.com/), с управлением по ИК-каналу или радиоканалу (например, Bluetooth).
Маркер (121) содержит схему (125) управления, по меньшей мере один излучатель (123), по меньшей мере один источник (124) питания, по меньшей мере одно устройство (122) радиосвязи, по меньшей мере один индикатор (126) режима работы маркера, по меньшей мере одну кнопку (127) управления режимом работы маркера и по меньшей мере один электрический соединитель (128). Дополнительно маркер (121) может содержать устройство (129) ориентации. Излучатели (123) могут быть оснащены узкополосными светофильтрами для снижения влияния мешающих источников света на средства отслеживания.
Очки и маркеры могут быть изготовлены в виде единой конструкции и иметь общие каналы управления (например, радиоканал), единый источник питания и единый разъем для зарядки. В другом варианте осуществления очки могут не иметь электрического соединителя для подзарядки, в этом случае зарядка источника питания осуществляется индукционно. Очки могут не иметь кнопок управления и находиться в режиме ожидания, когда они не используются. В этом случае команда на включение маркеров и включение оптических затворов подается по каналу управления. Дополнительно очки могут содержать и иные устройства, например, излучатели звука, источники вибрации и дисплеи дополненной реальности (augmented reality displays), обеспечивающие пользователю дополнительную информацию в числовом, текстовом или графическом виде.
Схема (125) управления осуществляет управление излучателем (123) сигнала в ИК-диапазоне. Управление каждым маркером выполняется по радиоканалу (14) через устройство (122) радиосвязи. Индикатор (126) режима работы маркера предназначен для индикации рабочего состояния маркера и уровня заряда источника (124) питания. Информация об уровне заряда источников питания источника (124) питания может по радиоканалу поступать в компьютер и отображаться на панели управления. Включение и выключение маркера, а при необходимости также и переключение режимов работы маркера выполняется с помощью кнопки (127). Зарядка источника (124) питания производится через электрический соединитель (128), он же при необходимости служит также для конфигурирования и диагностирования маркера (121).
Манипулятор (13) предназначен для воздействия на изображение и/или на ход игры. Манипулятор (13) может содержать органы управления (например, кнопки, кнюпельные механизмы (джойстики), ша-рово-кнюпельные механизмы (трекболы), сенсорные поверхности (тачпады) и т.п.), которые хорошо известны в данной области техники, и их описание опущено. В системе (10) LCMP3D игрового назначения манипулятор (13) может представлять собой изделие, изображающее то или иное оружие или инструмент, который игрок держит в руке, жетон или манжету, закрепляемую на той или иной части тела игрока, либо любое другое приспособление, оправданное с точки зрения сюжета и механики игры.
Следует отметить, что на фиг. 4 представлена функциональная схема манипулятора, предназначенного для работы в качестве средства целеуказания (т.е. для воздействия на заранее определенные части изображения). Такой манипулятор (13) позволяет системе (10) отслеживать его положение и ориентацию в пространстве и для этой цели оснащен маркерами (132), содержащими излучатели (133). В случае если манипулятор используется для отслеживания положения и ориентации в пространстве тела или части тела наблюдателя, такой манипулятор может содержать один маркер (132). В случае если манипулятор используется лишь для воздействия на все изображение в целом (например, вращение, перемещение, приближение, удаление и т.п.), отслеживать его положение и ориентацию в пространстве не требуется и маркеры (132) могут отсутствовать.
Устройство (139) ориентации содержит устройства, позволяющие системе (10) LCMP3D определять не только положение в пространстве, но и ориентацию манипулятора (13). Устройство (139) ориентации может содержать по меньшей мере одно из следующих устройств: гироскоп, акселерометр, магнетометр. Совместное использование данных ориентации, получаемых с этих устройств, позволяет более точно определять ориентацию манипулятора (13). Например, усреднение данных акселерометра на временном промежутке порядка 60 с позволяет с приемлемой точностью определить направление "вниз", т.е. к центру масс Земли, и компенсировать дрейф данных гироскопа. Применение быстродействующего твердотельного магнетометра в условиях искусственно созданного магнитного поля заранее известной ориентации вблизи системы (10) LCMP3D также позволяет калибровать гироскоп. Кроме того, совместное использование гироскопа, акселерометра и/или магнетометра позволяет с высокой точностью экстраполировать положение манипулятора (13) в пространстве в ситуациях, когда один или несколько маркеров
(132) закрыты от камер отслеживания и надежное оптическое слежение оказывается невозможным. Сказанное выше применительно к устройству (139) ориентации манипулятора, по существу, справедливо также и в отношении устройства (129) ориентации очков.
На фиг. 8 представлен общий вид другого варианта осуществления изобретения в виде однопользовательской настольной системы, предназначенной для научных, инженерных, образовательных или развлекательных целей. Система (20) LCMP3D содержит несущую конструкцию (26), проектор (24), три смарт-камеры (27), компьютер (29), очки (22) и один или несколько манипуляторов (23 ) для наблюдателя, а также источник (21) ИК-сигнала для синхронизации оптических затворов очков (22). Наблюдатель имеет возможность наблюдать трехмерное изображение на проекционном экране (28), расположенном на рабочей поверхности стола, сквозь очки (22), при этом изображение корректно изменяется в соответствии с положением глаз наблюдателя при его перемещении вблизи стола в верхней полусфере над плоскостью экрана. В качестве проектора (24) может быть использован DLP-проектор, обеспечивающий вывод изображения размером 1280*800 пикселей с частотой 120 кадров в секунду, динамической контрастностью 3000:1 и средним временем отклика 8,5 мс, например WD720U (Mitsubishi, http://www.mitsubishi.com/). Вместо системы прямой оптической проекции в данном варианте осуществления изобретения может использоваться система обратной оптической проекции, в которой проектор (24) расположен под рабочей поверхностью стола, в которую встроен экран (28) для обратной проекции. Вместо синхронизации оптических затворов очков (22) по ИК-каналу может быть использована синхронизация по радиоканалу.
Применение в системе (20) LCMP3D по фиг. 8 трех смарт-камер (27) обеспечивает высокую надежность отслеживания положения наблюдателя, но система (20) LCMP3D по фиг. 8 сохраняет работоспособность и с двумя смарт-камерами (27), поскольку закрывание маркеров очков (22) от смарт-камер (27) какими-либо предметами в такой системе маловероятно.
На фиг. 9 представлен общий вид еще одного варианта осуществления изобретения в виде однопользовательской или многопользовательской игровой системы напольного исполнения. В целом, система (30) LCMP3D по составу и функциям подобна системе, представленной на фиг. 8, и отличается форм-фактором, т.е. содержит более крупный экран (38), который может представлять собой проекционную панель для прямой или обратной проекции, расположенную на поверхности пола или встроенную в пол или в настил, либо плазменную или жидкокристаллическую панель, встроенную в пол или в настил (или несколько панелей, соединенных так называемым бесшовным способом). В частности, на фиг. 9 представлена система (30) LCMP3D с прямой проекцией изображения от проектора (34). Другим отличием системы (30) LCMP3D от системы (20) LCMP3D является количество камер (37) отслеживания (не менее четырех) и их расположение (над игровой зоной, например на потолке помещения либо на мачтах или иных несущих конструкциях в помещении или вне помещения). Еще одним отличием является применение очков (32) иной конструкции (см. фиг. 10), в которой маркеры (321) расположены таким образом, чтобы обеспечить их минимальное затенение (перекрывание) другими предметами при движении наблюдателя и, таким образом, обеспечить максимальную свободу передвижения наблюдателя при соблюдении условия надежного отслеживания положения маркеров. Еще одним отличием является применение манипулятора (33), содержащего устройство ориентации, подобное описанному ранее устройству (139) ориентации.
На фиг. 11 представлен общий вид еще одного варианта осуществления изобретения в виде многопользовательской игровой системы напольного исполнения. В целом, система (40) LCMP3D по составу и функциям подобна системе, представленной на фиг. 9, и отличается тем, что отслеживание положения маркеров очков (42) и по меньшей мере одного манипулятора (43) каждого из наблюдателей (которые в данном случае являются игроками) позволяет с достаточной степенью точности отслеживать изменение положения в пространстве и позу, по меньшей мере, части тела каждого игрока для воспроизведения на экране (48) в виде изменяющегося во времени положения в пространстве и позы соответствующего персонажа игры. Следует отметить, что компенсация полной задержки в системе (40) LCMP3D обеспечивает не только отсутствие заметных геометрических искажений изображения, но и синхронность движений игрока и соответствующего ему персонажа игры.
Представленные выше варианты осуществления изобретения в виде систем (10, 20, 30, 40) LCMP3D с дисплеем или дисплеями, расположенными в одной плоскости, могут быть реализованы также в виде систем (10, 20, 30, 40) LCMP3D с дисплеем или дисплеями, расположенными в разных плоскостях, например в виде виртуальных комнат (CAVE, Cave Automatic Virtual Environment) и т.п., а также с дисплеем или дисплеями с неплоскими экранами, например, образующими экран в виде полусферы, для реализации систем с "полным погружением" (immersive VR systems).
Способ отображения трехмерных объектов, реализуемый в системе LCMP3D, представлен в виде блок-схемы алгоритма на фиг. 12.
На шаге (50) выполняется включение и инициализация камер отслеживания.
На шаге (51) выполняется формирование карты освещенности при выключенных маркерах. Это необходимо для определения посторонних мешающих источников ИК-излучения и исключения (или, по меньшей мере, снижения) их влияния на точность отслеживания маркеров. Фильтрация посторонних
источников ИК-излучения выполняется вычитанием изображения, полученного с камер отслеживания при выключенных маркерах, из изображения, полученного с камер отслеживания при включенных маркерах. Для повышения надежности фильтрации формирование карты освещенности выполняется при увеличенной экспозиции по сравнению с рабочей экспозицией.
На шаге (52) выполняется включение маркеров по команде с компьютера, передаваемой через устройство радиосвязи компьютера.
На шаге (53) выполняется синхронизация камер отслеживания по команде с компьютера, передаваемой через устройство синхронизации. В случае несинхронной работы камер отслеживания при перемещении пользователя они фиксируют положение маркеров в разное время и, как следствие, в разных местах. В результате ухудшается достоверность 2D-координат маркеров, вычисляемых на шаге (55), что приводит к снижению точности экстраполяции 2D-координат маркеров, в свою очередь, это вызывает "размывание" 3D-координат маркеров, вычисляемых на шаге (58), что приводит к снижению точности отслеживания положения наблюдателя и, таким образом, снижает реалистичность объемного изображения. Необходимым условием синхронизации является обеспечение единого времени во всех камерах отслеживания, в очках, маркерах и в компьютере.
При синхронизированной работе системы NMP3D происходит упреждающая подача команд на считывание кадра и включение соответствующего маркера или нескольких маркеров. Эти команды может подавать одна камера отслеживания, являющаяся ведущей по отношению к другим камерам отслеживания, либо такую команду может подавать устройство синхронизации.
На шаге (54) выполняется калибровка средств отслеживания. Результатом калибровки являются данные о положении опорной точки, функция объектива и значения углового рассогласования каждой камеры. Данные о положении опорной точки далее передаются в соответствующие смарт-камеры, а функция объектива и значения углового рассогласования каждой камеры - в компьютер.
На шаге (55) выполняется обнаружение маркеров на изображениях, получаемых с матричных оптических датчиков камер отслеживания, и определение 2D-координат маркеров, т.е. расчет их положения в координатной сетке соответствующего кадра камеры отслеживания. Подробно процесс обнаружения маркеров и определения их 2D-координат описан далее со ссылкой на фиг. 13.
На шаге (56) выполняется отсечение ложных маркеров. Ложными маркерами являются сторонние источники ИК-излучения, изображение которых в кадре оказывается подобным изображению маркеров и не отбраковывается в процессе, представленном на фиг. 14. Для отсечения ложных маркеров используется изображение с кадров, на которых отсутствуют заранее известные маркеры, выключенные на некоторое время по команде устройства идентификации маркеров. Изображение таких особых кадров, на которых намеренно отсутствуют определенные маркеры, но присутствуют помехи, используется для устранения (или, по меньшей мере, снижения) влияния сторонних источников ИК-излучения, например путем вычитания из изображения рабочих кадров. Для снижения затрат ресурсов предпочтительно изображение таких особых кадров считывать лишь в пределах следящего окна.
На шаге (57) выполняется управление следящим окном. Подробно процесс управления следящим окном описан далее со ссылкой на фиг. 14.
На шаге (58) выполняется экстраполяция 2D-координат маркеров для компенсации полной задержки. В простейшем случае экстраполяция 2D-координат маркеров представляет собой линейную экстраполяцию. В других случаях может применяться нелинейная экстраполяция, например кубическая, бикубическая, сплайновая и т.п. Выбор алгоритма экстраполяции может осуществляться автоматически в зависимости от ожидаемого характера движения наблюдателей и от загруженности процессора компьютера в конкретной конфигурации системы LCMP3D. Зависимость алгоритма экстраполяции от ожидаемого характера движения наблюдателей определяется тем, что движение с ускорением сложнее предсказать, чем равномерное движение. Горизонт экстраполяции определяется временем полной задержки в конкретной конфигурации системы LCMP3D без экстраполяции и выбирается такой, чтобы эффективная полная задержка в системе LCMP3D с экстраполяцией не превышала 5 мс. Например, в одном варианте осуществления системы (10) LCMP3D полная задержка без компенсации составляет приблизительно 50,6 мс, в том числе время работы средств отслеживания 4 мс, время построения трехмерной сцены 8,3 мс, отображение изображения на дисплее 38,3 мс, следовательно, горизонт экстраполяции в такой системе составляет приблизительно 45,6 мс.
На шаге (59) выполняется определение 3D-координат маркеров, т.е. расчет их положения в трехмерном пространстве. 3D-координаты маркеров рассчитываются на основе экстраполированных 2D-координат, вычисленных для каждой из камер отслеживания. Расчет осуществляется в компьютере с использованием результатов калибровки - функции объектива и значений углового рассогласования.
Следует отметить, что в одном из вариантов осуществления изобретения вместо экстраполяции 2D-координат маркеров может применяться экстраполяция 3D-координат маркеров, т.е. в этом случае текущие 2D-координаты маркеров могут передаваться в компьютер, где на их основе может выполняться определение 3D-координат маркеров, и уже эти 3D-координаты маркеров могут подвергаться экстраполяции в устройстве предсказания 3D-координат маркеров (не показано на фиг. 4). В еще одном из вариантов осуществления изобретения экстраполяция 2D-координат маркеров может выполняться в смарт
камерах (которые в этом случае содержат устройство предсказания 2D-координат маркеров, не показанное на фиг. 4), а экстраполяция 3D-координат маркеров может выполняться в компьютере, при этом для экстраполяции 2D-координат и 3D-координат маркеров могут быть использованы разные алгоритмы и/или разные горизонты экстраполяции. В еще одном из вариантов осуществления изобретения экстраполяция 3D-координат маркеров может полностью или частично выполняться в смарт-камерах. Выбор режима (2D/3D) и алгоритма (линейный/нелинейный) экстраполяции может осуществляться автоматически в зависимости от ожидаемого характера движения наблюдателей и от загруженности процессоров смарт-камер и/или компьютера в конкретной конфигурации системы LCMP3D.
На шаге (60) выполняется идентификация маркеров. Идентификация маркеров не является обязательной в системах (10) и (20) LCMP3D в однопользовательском режиме без применения манипуляторов, оснащенных маркерами, и необходима во всех остальных случаях. В однопользовательском режиме в системах (10) и (20) LCMP3D предполагается, что левый маркер очков всегда находится слева от глаз наблюдателя, а правый маркер очков всегда находится справа от глаз наблюдателя, т.е. переворот очков нижней стороной вверх не допускается. В многопользовательском режиме всех вариантов системы LCMP3D, а также в системах (30) и (40) LCMP3D переворот очков нижней стороной вверх может встречаться, что связано с необходимостью обеспечения свободы движения игроков в соответствии со сценарием игры и/или с учетом возможных проявлений азарта игроков. В таких системах также возможен и переворот манипуляторов нижней стороной вверх, в том числе оснащенных более чем одним маркером. Идентификация маркеров осуществляется устройством идентификации маркеров. В частности, для первичной идентификации маркеров применяется пауза в излучении маркера в заранее заданный момент времени на заранее заданное непродолжительное время (например, маркер может не включаться в один из периодов его обычной работы), что позволяет определить пропавший и затем вновь появившийся маркер. В дальнейшем идентификация маркеров осуществляется за счет отслеживания перемещения маркера в пределах кадра. При необходимости может выполняться повторная идентификация маркеров, подобная описанной выше первичной идентификации.
В другом варианте осуществления идентификация маркеров может осуществляться путем соотнесения заранее известной информации о взаимном расположении в пространстве маркеров конкретного устройства (очков или манипулятора) с вычисленными 3D-координатами маркеров, при этом каждое устройство может содержать более двух маркеров. В этом варианте осуществления каждое устройство характеризуется уникальным расположением маркеров. Такой вариант может применяться, если, например, вследствие высокой двигательной активности наблюдателей идентификация маркеров за счет отслеживания перемещения маркера в пределах кадра оказывается ненадежной, а частая повторная идентификация маркеров посредством паузы в излучении маркера нежелательной.
На шаге (61) выполняется построение 3D-сцены, т.е. формирование изображения для каждого глаза каждого наблюдателя. За построение 3D-сцены отвечает специализированное программное обеспечение (так называемый "3D-движок"), например в системах (10) и (20) LCMP3D достаточно использования 3D-движка Unity (Unity Technologies, http://unity3d.com/), в системах LCMP3D с большими составными экранами (так называемыми "полиэкранами") целесообразно использовать 3D-движок, поддерживающий несколько GPU, предпочтительно с открытым исходным кодом, собственной разработки или выполненный на заказ.
На шаге (62) выполняется вывод изображения на дисплей. При этом обеспечивается вывод изображения для каждого глаза каждого из наблюдателей в требуемом порядке и синхронизация стереоскопических очков.
На фиг. 13 представлен процесс обнаружения маркеров и определения их 2D-координат. Этот процесс выполняется независимо в каждой смарт-камере, и его результатом являются данные о каждом маркере - координаты взвешенного центра контура изображения маркера в кадре камеры отслеживания, размер этого контура и интегральный показатель яркости изображения маркера, которые далее передаются в компьютер для дальнейшей обработки.
Следует отметить, что весьма важным фактором в этом процессе является выбор экспозиции. Оптимальной можно считать экспозицию, при которой наиболее яркая точка маркера находится практически на верхней границе динамического диапазона камеры. Это позволяет получить наиболее точное взвешенное значение координат центра контура.
Следует также отметить, что увеличение экспозиции сверх оптимальной снижает производительность камеры, поскольку на получение каждого кадра тратится больше времени. Кроме того, в этом случае может снизиться и точность определения 2D-координат движущегося маркера вследствие "размазывания" его изображения в кадре. Также вероятно появление большего количества ложных маркеров, поскольку при повышении экспозиции яркость изображения посторонних источников света увеличивается и приближается к яркости изображения маркера, которая не увеличивается вследствие насыщения.
Недостаточное же время экспозиции приводит к уменьшению радиуса контура изображения маркера, при этом взвешенное значение координат центра контура вычисляется на основе меньшего количества данных и точность его вычисления снижается.
Еще одним важным фактором, который необходимо учитывать в этом процессе, является то, что в
широкоугольном объективе типа "fisheye" яркость изображения маркера при малых углах отклонения от оптической оси объектива существенно выше, чем при больших углах. Поэтому в процессе считывания кадра для обеспечения равномерной яркости всего кадра необходимо учитывать поправочный коэффициент яркости каждого пикселя, зависящий от удаленности пикселя от опорной точки.
На шаге (550) выполняется определение строки матричного оптического датчика для считывания. Для обеспечения требуемого быстродействия средств отслеживания с матрицы оптического датчика могут считываться не все строки, а лишь часть из них, например каждая вторая или каждая третья строка. Такое "прореживание" позволяет сократить время, необходимое на считывание кадра, и выполняется в зависимости от времени экспозиции камеры отслеживания, которая, в свою очередь, зависит от общей освещенности. Чем выше освещенность, тем большее прореживание строк возможно без заметного риска потери маркера.
На шаге (551) выполняется считывание выбранной строки матричного оптического датчика и формируется последовательность сигналов, соответствующих яркости пикселей, образующих строку изображения.
На шаге (552) последовательно анализируется интенсивность сигнала (т.е. яркость) каждого пикселя выбранной строки. Если интенсивность сигнала пикселя превышает пороговое значение, такой пиксель предполагается принадлежащим контуру изображения маркера и выполняется переход к шагу (553).
На шаге (553) выполняется обнаружение контура изображения маркера способом обхода, например при считывании пикселей в строке в направлении слева направо и считывании строк в кадре в направлении сверху вниз обход осуществляется по часовой стрелке вокруг каждого последнего обнаруженного пикселя контура, начиная с предыдущего проверенного пикселя. В результате обхода формируется замкнутый контур, соответствующий границе изображения маркера.
На шаге (554) вычисляется размер контура в пикселях.
На шаге (555) выполняется проверка размера контура. Если размер контура находится в допустимых пределах, определяемых размером излучателя маркера и максимальным и минимальным возможным расстоянием от камеры отслеживания до маркера, выполняется переход к шагу (556). Если размер контура не укладывается в допустимые пределы, выполняется переход к шагу (561).
На шаге (556) вычисляется геометрический центр контура.
На шаге (557) вычисляются максимальный и минимальный радиус контура, т.е. расстояние от геометрического центра контура до его границы. В общем случае контур может иметь форму, заметно отличающуюся от круглой, например эллиптическую. Максимальный и минимальный радиус контура позволяет охарактеризовать форму контура.
На шаге (558) выполняется проверка соотношения максимального и минимального радиуса контура. Чрезмерно вытянутые контуры или контуры, имеющие явно выраженную форму невыпуклой плоской фигуры, подлежат отбраковке. Если соотношение максимального и минимального радиуса контура находится в допустимых пределах, выполняется переход к шагу (559). Если это соотношение не укладывается в допустимые пределы, выполняется переход к шагу (561).
На шаге (558) выполняется проверка равномерности яркости изображения маркера, т.е. равномерность яркости области внутри контура. Контуры, внутри которых имеются темные области, подлежат отбраковке. Если равномерность яркости области внутри контура находится в допустимых пределах, контур принимается соответствующим маркеру и выполняется переход к шагу (560). Если равномерность яркости этой области не укладывается в допустимые пределы, выполняется переход к шагу (561).
На шаге (560) вычисляются координаты взвешенного центра контура. Координаты взвешенного центра контура определяются с учетом градиента яркости на границе изображения маркера. Например, взвешенный центр контура может приниматься равным точке математического ожидания для распределения яркости изображения маркера по координатам X и Y. Вычисленные координаты взвешенного центра контура представляют собой 2D-координаты маркера. Эти координаты могут определяться с субпиксельной (порядка 1/30 пикселя) точностью. Далее координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и в некоторых вариантах осуществления соотношение максимального и минимального радиуса контура изображения маркера корректируются с учетом положения опорной точки для данной камеры, т.е. переводятся в локальные координаты камеры, при этом центр локальной координатной системы расположен в опорной точке. После этого координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и соотношение максимального и минимального радиуса контура изображения маркера сохраняются в виде массива параметров предполагаемых маркеров для данного кадра. В некоторых вариантах осуществления в массиве параметров предполагаемых маркеров могут сохраняться лишь некоторые из указанных выше параметров. Затем выполняется переход к шагу (562).
На шаге (561) контур игнорируется, т.е. анализируемый контур признается дефектным (не соответствующим маркеру) и исключается из дальнейшего рассмотрения. Далее выполняется переход к шагу
(562).
На шаге (562) выполняется маркирование контура, т.е. обработанный контур помечается таким образом, чтобы исключить его и область внутри него из дальнейшего анализа кадра, что позволяет допол
нительно сократить время на обработку каждого кадра и соответственно повысить быстродействие средств отслеживания.
По окончании считывания кадра данные из массива параметров предполагаемых маркеров передаются в компьютер (19). В другом варианте осуществления передача параметров предполагаемых маркеров может выполняться непосредственно в процессе считывания кадра по мере их вычисления.
На фиг. 14 представлен процесс управления следящим окном в каждой камере отслеживания. Управление следящим окном заключается в периодической проверке и при необходимости корректировке параметров следящего окна - его размеров и положения в кадре. При инициализации системы или потере всех маркеров размеры следящего окна устанавливаются равными размеру полного кадра.
На шаге (601) выполняется проверка того, все ли маркеры присутствуют в изображении, полученном с матричного оптического датчика. Следует отметить, что множества маркеров, которые должны присутствовать в кадре, для разных камер отслеживания могут отличаться. Если в изображении, полученном с матричного оптического датчика, присутствуют все маркеры, выполняется переход к шагу (602). Если в изображении, полученном с матричного оптического датчика, присутствуют не все маркеры, которые должны присутствовать, выполняется переход к шагу (603).
На шаге (602) производится проверка того, требуется ли коррекция параметров следящего окна. Например, если некоторый маркер оказывается близко к краю следящего окна, этот край может сдвигаться в наружную сторону, причем величина такого сдвига может зависеть от близости маркера к краю и размера светового пятна маркера. Если некоторый маркер оказывается далеко от края следящего окна, этот край может сдвигаться во внутреннюю сторону, причем величина такого сдвига также может зависеть от близости маркера к краю. Если на шаге (602) определено, что коррекция параметров следящего окна требуется, то далее выполняется переход к шагу (604). Если коррекция параметров следящего окна не требуется, работа алгоритма по фиг. 14 завершается.
На шаге (604) вычисляются новые параметры следящего окна. При вычислении новых параметров следящего окна учитываются по меньшей мере два критерия. Первый критерий представляет собой условие, согласно которому сумма площадей следящих окон всех камер отслеживания должна быть минимальной. Первый критерий непосредственно влияет на быстродействие средств отслеживания. Второй критерий носит характер краевого условия (т.е. ограничения) при минимизации суммы площадей следящих окон и представляет собой условие приблизительного равенства площадей следящих окон всех камер. Второй критерий связан с тем, что различные камеры отслеживания могут иметь неодинаковые условия для отслеживания определенных маркеров, что непосредственно влияет на надежность их отслеживания.
Кроме того, второй критерий характеризует дисбаланс вычислительной нагрузки между смарт-камерами. Если ограничение различия площадей следящих окон всех камер достаточно мягкое, что может быть характерным для многопользовательской системы LCMP3D, то дисбаланс вычислительной нагрузки между смарт-камерами может быть значительным. В этом случае смарт-камеры могут распределять между собой вычислительную нагрузку, связанную с обработкой изображения в кадрах, вычислением данных о каждом маркере и определением параметров следящего окна. Такая возможность обеспечивается наличием линии связи между всеми смарт-камерами (не показана на фиг. 4), соответствующего протокола обмена данными между смарт-камерами и встраиваемого программного обеспечения смарт-камер. Такие линии связи и протоколы обмена данными хорошо известны в данной области техники, поэтому их описание опущено. После выполнения шага (604) параметры следящего окна передаются соответствующему процессу, и работа алгоритма по фиг. 14 завершается.
На шаге (603) выполняется определение области, в которой может находиться маркер, отсутствующий в кадре некоторой камеры отслеживания. Определение этой области производится путем сопоставления текущих данных с других камер отслеживания и при необходимости более ранних данных с других камер отслеживания и с данной камеры отслеживания.
Шаг (605), по существу, аналогичен шагу (604). После выполнения шага (605) выполняется возврат к шагу (601).
Следует отметить, что для облегчения понимания настоящего изобретения на фиг. 12 показаны лишь те шаги упомянутого способа, которые существенны для понимания изобретения, и упомянутый способ содержит и другие шаги, обеспечивающие функционирование этой системы. Такие шаги понятны специалисту в данной области техники, их реализация не вызывает затруднений у специалиста и поэтому их описание опущено.
Техническим результатом настоящего изобретения является реалистичное отображение трехмерных объектов для одного или нескольких наблюдателей с применением средств визуализации, создающих изображение на поверхности экрана, и использованием по меньшей мере двух основных физиологических зрительных механизмов восприятия объемного изображения, бинокулярного параллакса и параллакса движения, при скорости перемещения наблюдателя от 0 до 3 м/с и ускорении перемещения наблюдателя от 0 до 10 м/с2. Указанный технический результат достигается за счет того, что эффективная полная задержка для этого наблюдателя составляет не более 5 мс, что обеспечивается предсказанием положения наблюдателя, т.е. экстраполяцией 2D-координат и/или 3D-координат маркеров во времени. Точ
ность экстраполяции определяется параметрами входных данных для экстраполяции: их количеством (объемом выборки), качеством (точностью и чистотой) и актуальностью (возрастом). Требуемые значения параметров обеспечиваются реализацией комплекса взаимосвязанных технических решений: применением активных управляемых маркеров, использованием "смарт-камер" в качестве камер отслеживания, применением "следящего окна". Обеспечению этих значений параметров способствуют также увеличение количества камер отслеживания, применение ALAP-рендеринга и калибровка средств отслеживания.
Устройства, средства, способы и их части, упомянутые в настоящем документе, относятся к одному или нескольким определенным вариантам осуществления изобретения, если они упоминаются со ссылкой на числовое позиционное обозначение, или ко всем вариантам осуществления изобретения, в которых возможно их применение, если они упоминаются без ссылки на числовое позиционное обозначение.
Устройства, упомянутые в формуле изобретения, представляют собой программно-аппаратные средства, при этом аппаратные части одних устройств могут отличаться, частично совпадать или полностью совпадать с аппаратными частями других устройств, если иное не указано в явном виде. Аппаратные части устройств могут располагаться в различных частях других устройств, средств, если иное не указано в явном виде.
Последовательность действий в описании способа в настоящем документе носит иллюстративный характер, и в различных вариантах осуществления изобретения эта последовательность может отличаться от описанной при условии сохранения выполняемой функции и достигаемого результата.
Части и признаки настоящего изобретения могут сочетаться в различных вариантах осуществления изобретения, если они не противоречат друг другу. Описанные выше варианты осуществления изобретения приведены исключительно с иллюстративной целью и не предназначены для ограничения объема настоящего изобретения, определяемого формулой изобретения. Все разумные модификации, модернизации и эквивалентные замены в конструкции, составе и принципе действия, выполненные в пределах сущности настоящего изобретения, входят в объем настоящего изобретения.
ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающий, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, включающий в себя следующие шаги:
используют систему, содержащую
по меньшей мере одно устройство отображения,
по меньшей мере одни очки для стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера, по меньшей мере два матричных оптических датчика, по меньшей мере два устройства считывания и обработки, устройство вычисления 3D-координат маркеров, по меньшей мере одно устройство предсказания координат маркеров, устройство построения 3D-сцены, по меньшей мере одно устройство вывода изображения;
получают изображения с матричных оптических датчиков, обнаруживают маркеры на этих изображениях и определяют 2D-координаты маркеров;
определяют 3D-координаты маркеров на основе 2D-координат маркеров;
выполняют экстраполяцию координат маркеров для компенсации задержки между моментом времени получения изображения с матричных оптических датчиков и моментом отображения 3D-сцены таким образом, что некомпенсированная часть задержки не превышает 5 мс;
выполняют построение 3D-сцены на основе 3D-координат маркеров с учетом экстраполяции координат маркеров;
выводят изображения 3D-сцены по меньшей мере на одно устройство отображения, при этом обеспечивают вывод изображений 3D-сцены для каждого глаза наблюдателя поочередно.
2. Способ по п.1, в котором маркеры являются светоизлучающими маркерами.
3. Способ по п.1, в котором дополнительно управляют следящим окном, а используемая система дополнительно содержит по меньшей мере одно устройство управления следящим окном.
4. Способ по п.1, в котором дополнительно выполняют калибровку средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.
5. Способ по п.1, в котором дополнительно обнаруживают мешающие источники излучения и устраняют их влияние на обнаружение маркеров.
6. Способ по п.1, в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом.
7. Способ по п.2, в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом и с маркерами.
2.
8. Способ по п.2, в котором избирательно включают и выключают маркеры, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи.
9. Способ по п.8, в котором до шага поиска маркеров формируют карту освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
10. Способ по п.1 или 8, в котором после шага определения 2D-координат маркеров выполняют идентификацию маркеров, а используемая система дополнительно содержит устройство идентификации маркеров.
11. Способ по п.1, в котором экстраполяция координат маркеров представляет собой экстраполяцию 2D-координат маркеров до шага определения 3D-координат маркеров.
12. Способ по п.1, в котором экстраполяция координат маркеров представляет собой экстраполяцию 3D-координат маркеров после шага определения 3D-координат маркеров.
13. Способ по п.1, в котором используемая система содержит по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.
14. Способ по п.1, в котором отображение изображения для каждого глаза наблюдателя выполняют для более чем одного наблюдателя.
15. Способ по п.1, в котором обработку данных, считываемых с матричного оптического датчика, начинают до окончания считывания кадра.
16. Способ по п.1, в котором выполняют распределенную обработку данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.
17. Способ по п.1, в котором определение 2D-координат маркеров выполняют с субпиксельной точностью.
18. Способ по п.1, в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, для определения 3D-координат маркеров очков в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи и устройство ориентации.
19. Способ по п.1, в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, для определения 3D-координат маркеров манипулятора в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, дополнительно содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.
20. Способ по п.3, в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи и устройство ориентации.
21. Способ по п.3, в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, при задании размеров и расположения следящего окна, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, дополнительно содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.
22. Способ по п.1 или 3, в котором шаг обнаружения маркеров и определения их 2D-координат включает в себя следующие шаги:
определяют строки матричного оптического датчика для считывания; выполняют считывание выбранной строки матричного оптического датчика;
проверяют, превышает ли интенсивность сигнала каждого пикселя выбранной строки пороговое значение;
если интенсивность сигнала пикселя превышает пороговое значение, выполняют обнаружение контура изображения маркера и переходят к шагу вычисления размера контура изображения маркера, а если интенсивность сигнала пикселя не превышает пороговое значение, возвращаются к шагу считывания выбранной строки матричного оптического датчика;
вычисляют размер контура изображения маркера;
проверяют размер контура изображения маркера;
если размер контура изображения маркера находится в заранее определенных пределах, переходят к шагу вычисления геометрического центра контура изображения маркера, а если размер контура изображения маркера не находится в заранее определенных пределах, переходят к шагу исключения контура изображения маркера;
вычисляют геометрический центр контура изображения маркера;
вычисляют максимальный и минимальный радиус контура изображения маркера;
проверяют соотношение максимального и минимального радиуса контура изображения маркера;
если соотношение максимального и минимального радиуса контура изображения маркера находится в заранее заданных пределах, переходят к шагу проверки равномерности яркости, а если соотношение максимального и минимального радиуса контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;
проверяют равномерность яркости области внутри контура изображения маркера;
если равномерность яркости области внутри контура изображения маркера находится в заранее заданных пределах, переходят к шагу вычисления координат взвешенного центра контура изображения маркера, а если равномерность яркости области внутри контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;
исключают контур из дальнейшего рассмотрения и переходят к шагу, на котором выполняют маркирование контура изображения маркера;
вычисляют координаты взвешенного центра контура изображения маркера, передают для соответствующего шага по меньшей мере одно из следующего: координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и соотношение максимального и минимального радиуса контура изображения маркера и переходят к шагу, на котором выполняют маркирование контура изображения маркера;
маркируют контур изображения маркера и исключают его из дальнейшего анализа изображения, полученного с матричного оптического датчика.
23. Способ по п.3, в котором шаг управления следящим окном включает в себя следующие шаги:
выполняют проверку того, все ли маркеры присутствуют в изображении, полученном с матричного
оптического датчика;
если в изображении, полученном с матричного оптического датчика, присутствуют все маркеры, выполняют переход к шагу проверки необходимости коррекции параметров следящего окна, а если в изображении, полученном с матричного оптического датчика, присутствуют не все маркеры, выполняют определение области, в которой может находиться маркер, отсутствующий в кадре, определяют и передают для соответствующего шага размеры и расположение следящего окна;
проверяют необходимость коррекции следящего окна;
если коррекция следящего окна необходима, определяют и передают для соответствующего шага размеры и расположение следящего окна.
24. Система для создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающая, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, содержащая:
по меньшей мере одно устройство отображения, выполненное с возможностью отображения последовательности изображений;
по меньшей мере одни очки, выполненные с возможностью стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера, расположенные заранее известным образом;
по меньшей мере два матричных оптических датчика, выполненные с возможностью получения изображения маркеров, расположенные заранее известным образом;
по меньшей мере два устройства считывания и обработки, выполненные с возможностью считывания данных с матричного оптического датчика и определения 2D-координат маркеров;
устройство вычисления 3D-координат маркеров, выполненное с возможностью вычисления 3D-координат маркеров на основе 2D-координат маркеров;
по меньшей мере одно устройство предсказания координат маркеров, выполненное с возможностью экстраполяции координат маркеров для компенсации задержки между моментом времени получения изображения с матричных оптических датчиков и моментом отображения 3D-сцены таким образом, что некомпенсированная часть задержки не превышает 5 мс;
устройство построения 3D-сцены, выполненное с возможностью построения 3D-сцены на основе 3D-координат маркеров с учетом экстраполяции координат маркеров;
по меньшей мере одно устройство вывода изображения, выполненное с возможностью вывода изображения 3D-сцены по меньшей мере на одно устройство отображения.
25. Система по п.24, в которой маркеры являются светоизлучающими маркерами.
26. Система по п.24, дополнительно содержащая по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него в зависимости от положения изображения по меньшей мере одного маркера, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.
27. Система по п.24, дополнительно выполненная с возможностью калибровки средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.
25.
28. Система по п.24, дополнительно выполненная с возможностью автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
29. Система по п.24, дополнительно содержащая устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом.
30. Система по п.25, дополнительно содержащая устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом и с маркерами.
31. Система по п.25, дополнительно содержащая по меньшей мере одно устройство радиосвязи, при этом очки также содержат по меньшей мере одно устройство радиосвязи, и выполненная с возможностью избирательного включения и выключения маркеров.
32. Система по п.24 или 31, дополнительно содержащая устройство идентификации маркеров, выполненное с возможностью определения принадлежности маркеров на основе данных, полученных с матричных оптических датчиков.
33. Система по п.24, в которой устройство предсказания координат маркеров выполнено с возможностью экстраполяции 2D-координат маркеров до определения 3D-координат маркеров.
34. Система по п.24, в которой устройство предсказания координат маркеров выполнено с возможностью экстраполяции 3D-координат маркеров после определения 3D-координат маркеров.
35. Система по п.24, содержащая по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.
36. Система по п.24, выполненная с возможностью отображения трехмерных объектов для более чем одного наблюдателя.
37. Система по п.24, дополнительно выполненная с возможностью начала обработки данных, считываемых с матричного оптического датчика, до окончания считывания кадра.
38. Система по п.24, дополнительно выполненная с возможностью распределенной обработки данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.
39. Система по п.24, в которой устройство считывания и обработки выполнено с возможностью определения 2D-координат маркеров с субпиксельной точностью.
40. Система по п.24, в которой очки содержат по меньшей мере одно устройство радиосвязи.
41. Система по п.40, в которой очки содержат по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.
42. Система по п.41, выполненная с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков и дополнительно содержащая по меньшей мере одно устройство радиосвязи.
43. Система по п.41, выполненная с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна и дополнительно содержащая по меньшей мере одно устройство радиосвязи и по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.
44. Система по п.24, дополнительно содержащая по меньшей мере один манипулятор.
45. Система по п.44, в которой манипулятор содержит по меньшей мере один маркер.
46. Система по п.25, дополнительно содержащая по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор.
47. Система по п.46, в которой манипулятор содержит по меньшей мере один маркер.
48. Система по п.47, в которой манипулятор содержит по меньшей мере одно устройство радиосвязи.
49. Система по п.48, выполненная с возможностью избирательного включения и выключения маркеров.
50. Система по п.48, в которой манипулятор дополнительно содержит по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.
51. Система по п.50, выполненная с возможностью использования данных, полученных с устройства ориентации манипулятора, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков.
52. Система по п.50, выполненная с возможностью использования данных, полученных с устройства ориентации манипулятора, при задании размеров и расположения следящего окна, дополнительно содержащая по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.
53. Система по п.25, в которой маркеры выполнены с возможностью излучения света в ИК-диапазоне.
25.
54. Система по любому из пп.24, 25, 45, 47, в которой матричные оптические датчики оснащены узкополосными оптическими фильтрами.
55. Система по любому из пп.24, 25, 45, 47, в которой маркеры оснащены узкополосными оптическими фильтрами.
56. Система по п.31 или 49, выполненная с возможностью формирования карты освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.
25.
Фиг. 1А
L6 L7
• "
I \
L5 I L6
L1 L2 L3 L4 L5 L6 L7 L8 L9 L10 L11 L12 L13 L14 РЕНДЕРИНГ
. ~\ ~\ ~ ~\ ~\ ~ "Л ~\ ~\ ЛЕВ.
*ВЫВОД R13
РЕНДЕРИНГ ПРАВ.
J.L1 \l2 \ L3 N L4 1 L6 \ L7 \ L8 N L9 V.L11 L12 \l_13 \
' R1 / R2 / R3 "R5 / R6 / R7 / R8 "R10 /R11 / R12
l/t I I ' / I / / 4
^ J ^ j ^ j ^ ^ ^ ^ ^ J ^ j ^ J ^ ^ ^ ^ ^ ^ ^ J ^ J
Фиг. 2А
R1 R2 R3 R4 R5 R6 R7 R8 R9 R10 R11 R12 R13
Евразийская патентная организация, ЕАПВ Россия, 109012, Москва, Малый Черкасский пер., 2
032105
032105
- 1 -
- 1 -
(19)
032105
032105
- 1 -
- 1 -
(19)
032105
032105
- 1 -
- 1 -
(19)
032105
032105
- 1 -
- 1 -
(19)
032105
032105
- 4 -
- 3 -
(19)
032105
032105
- 26 -
- 26 -
032105
032105
- 26 -
- 26 -
032105
032105
- 27 -
- 27 -
032105
032105
- 28 -
- 28 -
032105
032105
- 29 -
- 29 -
032105
- 31 -
- 32 -
032105
032105
- 34 -
- 34 -