Головна

Аналіз методів калібрування стереоскопічних камер

  1. A.1.a.i.1. Аналіз потоків і запасів
  2. G-Xpert ?дісімен зерттелген ?а?ири? аналізи
  3. I. Заповнення і аналіз елементів масиву
  4. II. Аналіз зразка і лист цифри 0.
  5. II. Аналіз зразка і лист цифри 9.
  6. II. Аналіз зразка, лист цифри 5.
  7. III частина доповіді: Аналіз

1.2.1. загальні положення

У процесі зйомки стерео фото і відео виникає необхідність калібрування камери: знаходження її внутрішніх і зовнішніх параметрів. Залежно від того, якими ресурсами ми володіємо, і що є для нас пріоритетною - час або точність результатів, використовуються відповідні алгоритми калібрування.

калібрування камер - Це процес співвіднесення ідеальної математичної моделі камери з конкретним фізичним пристроєм, а також визначення орієнтації і розташування камери в системі координат сцени. Існують два види калібрування камер: внутрішня і зовнішня.

Внутрішнє калібрування проводиться один раз. Пов'язано це з тим, що внутрішні геометричні параметри, оптичні характеристики лінз і параметри пристрою відображення не змінюються під час зйомки.

Параметри внутрішньої калібрування:

· Фокусна відстань по обох координатах (fx, fy);

· Принципова точка (спец. Точка на оптичній осі);

· Коефіцієнти дисторсии (k1, k2, p1, p2).

Завданням зовнішньої калібруванням є визначення орієнтації і положення камери в координатах простору сцени. Через те, що в кожній новій сцені камери встановлюються по-новому, зовнішню калібрування слід повторювати залежно від змін положення камер.

Параметри зовнішньої калібрування:

· Вектор перенесення T.

· Матриця повороту R.

1.2.2Алгорітми калібрування

«Класичний» метод - Послідовне визначення внутрішніх і зовнішніх параметрів камери, запропонований Р. Цаем (R.Tsai) в [2]. Цей алгоритм відновлює параметри камери, використовуючи пряме обчислення, засноване на відносинах між точками каліброваного зображення і тими ж точками на площині зображення камери. Цай використовує модель камери-обскури, зображеної на малюнку 1.1, для опису перетворення точок з 3D простору в пікселі.

Дана модель має наступні параметри для оцінки:

f - фокусна відстань камери.

k - коефіцієнт радіальних спотворень лінз.

Cx, Cy - Координати центру радіальних спотворень лінз.

Sx - Масштабний коефіцієнт для обліку будь-яких невизначеностей виникли через недосконалість тайминга апаратного забезпечення для сканування і оцифровки.

 
 

Малюнок 1.1 - Модель камери-обскури

Rx, Ry, Rz - Кути повороту для перетворення між реальним світом і координатами камер,

Tx, Ty, Tz - Компоненти перекладу для перетворення з координат реального світу в координати камери.

Pi = [Xiw , Yiw , Ziw ] T - Відоме 3D становище i точки в системі координат реального світу

pi = [xi,im , yi,im ] T - Координати зображення i-ої точки

 - Матриця обертання, (1.1)

 - Вектор зміщення, (1.2)

 - Матриця камери, з чотирма невідомими параметрами. (1.3)

1) Перетворення з координат реального світу (Xw, Yw, Zw) В координати зображення (Xi, Yi, Zi), Що містять зовнішні параметри камери (переклад T і поворот R), Можна представити у вигляді рівняння:

 (1.4)

де R и T характеризують 3D перетворення з реального світу в систему координат камери і визначаються як:

 , (1.5)

 , (1.6)

де









(Rx, Ry, Rz) - Кути Ейлера, обертання навколо трьох осей.

(Tx, Ty, Tz) - Параметри перекладу з 3D координат реального світу в координати камери.

2) Перетворення з 3D положення (з координат кадру зображення) в площину зображення потім обчислюються по наступних кроків відповідно до малюнком 1.2:

Малюнок 1.2 - Модель репроекціі камери Цая з проекцією перспективи і радіальним спотворенням

А) Перетворення з 3D координат реального світу (Xi, Yi) В координати неспотвореної площині зображення (Xu, Yu)

 , (1.7)

 . (1.8)

В) Перетворення з неспотворених (Xu, Yu) В спотворені (Xd, Yd) Координати зображення

 , (1.9)

 , (1.10)

де  , І k є коефіцієнтом дисторсии лінзи.

Перетворення з перекручених координат площині зображення (Xd, Yd) В підсумкові координати зображення (Xf, Yf):

 , (1.11)

 , (1.12)

де (dx, dy) - Відстань між сусідніми елементами датчика в напрямку X і Y,

dx и dy фіксовані параметри камери. Вони залежать тільки від розміру ПЗС і дозволу зображення, (Xf, Yf) Підсумкове становище пікселів в зображенні.

Основні етапи алгоритму калібрування

На першому етапі визначаються зовнішні параметри Sx, R і дві перші компоненти вектора зміщення, Tx и Ty. Також на даному етапі оцінюється фокусна відстань f і компонента z вектора зміщення Tz. Це досягається рішенням системи лінійних рівнянь, які включають в себе координати точок на калібрувальному шаблоні, як на зображенні, так і в реальному світі. Різні параметри потім відновлюються при вирішенні даної системи.

Другий етап включає в себе пошук найшвидшого спуску. Він використовується для визначення коефіцієнта дисторсии k1, Який не може бути визначений з каліброваного шаблону. f и Tz також коригуються в процесі пошуку. Оптимізація не використовує повну модель камери для збільшення продуктивності. Таким чином, обчислений залишок абсолютно не має значення для похибки вимірювання, яке зроблено в даному випадку окремо за допомогою побудови повної моделі камери, збираючи всі отримані параметри з попередніх кроків. Остання одержувана тут помилка виникає через різницю між рирпроекційну 3D координатами в реальному світі і їх відповідними точками зображення.

чутливість рішення

Помилки в параметрах калібрування прямо пропорційні помилок у вимірах зображення. Фактор пропорційності залежить від геометрії відображення, і від проектування мети. Деякі параметри калібрування більш чутливі до помилок, ніж інші, і деякі поводяться гірше, коли поле спостереження вузьке або діапазон глибини цілі обмежений.

плюси

Алгоритм калібрування Цая дуже ефективний, точний і параметри калібрування не вимагаються при початковому наближенні.

Даний метод має широке поширення, тому що підходить для компланарних і некомпланарних точок.

Рішення, як правило, використовується для калібрування з одним ракурсом, але також може застосовуватися і для багато ракурсів калібрування. Для цього плоску модель пересувають на різні рівні по осі z для калібрування безлічі зображень.

мінуси

Враховуються тільки радіальні спотворення.

Модель, загалом, не розпізнає асиметрію або відсутність ортогональности проекції.

Основні проблеми в реалізації алгоритму Цая в більшості випадків виникають на ранніх етапах. Точність побудови і вимірювання калібрувального шаблону, знаходження точок калібрування на лінії площині і знаходження центру зображення швидше забезпечать більше складнощів і будуть служити великим джерелом помилок, ніж проблеми, що виникають безпосередньо з самим алгоритмом.

Так як більшість сучасних камер оснащені лінзами з авто-фокусуванням і автоматичною апертурою, то можуть виникнути проблеми через розбіжність очікуваних внутрішніх параметрів, які повинні залишатися незмінними на всьому діапазоні налаштувань фокуса, масштабування і апертури. Дана проблема була розглянута Вілсоном (R.G.Willson) [3].

Викликає особливих проблем врахувати аналітично шуми через нелінійність відображається моделі. Однак питання чутливості був вивчений раніше з використанням симулятора Монте Карло (Monte Carlo), який додає довільний шум в дані каліброваного зображення і перераховує параметри калібрування. Повторює і отримує значення і ковариационную статистику.

«гнучкий»Метод» - в даному методі, запропонованому Ж. Жанг в 2000 р (Zhang, 2000), використовується плоский калібрувальний об'єкт (шахівниця) при різних орієнтаціях [4]. Вона являє собою масив чорно-білих квадратів N х N у вигляді «шахової дошки». Алгоритм використовує витягнуті точки кутів шахівниці для обчислення проекції перетворення між точками зображення на різних зображеннях.

Основні етапи алгоритму калібрування

1) Необхідно зробити кілька зображень каліброваного об'єкта в різних положеннях переміщаючи або об'єкт, або камеру.

2) Виявлення точок функції на зображеннях.

3) Оцінити п'ять внутрішніх параметрів і всі зовнішні параметри використовуючи рішення в аналітичному вигляді:

З координат зображення p = (u, v, 1) і їх відомого відповідного набору координат в реальному світі P = (X, Y, Z = 0,1), гомографія A = (a1a2a3) [3] можна обчислити:

Sp = AP, A = ?K (r1r2t), (1.13)

де r1 и r2два перших стовпця вектора матриці обертання R. Використовуючи обмеження, що ці два стовпці вектора ортогональні отримуємо два наступних тотожності:

a1TK-TK-1a2 = 0, a1TK-TK-1a1 = a2TK-TK-1h2. (1.14)

Зображення абсолютного конуса В = K-TK-1 як правило симетрично і може бути описано як 6D вектор b = (b11, ... B33)т. Таким чином для кожної з N проекцій мети ми отримуємо набір з 2 рівнянь, щоб вирішити для b, що означає що нам необхідно принаймні 3 ракурсу калібрувальної мети щоб вирішити систему для всіх невідомих.

4) Оцінити спотворення радіальних спотворень рішенням методу найменших квадратів:

k = (DTD)-1 DTd. (1.15)

5) Уточнити всі відновлені параметри, використовуючи нелінійну мінімізацію репроекціі помилки:

 . (1.16)

плюси

Простота реалізації. На відміну від класичного методу не потрібно дороге обладнання з двома або трьома ортогональними площинами, даний метод простий у використанні і гнучкий.

Рух не повинно бути відомо.

Краще значення конвергенції при багато ракурсів калібрування, ніж у алгоритму Цая.

Даний метод більш стійкий в порівнянні з автокалібруванням.

мінуси

Необхідно як мінімум три різні проекції плоского каліброваного об'єкта.

Існує вплив помилки друку на якість калібрування. Штробль [5] описав подібний сценарій, він припустив, що процедура друку вводить тільки два типи систематичних помилок: помилки в глобальному масштабі шахівниці і без передбачуваного співвідношення перспективи.

Автокалібровка в реальному часі - Одночасне визначення внутрішніх і зовнішніх параметрів. Технології цієї категорії використовують тільки рух камери в статичної сцені. Якщо зображення будуть братися від тих же самих камер з фіксованими внутрішніми параметрами, відповідності між трьома картинками досить для отримання і внутрішніх, і зовнішніх параметрів, які дозволять реконструювати 3D структуру. Мейнібанк і Фаугерас вперше запропонували самокалібрування на основі рівнянь Круппа [6]. Останнім часом багато дослідників висунули ряд аналогічних методів [7-11]. Всі ці методи засновані на абсолютному конічному перетині і абсолютної квадрік, для яких необхідно складати нелінійних рівнянь з кількох значень. Автокалібровка буде надійною, якщо геометрія мережі сприятлива, тобто зображення конвергентних і є велика кількість виміряних точок, розташованих на всій поверхні знімка.

плюси

Калібрування може бути повністю автоматичної процедурою.

мінуси

Хоча цей метод є досить гнучким, він має суттєвий недолік - обчислювальна складність і велика кількість часу, який для цього витрачається.

Потрібно доступ до "сирим" зображенням камери, а дана функція може не бути присутнім в камерах з низькою вартістю.

Не завжди можливо застосувати даний метод калібрування в короткобазісних вимірах.

1.2.3 Програмне забезпечення для калібрування камер

Для програмної калібрування стереокамер найчастіше використовується таке програмне забезпечення як Matlab і бібліотека OpenCV, зі спеціально розробленими алгоритмами.

На малюнку 3 показані кроки калібрування камери методом Цая в інструментах Matlab. У першому кроці, отримують набір зображень і визначають помилки між лівим і правим кадрами. Якщо зображення не сходяться один з одним, система буде регулювати положення камери, поки вони не зійдуться. Результати будуть містити внутрішні і зовнішні параметри.

Алгоритм калібрування стереокамер OpenCV заснований на тому, що функції використовують моделі камери-обскури. Тобто, сцени формується шляхом проектування 3D-окуляри в площині зображення з використанням перспективного перетворення.

Існує безліч варіантів алгоритмів калібрування: від простих до дуже складних і вимагають великих ресурсів і часу для обчислень. Алгоритм, запропонований Жангом (Zhang, 2000), блок схем якого представлена ??на малюнку 1.3, є найбільш простим в реалізації при досить хороших результатах і частіше за інших застосовується при калібрування стереокамер. Самий Важкореалізовані алгоритм і в той же час найбільш затребуваний, так він практично відсутній в сучасних стереокамерами - автокалібровка камер. Його реалізація дозволила б скоротити час виконання та підвищити ефективність калібрування.

Малюнок 1.3 - Блок схема методу Цая

З проведеного аналізу видно, що вибір методів калібрування і їх точність сильно залежать від випробувальних об'єктів.

Розглянуті методи калібрування розроблені для пристроїв, що використовуються в робототехніці. Очевидно, що ці методи можуть бути використані і в мовній об'ємному телебаченні. Однак слід врахувати, що в цьому випадку більший інтерес представляють не вимірювальні характеристики передавальних камер, а якісне сприйняття створюваного ними зображення.

Тому випробувальні об'єкти, що використовуються в робототехніці, можуть бути використані для калібрування передавальних камер і в мовному телебаченні, проте їх недостатньо для оцінки якості зображення.

В об'ємному телебаченні для настройки та оцінки камер запропоновано використовувати як плоскі випробувальні об'єкти у вигляді таблиць, так об'ємні.

Однак створення рухомих випробувальних об'єктів пов'язано з проблемами вибору сюжетів, в першу чергу, детальності швидкості руху.

Вирішити цю проблему можна, якщо використовувати електронне формування випробувальних об'єктів. При цьому такі об'єкти можуть бути використані як для оцінки якості і калібрування стереоскопічних і багато ракурсів камер, так і для вироблення вимог до побудови фізичних рухливих об'ємних випробувальних об'єктів.

Для цього розглянемо спочатку можливості зйомки з екрану монітора.

 



Методи підвищення якості стереоскопічних і багато ракурсів систем телебачення | Зйомка з екрану монітора

реферат | Визначення, позначення і скорочення | Вступ | Система оцінки якості об'ємного телевізійного зображення | Теорії нюху, класифікація запахів і методи їх генерації | теорії нюху | Класифікація запахів | генерація запахів | Деякі проблеми при доставці запахів користувачеві | N [1,2,3, ... q], n q. |

© um.co.ua - учбові матеріали та реферати