Головна |
1.2.1. загальні положення
У процесі зйомки стерео фото і відео виникає необхідність калібрування камери: знаходження її внутрішніх і зовнішніх параметрів. Залежно від того, якими ресурсами ми володіємо, і що є для нас пріоритетною - час або точність результатів, використовуються відповідні алгоритми калібрування.
калібрування камер - Це процес співвіднесення ідеальної математичної моделі камери з конкретним фізичним пристроєм, а також визначення орієнтації і розташування камери в системі координат сцени. Існують два види калібрування камер: внутрішня і зовнішня.
Внутрішнє калібрування проводиться один раз. Пов'язано це з тим, що внутрішні геометричні параметри, оптичні характеристики лінз і параметри пристрою відображення не змінюються під час зйомки.
Параметри внутрішньої калібрування:
- Фокусна відстань по обох координатах (fx, fy);
- Принципова точка (спец. Точка на оптичній осі);
- Коефіцієнти дисторсии (k1, k2, p1, p2).
Завданням зовнішньої калібруванням є визначення орієнтації і положення камери в координатах простору сцени. Через те, що в кожній новій сцені камери встановлюються по-новому, зовнішню калібрування слід повторювати залежно від змін положення камер.
Параметри зовнішньої калібрування:
- Вектор перенесення T.
- Матриця повороту R.
1.2.2Алгорітми калібрування
«Класичний» метод - Послідовне визначення внутрішніх і зовнішніх параметрів камери, запропонований Р. Цаем (R.Tsai) в [2]. Цей алгоритм відновлює параметри камери, використовуючи пряме обчислення, засноване на відносинах між точками каліброваного зображення і тими ж точками на площині зображення камери. Цай використовує модель камери-обскури, зображеної на малюнку 1.1, для опису перетворення точок з 3D простору в пікселі.
Дана модель має наступні параметри для оцінки:
f - фокусна відстань камери.
k - коефіцієнт радіальних спотворень лінз.
Cx, Cy - Координати центру радіальних спотворень лінз.
Sx - Масштабний коефіцієнт для обліку будь-яких невизначеностей виникли через недосконалість тайминга апаратного забезпечення для сканування і оцифровки.
Малюнок 1.1 - Модель камери-обскури
Rx, Ry, Rz - Кути повороту для перетворення між реальним світом і координатами камер,
Tx, Ty, Tz - Компоненти перекладу для перетворення з координат реального світу в координати камери.
Pi = [Xiw , Yiw , Ziw ] T - Відоме 3D становище i точки в системі координат реального світу
pi = [xi,im , yi,im ] T - Координати зображення i-ої точки
- Матриця обертання, (1.1)
- Вектор зміщення, (1.2)
- Матриця камери, з чотирма невідомими параметрами. (1.3)
1) Перетворення з координат реального світу (Xw, Yw, Zw) В координати зображення (Xi, Yi, Zi), Що містять зовнішні параметри камери (переклад T і поворот R), Можна представити у вигляді рівняння:
(1.4)
де R и T характеризують 3D перетворення з реального світу в систему координат камери і визначаються як:
, (1.5)
, (1.6)
де
(Rx, Ry, Rz) - Кути Ейлера, обертання навколо трьох осей.
(Tx, Ty, Tz) - Параметри перекладу з 3D координат реального світу в координати камери.
2) Перетворення з 3D положення (з координат кадру зображення) в площину зображення потім обчислюються по наступних кроків відповідно до малюнком 1.2:
Малюнок 1.2 - Модель репроекціі камери Цая з проекцією перспективи і радіальним спотворенням
А) Перетворення з 3D координат реального світу (Xi, Yi) В координати неспотвореної площині зображення (Xu, Yu)
, (1.7)
. (1.8)
В) Перетворення з неспотворених (Xu, Yu) В спотворені (Xd, Yd) Координати зображення
, (1.9)
, (1.10)
де , І k є коефіцієнтом дисторсии лінзи.
Перетворення з перекручених координат площині зображення (Xd, Yd) В підсумкові координати зображення (Xf, Yf):
, (1.11)
, (1.12)
де (dx, dy) - Відстань між сусідніми елементами датчика в напрямку X і Y,
dx и dy фіксовані параметри камери. Вони залежать тільки від розміру ПЗС і дозволу зображення, (Xf, Yf) Підсумкове становище пікселів в зображенні.
Основні етапи алгоритму калібрування
На першому етапі визначаються зовнішні параметри Sx, R і дві перші компоненти вектора зміщення, Tx и Ty. Також на даному етапі оцінюється фокусна відстань f і компонента z вектора зміщення Tz. Це досягається рішенням системи лінійних рівнянь, які включають в себе координати точок на калібрувальному шаблоні, як на зображенні, так і в реальному світі. Різні параметри потім відновлюються при вирішенні даної системи.
Другий етап включає в себе пошук найшвидшого спуску. Він використовується для визначення коефіцієнта дисторсии k1, Який не може бути визначений з каліброваного шаблону. f и Tz також коригуються в процесі пошуку. Оптимізація не використовує повну модель камери для збільшення продуктивності. Таким чином, обчислений залишок абсолютно не має значення для похибки вимірювання, яке зроблено в даному випадку окремо за допомогою побудови повної моделі камери, збираючи всі отримані параметри з попередніх кроків. Остання одержувана тут помилка виникає через різницю між рирпроекційну 3D координатами в реальному світі і їх відповідними точками зображення.
чутливість рішення
Помилки в параметрах калібрування прямо пропорційні помилок у вимірах зображення. Фактор пропорційності залежить від геометрії відображення, і від проектування мети. Деякі параметри калібрування більш чутливі до помилок, ніж інші, і деякі поводяться гірше, коли поле спостереження вузьке або діапазон глибини цілі обмежений.
плюси
Алгоритм калібрування Цая дуже ефективний, точний і параметри калібрування не вимагаються при початковому наближенні.
Даний метод має широке поширення, тому що підходить для компланарних і некомпланарних точок.
Рішення, як правило, використовується для калібрування з одним ракурсом, але також може застосовуватися і для багато ракурсів калібрування. Для цього плоску модель пересувають на різні рівні по осі z для калібрування безлічі зображень.
мінуси
Враховуються тільки радіальні спотворення.
Модель, загалом, не розпізнає асиметрію або відсутність ортогональности проекції.
Основні проблеми в реалізації алгоритму Цая в більшості випадків виникають на ранніх етапах. Точність побудови і вимірювання калібрувального шаблону, знаходження точок калібрування на лінії площині і знаходження центру зображення швидше забезпечать більше складнощів і будуть служити великим джерелом помилок, ніж проблеми, що виникають безпосередньо з самим алгоритмом.
Так як більшість сучасних камер оснащені лінзами з авто-фокусуванням і автоматичною апертурою, то можуть виникнути проблеми через розбіжність очікуваних внутрішніх параметрів, які повинні залишатися незмінними на всьому діапазоні налаштувань фокуса, масштабування і апертури. Дана проблема була розглянута Вілсоном (R.G.Willson) [3].
Викликає особливих проблем врахувати аналітично шуми через нелінійність відображається моделі. Однак питання чутливості був вивчений раніше з використанням симулятора Монте Карло (Monte Carlo), який додає довільний шум в дані каліброваного зображення і перераховує параметри калібрування. Повторює і отримує значення і ковариационную статистику.
«гнучкий»Метод» - в даному методі, запропонованому Ж. Жанг в 2000 р (Zhang, 2000), використовується плоский калібрувальний об'єкт (шахівниця) при різних орієнтаціях [4]. Вона являє собою масив чорно-білих квадратів N х N у вигляді «шахової дошки». Алгоритм використовує витягнуті точки кутів шахівниці для обчислення проекції перетворення між точками зображення на різних зображеннях.
Основні етапи алгоритму калібрування
1) Необхідно зробити кілька зображень каліброваного об'єкта в різних положеннях переміщаючи або об'єкт, або камеру.
2) Виявлення точок функції на зображеннях.
3) Оцінити п'ять внутрішніх параметрів і всі зовнішні параметри використовуючи рішення в аналітичному вигляді:
З координат зображення p = (u, v, 1) і їх відомого відповідного набору координат в реальному світі P = (X, Y, Z = 0,1), гомографія A = (a1a2a3) [3] можна обчислити:
Sp = AP, A = ?K (r1r2t), (1.13)
де r1 и r2два перших стовпця вектора матриці обертання R. Використовуючи обмеження, що ці два стовпці вектора ортогональні отримуємо два наступних тотожності:
a1TK-TK-1a2 = 0, a1TK-TK-1a1 = a2TK-TK-1h2. (1.14)
Зображення абсолютного конуса В = K-TK-1 як правило симетрично і може бути описано як 6D вектор b = (b11, ... B33)т. Таким чином для кожної з N проекцій мети ми отримуємо набір з 2 рівнянь, щоб вирішити для b, що означає що нам необхідно принаймні 3 ракурсу калібрувальної мети щоб вирішити систему для всіх невідомих.
4) Оцінити спотворення радіальних спотворень рішенням методу найменших квадратів:
k = (DTD)-1 DTd. (1.15)
5) Уточнити всі відновлені параметри, використовуючи нелінійну мінімізацію репроекціі помилки:
. (1.16)
плюси
Простота реалізації. На відміну від класичного методу не потрібно дороге обладнання з двома або трьома ортогональними площинами, даний метод простий у використанні і гнучкий.
Рух не повинно бути відомо.
Краще значення конвергенції при багато ракурсів калібрування, ніж у алгоритму Цая.
Даний метод більш стійкий в порівнянні з автокалібруванням.
мінуси
Необхідно як мінімум три різні проекції плоского каліброваного об'єкта.
Існує вплив помилки друку на якість калібрування. Штробль [5] описав подібний сценарій, він припустив, що процедура друку вводить тільки два типи систематичних помилок: помилки в глобальному масштабі шахівниці і без передбачуваного співвідношення перспективи.
Автокалібровка в реальному часі - Одночасне визначення внутрішніх і зовнішніх параметрів. Технології цієї категорії використовують тільки рух камери в статичної сцені. Якщо зображення будуть братися від тих же самих камер з фіксованими внутрішніми параметрами, відповідності між трьома картинками досить для отримання і внутрішніх, і зовнішніх параметрів, які дозволять реконструювати 3D структуру. Мейнібанк і Фаугерас вперше запропонували самокалібрування на основі рівнянь Круппа [6]. Останнім часом багато дослідників висунули ряд аналогічних методів [7-11]. Всі ці методи засновані на абсолютному конічному перетині і абсолютної квадрік, для яких необхідно складати нелінійних рівнянь з кількох значень. Автокалібровка буде надійною, якщо геометрія мережі сприятлива, тобто зображення конвергентних і є велика кількість виміряних точок, розташованих на всій поверхні знімка.
плюси
Калібрування може бути повністю автоматичної процедурою.
мінуси
Хоча цей метод є досить гнучким, він має суттєвий недолік - обчислювальна складність і велика кількість часу, який для цього витрачається.
Потрібно доступ до "сирим" зображенням камери, а дана функція може не бути присутнім в камерах з низькою вартістю.
Не завжди можливо застосувати даний метод калібрування в короткобазісних вимірах.
1.2.3 Програмне забезпечення для калібрування камер
Для програмної калібрування стереокамер найчастіше використовується таке програмне забезпечення як Matlab і бібліотека OpenCV, зі спеціально розробленими алгоритмами.
На малюнку 3 показані кроки калібрування камери методом Цая в інструментах Matlab. У першому кроці, отримують набір зображень і визначають помилки між лівим і правим кадрами. Якщо зображення не сходяться один з одним, система буде регулювати положення камери, поки вони не зійдуться. Результати будуть містити внутрішні і зовнішні параметри.
Алгоритм калібрування стереокамер OpenCV заснований на тому, що функції використовують моделі камери-обскури. Тобто, сцени формується шляхом проектування 3D-окуляри в площині зображення з використанням перспективного перетворення.
Існує безліч варіантів алгоритмів калібрування: від простих до дуже складних і вимагають великих ресурсів і часу для обчислень. Алгоритм, запропонований Жангом (Zhang, 2000), блок схем якого представлена ??на малюнку 1.3, є найбільш простим в реалізації при досить хороших результатах і частіше за інших застосовується при калібрування стереокамер. Самий Важкореалізовані алгоритм і в той же час найбільш затребуваний, так він практично відсутній в сучасних стереокамерами - автокалібровка камер. Його реалізація дозволила б скоротити час виконання та підвищити ефективність калібрування.
Малюнок 1.3 - Блок схема методу Цая
З проведеного аналізу видно, що вибір методів калібрування і їх точність сильно залежать від випробувальних об'єктів.
Розглянуті методи калібрування розроблені для пристроїв, що використовуються в робототехніці. Очевидно, що ці методи можуть бути використані і в мовній об'ємному телебаченні. Однак слід врахувати, що в цьому випадку більший інтерес представляють не вимірювальні характеристики передавальних камер, а якісне сприйняття створюваного ними зображення.
Тому випробувальні об'єкти, що використовуються в робототехніці, можуть бути використані для калібрування передавальних камер і в мовному телебаченні, проте їх недостатньо для оцінки якості зображення.
В об'ємному телебаченні для настройки та оцінки камер запропоновано використовувати як плоскі випробувальні об'єкти у вигляді таблиць, так об'ємні.
Однак створення рухомих випробувальних об'єктів пов'язано з проблемами вибору сюжетів, в першу чергу, детальності швидкості руху.
Вирішити цю проблему можна, якщо використовувати електронне формування випробувальних об'єктів. При цьому такі об'єкти можуть бути використані як для оцінки якості і калібрування стереоскопічних і багато ракурсів камер, так і для вироблення вимог до побудови фізичних рухливих об'ємних випробувальних об'єктів.
Для цього розглянемо спочатку можливості зйомки з екрану монітора.
Методи підвищення якості стереоскопічних і багато ракурсів систем телебачення | Зйомка з екрану монітора
реферат | Визначення, позначення і скорочення | Вступ | Система оцінки якості об'ємного телевізійного зображення | Теорії нюху, класифікація запахів і методи їх генерації | теорії нюху | Класифікація запахів | генерація запахів | Деякі проблеми при доставці запахів користувачеві | N [1,2,3, ... q], n q. |