Всі методи попередньої обробки зображень можна розділити на просторові і частотні.
Просторові методи оперують безпосередньо з пікселями зображення, а в якості характеристики зображення використовується яскравість.
Частотні методи пов'язані з перекладом зображення в комплексну площину за допомогою перетворення Фур'є.
- пікселів, що утворюють матрицю або контур.
На етапі формування зображення вибирають поріг яскравості шляхом регулювання освітлення і проводять фільтрацію зображення для компенсації перешкод, а також виділять контур зображення - краю і лінії.
При необхідності на цьому етапі виконують бінаризація, тобто перетворять півтонування в бінарне.
Вибір порога яскравості є найважливішою процедурою першого етапу попередньої обробки зображення, оскільки його якість сильно залежить від освітленості робочої сцени. Якщо освітленість занижена, то збільшується кількість перешкод на зображенні аж до втрати об'єкта; при дуже сильної освітленості відбувається засвічування об'єкта. У більшості випадків поріг яскравості регулюють при введенні зображення через фреймграббер.
Зазвичай при поліпшенні зображення застосовують покадровую регулювання яскравості і контрастності зображення, що вводиться. При цьому для кожного кадру будують гістограму розподілу яскравості зображення і обчислюють її параметри: математичне сподівання і дисперсію. Кожна точка такої гістограми визначає кількість пікселів зображення, що мають дане значення яскравості. При цьому математичне сподівання визначає загальну яскравість зображення, а дисперсія - контрастність.
Бінаризація часто виконують безпосередньо після поліпшення зображення. Завдання бинаризации складається перетворенні півтонування в бінарне. В процесі бинаризации вибирають порогове значення яскравості, яке розділяє область об'єкта і область фону. Таким чином, якщо значення яскравості в довільній точці перевищує порогове значення, то точка належить об'єкту, в іншому випадку - фону. Вихідна бінаризованими зображення містить дві градації яскравості: 0 або 1.
Таким чином, на зображенні пікселі з одиничним значенням яскравості належать об'єктам, а з нульовим - фону.
Фільтрація зображення є найбільш тривалою і складною стадією попередньої обробки. Існує велика кількість різних методів фільтрації зі своїми достоїнствами і недоліками. Застосування того чи іншого методу визначається завданням. Так, існують алгоритми, що виконують одночасно дві функції: філльтрацію і виділення контуру (контурних фільтри). У загальному випадку фільтрація вирішує такі основні завдання:
- згладжування (придушення високочастотної перешкоди типу "сніг",
Фільтрація в ряді випадків дозволяє істотно зменшити апаратурні перешкоди, що вносяться оптичною системою, фреймграббером, камерою (наприклад, аберації об'єктива,
дискретизація по полю осередків світлочутливої поверхні і неодноднородность їх фотоелектричних характеристик).
Можливість фільтрації обумовлена тим, спектр візуальних перешкод зазвичай містить вищі просторові частоти, ніж спектр зображення, тобто розмір перешкод істотно менше розміру фрагмента об'єкта. Для усереднення високочастотної перешкоди типу "сніг" служить фільтр нижніх частот. Недоліком низькочастотної фільтрації є погіршення контрастності зображення.
Якщо ж вихідне зображення недостатньо різке, що буває при слабкому освітленні, застосовують високочастотні фільтри, які збільшують контрастність зображення. Фільтр верхніх частот залишає без зміни високі частоти і згладжує області, що містять мало деталей, наприклад відблиски. Недоліком високочастотної фільтрації є поява артефактів зображення, особливо помітних на тлі у вигляді дрібнодисперсних елементів, які отримали назву "сніг".
Негативне зображення - це зображення, яскравості якого протилежні об'єкту зйомки, тобто найбільш світлі ділянки виглядають темними, а найбільш темні (тіні) - світлими. На кольоровому негативі кольору об'єкта відображаються додатковими до них квітами на зображенні.
Негатив. R '= 255 - R; G '= 255 - G; B '= 255 - B
У цифровій графіці контраст можна оцінити, якщо використовувати гістограму.
При збільшеному контрасті рівні яскравості концентруються до країв графіка, а на краях, як вже відомо, розташовуються чорний і білий рівні яскравості, які представляють собою максимальний контраст (варто згадати чорно-білу штриховую графіком).
Чим вище контраст, тим більше тонові рівні прагнуть до екстремумів (крайовим значенням тонового діапазону).
При зменшеному контрасті рівні яскравості концентруються до деякому рівні сірого, який представляє собою середнє значення всіх рівнів яскравості. Мінімальне значення контрасту, рівне його повної відсутності, відповідає ситуації, коли все зображення перетворюється в плашку одного тону (це, власне, вже й не зображення).
Чим нижче контраст, тим більше тонові рівні прагнуть до середнього рівня.
Тому можна стверджувати, що контраст може змінюватися від максимального, коли в зображенні залишаються тільки білий і чорний кольори, до мінімального, коли в зображенні залишається тільки єдиний рівень сірого кольору.
Зауваження Слід мати на увазі, що в зображеннях з декількома колірними каналами (наприклад,
RGB-зображення) при максимальному контрасті утворюється зображення не з двома кольорами (як здавалося логічним очікувати), а з кількома. Це пов'язано з тим, що максимальний контраст (чорне і біле) досягається в кожному каналі незалежно один від одного, а що перекривають зони утворюють відповідні кольори.
9. Гістограма. Алгоритм вирівнювання гістограм. Завдання зміни яскравості і контрасту зображення.
Гістограми яскравості. Інструментом для оцінки рівнів інтенсивності пікселів є гістограма - графічне відображення кількісної характеристики імовірнісного розподілу інтенсивності (яскравості) пікселів в виділеній ділянці зображення. Максимального значення інтенсивності пікселів присвоюється рівень градації інтенсивності 255 (білий колір), найтемнішого - значення 0 (чорний колір). Інтенсивності в діапазоні від 0 до 255 мають лінійну шкалу зміни, або встановлюється відповідно до прийнятої функцією зміни, наприклад, що підсилює слабкі сигнали (градації сірого) і ослаблює сильні сигнали (в області білого кольору), ніж підвищується просторове і контрастне дозвіл зображення або певної зони інтересу.
Відомий метод поліпшення зображень, заснований на обчисленні логарифма спектральних коефіцієнтів перетворення Фур'є вихідного зображення (обчислення кепстра). При зворотному перетворенні кепстра в зображення відбувається вирівнювання гістограми зображення за рахунок логарифмічного перетворення спектру зображення.
Багато зображення характеризуються гістограмами з високою концентрацією ліній в певних зонах розподілу інтенсивності. Часто гістограма розподілу яркостей зображення має перекіс в сторону малих рівнів (яскравість більшості елементів нижче середньої). Одним з методів поліпшення якості таких зображень є видозміна їх гістограми. Вирівнювання гістограми може бути здійснено на основі піднесення до степеня модуля спектральних коефіцієнтів Фур'є-перетворення зображення, при цьому знак і фаза коефіцієнтів зберігається. Якщо позначити показник ступеня α, то при α<1 операция извлечения корня степени α уменьшает большие спектральные коэффициенты и увеличивает малые. Такое перераспределение энергии в частотной плоскости изображения приводит к более эффективному использованию динамического диапазона интенсивностей пикселей изображения в пространственной области.
Вибір хорошої маски регулювання гістограми інтенсивності пікселів підвищує контраст, тим самим покращуючи контрастну роздільну здатність деталей. У програмах обробки є команди, що дозволяють встановлювати кольори при кольоровому картуванні зображень, що мають плавні або, навпаки, різкі переходи відображаються деталей в зоні інтересу. У поєднанні зі зверненням контрасту, перетворюючої негативне зображення в позитивне, даний спосіб дозволяє також підвищити контраст дрібних і середніх деталей зображення.
Існує досить великий арсенал математичних моделей і алгоритмів, програмна реалізація яких дозволяє значно підвищити контрастне дозвіл зображень. Ці алгоритми засновані на процесах лінійної і нелінійної фільтрації зображень, перетворюючої гистограмму інтенсивності.
10) Типові алгоритми обробки. алгоритм згортки
Виділяють три групи типових алгоритмів обробки зображення, характерних для всіх систем зору:
1. попередня обробка зображення;
Метою попередньої обробки зображення є формування і подальше поліпшення зображення, його бінаризація і кодування (зокрема, отримання контурного подання).
Згортка - це операція обчислення нового значення обраного пікселя, що враховує значення оточуючих його пікселів. Для обчислення значення використовується матриця, звана ядром згортки. Зазвичай ядро згортки є квадратною матрицею n * n, де n - непарне, однак ніщо не заважає зробити матрицю прямокутної. Під час обчислення нового значення обраного пікселя ядро згортки як би «прикладається» своїм центром (саме тут важлива непарність розміру матриці) до даного пікселя. Навколишні пікселі так само накриваються ядром. Далі вираховується сума, де складовими є твори значень пікселів на значення комірки ядра, що накрила даний піксель. Сума ділиться на суму всіх елементів ядра згортки. Отримане значення як раз і є новим значенням обраного пікселя. Якщо застосувати згортку до кожного пікселя зображення, то в результаті вийде якийсь ефект, що залежить від обраного ядра згортки.
Кажучи, не математичною мовою, convolution - це перетворення однієї матриці за допомогою іншої, яка називається ядром ( «kernel»). При обробці зображень в якості вихідних виступають матриці RGB-каналів пікселів в прямокутних координатах.
Як ядро зазвичай використовується матриця розміром 3x3, але можливо і більше (5x5, 7x7 і т.д.). Ядро містить ступеня впливу ( «цінності») оточуючих значень елемента на сам елемент.
Перетворення відбувається наступним чином. Кожен елемент вихідної матриці множиться центральне значення матриці ядра. Крім цього на відповідні значення множаться навколишні його елементи (при розмірі ядра 3x3 їх буде 8), після чого результати сумуються і приймаються як перетворене значення.
Ось простий графічний приклад:
Значення, яке потрібно виділено червоним, область дії матриці ядра - зеленим. Що получіслось в результаті перетворення. Цінності всіх оточуючих пікселів,
включаючи власне значення дорівнює нулю, крім верхнього середнього, де вона дорівнює одиниці. Таким чином, результат:
Як видно, дане перетворення зміщує зображення вниз на 1 піксель.
Таким чином, convolution в даному випадку - це перетворення зображення, в результаті якого на кожен піксель результату впливає навколишнє його область. Ступінь впливу цієї області задається за допомогою «ядра» або матриці згортки.
Значення div і offset
При обробці зображень одним тільки перетворенням не звільнишся, потрібна ще нормалізація. Що робити, якщо вийшло значення більше 255 або менше 0? Квітів-то таких немає. Більш того, що вихід за межі кольору явище досить часте.
Для нормалізації результату використовуються додаткові змінні: div (дільник) і offset (коефіцієнт). Вони працюють дуже просто: результат перетворення ділиться на div і до нього додається offset.
Не важко здогадатися, що за замовчуванням div = 1, offset = 0 (div = 0 виставляти не можна!). При перетвореннях в якості div зазвичай приймається сума всіх елементів матриці
скручування. Ця умова дозволяє не допустити колірних спотворень, якщо вони не потрібні. Дійсно, якщо перетворюються область містить один і той же колір, то результат
вийде як сума елементів ядра помножене на цей колір. Відповідно, що б залишити колір без змін, треба розділити результат перетворення на цю саму суму.
Фільтрів використовують матрицю згортки багато, нижче будуть описані основні з них. Фільтр розмиття Найбільш часто використовуваним фільтром, заснованим на матриці згортки, є
Зазвичай матриця заповнюється по нормальному (гауссова закону). Нижче приведена матриця розмиття 5x5 заповнена згідно із законом гауссовский розподілу.
Коефіцієнти вже є нормованими, так що div для цієї матриці дорівнює одному.
Від розміру матриці залежить сила розмиття. Фільтр поліпшення чіткості
Для поліпшення чіткості необхідно використовувати наступну матрицю:
Ця матриця збільшує різницю значень на кордонах. Div для цієї матриці дорівнює 1.