Магистър студент. Мухамедиаров Р.М.

Казахски национален технически университет K.I.Satpayeva, Алмати, Казахстан

Машинно зрение: концепции, задачи и приложения

1. Основни дефиниции и понятия за компютърно зрение

Машинното зрение е научно направление в областта на изкуствения интелект, по-специално роботиката, и свързаните с нея технологии за получаване на изображения на обекти от реалния свят, тяхната обработка и използване на получените данни за решаване на различни видове приложни проблеми без (пълно или частично) човешко участие. участие.

Машинното зрение тясно взаимодейства със области като Компютърно зрение, Обработка на изображение , Анализ на изображението , Разпознаване на образи и др.Няма и стандартна формулировка как и как трябва да се реши проблемът в тази областЧесто е трудно да се припишат недвусмислено възникващите проблеми и прилаганите методи за решаване към една от тези области.Ако прегледаме техниките, алгоритмите и методите за обработка на изображения, които се използват и развиват в тези области, можем да видим, че те са повече или по-малко идентични.

Машинно зрение се фокусира върху предимно индустриални приложения, като автономни роботи и системи за визуална инспекция и измерване. Това означава, че технологията на сензора за изображения и теорията за управление са свързани с обработката на видео данни за управление на робота, а обработката в реално време на получените данни се извършва в софтуер или хардуер.

Обработка на изображение И Анализ на изображението фокусиран основно върху работа с 2D изображения, т.е. как да конвертирате едно изображение в друго. Например операции пиксел по пиксел за увеличаване на контраста, операции за подчертаване на ръбове, премахване на шум или геометрични трансформации като завъртане на изображението. Тези операции предполагат, че обработката/анализът на изображения работи независимо от съдържанието на самите изображения.

Компютърно зрение се фокусира върху обработката на триизмерни сцени, проектирани върху едно или повече изображения. Например, възстановяване на структурата или друга информация за 3д сцена от едно или повече изображения. Компютърното зрение често зависи от повече или по-малко сложни предположения за това какво е представено в изображенията.

Има и зона т.нар Визуализация , който първоначално се занимаваше с процеса на създаване на изображения, но понякога се занимаваше с обработка и анализ. Например, радиографияработи с анализ на видео данни за медицински приложения.

накрая Разпознаване на шаблон е област, която използва различни методи за извличане на информация от видео данни, основно базирани на статистически подход. Голяма част от тази област е посветена на практическо приложениетези методи.

Така можем да заключим, че понятието „машинно зрение“ днес включва: компютърно зрение, визуално разпознаване на образи, анализ и обработка на изображения и др.

Основни елементи модерни системиКомпютърно зрение може да се нарече камера, с която се получава изображението, входна платка, която дигитализира изображението, и платка за управление на движението. Технологията за машинно зрение има няколко етапа на работа на системата. Първата стъпка е да се получи изображение на контролирания обект. След това полученото изображение трябва да бъде въведено в индустриален контролер или друг компютър, където се извършва компютърна обработка, анализ на получените данни и вземане на решения в съответствие с вградената програма за управление. Последният етап е извеждането на управляващи действия към изпълнителните механизми.

Като цяло задачите на системите за машинно зрение включват получаване цифрово изображение, обработка на изображения с цел открояване на значима информация в изображението и математически анализ на получените данни за решаване на поставените задачи.

Литература:

1. Компютърно зрение: Модерен подход от Д. А. Форсайт и Дж. Понсе, Prentice Hall, Upper Saddle River, N.J., 2002 г.

2. Компютърно зрение. Л. Шапиро и Г. Стокман, Prentice-Hall, Upper Saddle River, N.J., 2000 г.

3. К. уф Структурни методи в разпознаването на образи. Издателство "Мир". Москва, 1977 г.

4. Едуард А. Патрик. Основна теория разпознаване на шаблон. Москва "Съветско радио", 1980 г.

5. Изкуствен интелект. Модерен подход. Стюарт Ръсел, Питър Норвиг. Москва/Санкт Петербург/Киев, 2006 г.

Преглед на пазара на технологии за компютърно зрение

Съвременният свят на компютърните системи е трудно да си представим без технологии за машинно или компютърно зрение. В статията „Защо компютърът се нуждае от зрение?“ (ComputerPress No. 5’2002) беше прегледана историята на формирането на тази технология и беше направен преглед на редица нейни приложения. Разбира се, статията описва само малка част от приложенията от широк обхватприложни системи за компютърно зрение и в бъдещи броеве ще се върнем към разглеждането на тази много интересна и бързо развиваща се област на знанието. Да, бързо се развива. В края на краищата тази технология е само на около 50 години, което по стандартите на много точни науки не надхвърля началния си етап. Увеличавайки своя научен и практически потенциал успоредно с усъвършенстването на изчислителната и записващата технология, компютърното зрение постепенно завладява нови технологични граници. Високопроизводителните компютри от най-ново поколение (включително съвременните персонални компютри) вече позволяват решаването на много проблеми с обработката на потоци от цифрова видео информация и вземането на решения в реално време. И днес, понякога незабелязано от повечето от нас, компютърното зрение е доста здраво установено в много области на човешкия живот, като му помага, а понякога го замества, освобождавайки го от монотонна, рутинна или често животозастрашаваща работа.

Не е тайна, че компютърното зрение като технология е получило най-широко разпространение, пълно и цялостно развитиена Запад, особено в САЩ, в Южна Кореаи в Япония. Това се дължи преди всичко на силната финансова подкрепа за този район от правителството и инвеститорите, които му предричат ​​голямо бъдеще. Освен това правителството подкрепя основно развитието на технологиите в образователните центрове, а инвеститорите предоставят подкрепа на частни, многообещаващи компании. Повечето ярки примериТакива добре финансирани изследователски центрове могат да включват лабораторията за изкуствен интелект на Масачузетския технологичен институт (MIT). Изкуствен интелект Laboratory), UC Berkeley Computer Vision Group, Vision and Autonomous Systems Center в Cornegie Mellon University, Stanford Vision Laboratory и няколко други. Примери за поддържани частни компании включват компании като Visionics, Eyematic и т.н. Общо интернет сайтът, обединяващ разработчици в областта на компютърното зрение, е Home Page на Computer Vision (http://www.2.cs.cmu.edu/afs /cs/project/cil/ftp/html/txtvision.html) - регистрирани са около 200 групи и научни лаборатории, работещи по този въпрос. Трябва да се отбележи, че това не изчерпва кръга от организации, занимаващи се с компютърно зрение, тъй като има такъв голям бройтърговски фирми, специализирани в компютърно зрение и обработка на изображения. Информация за тях можете да намерите на специализирани тематични интернет сайтове, посветени на отделните области на тази технология. С други думи, разработчиците на различни технологии в рамките на самата технология за компютърно зрение изглежда се обединяват в клубове по интереси. Например, тези, които се интересуват от напредъка в разпознаването на жестове, могат да намерят много подробна информацияза изследвания, изследователски групи, търговски приложения, патенти на съответния специализиран интернет сайт - Gesture Recognition Home Page (http://www.cybernet.com/~ccohen/gesture.html). Там можете също да изтеглите някои демонстрационни приложения и да разгледате най-новите научни публикации. Ако читателят предпочита да се занимава с технологии, свързани с лицевото разпознаване, тогава той има директен път към виртуалния клуб на друг интернет сайт - Face Detection and Recognition Home Page (http://home.t-online.de/home/Robert .Frischholz/ лице.htm).

Трябва да се отбележи, че всичко по-горе води до бърз растежи подобряване на технологиите за компютърно зрение. В момента чуждестранните изследователски и търговски центрове привличат голям брой учени и висококвалифицирани програмисти, провеждат паралелни изследвания в различни области на компютърното зрение, постигайки доста значителни резултати.

Русия, като пълноправен член на световната икономическа общност, не остана настрана от този процес. От няколко години на руския технологичен пазар също се наблюдава тенденция на нарастващ интерес към проблемите с компютърното зрение, както от ръководителите на редица ИТ компании и компании, работещи на пазара за сигурност, така и от потребители (потребители) и студенти, които искат да се специализират в тези области. В отговор на този интерес се появиха лаборатории, групи и търговски структури, които си поставиха за задача да разработят различни видове технологии и приложения за решаване на проблеми с компютърното зрение. И ако преди десетилетие бяхме в ролята на догонващи, днес много компании - лидери в областта на модерните технологии се стремят да навлязат на руския пазар, за да придобият подходящи технологии за компютърно зрение или да направят поръчки за напреднали изследвания и разработки в тази област. ■ площ.

Тази статия е посветена на тази тема, чиято цел е не само да демонстрира интереса към тази тема от страна на руски и чуждестранни производители на стоки, но и да говори за редица руски компании, които се развиват софтуерза различни системи за обработка и анализ на изображения.

Кой кой е на руския пазар за компютърно зрение

Проучване на руския пазар за разработчици на технологии за компютърно зрение показва, че броят на компаниите, занимаващи се с компютърно зрение, е сравнително малък. Нека да разгледаме най-забележителните от тези компании и да дадем кратко описание на някои интересни технологии за компютърно зрение, които те доставят на вътрешния и световния пазар.

Компания SPIRIT

Най-известните фотограметрични системи в света включват такива хардуерни и софтуерни системи като Leica и Intergraph, снабдени с мощни работни станции. Това са много скъпи системи и малко компании могат да си ги позволят. С развитието на компютърните технологии по-евтините системи, които позволяват обработка на изображения на персонални компютри, стават все по-популярни. Руски цифрови фотограметрични системи "Талка" (http://www.talka-tdv.ru/), Photomod (фирма "Ракурс" (http://www.racurs.ru/)), Z-Space (ГосНИИАС), ЦФС ЦНИИГАиК (Роскартография) или „Фотоплан“ (29-ти институт на Министерството на отбраната), не по-нисък, а понякога и по-добър по отношение на качеството на цифрова обработка на видеосигнал чужди аналози, като същевременно е десетки пъти по-евтин от подобни чуждестранни разработки. Разглеждането на характеристиките и възможностите на такива системи е предмет на отделна статия.

Друго направление в областта на компютърното зрение е изграждането на системи за разпознаване на знаци. В тази статия само индиректно споменахме тази област, в която технологиите за компютърно зрение могат да се считат за зрели. По-специално, разгледахме само високоспециализирани задачи, решавани от компании в рамките на търговски проекти. Ако говорим за утвърдени търговски продукти и технологии за системи за разпознаване на символи, тогава не можем да не споменем най-големите руски и световни доставчици на тази технология - ABBYY със серия от програми FineReader и Cognitive Technologies със серия от програми CuneiForm. Повече от една статия на страниците на ComputerPress е посветена на преглед на технологиите, доставяни от тези компании. Информация за постиженията на тези компании можете да намерите в този брой на списанието. Ето защо, докато отдаваме почит на тези компании и техните технологии, ние само накратко ги споменаваме в тази статия.

Обобщавайки, можем уверено да кажем, че руските технологии за компютърно зрение не са по-ниски и в много отношения превъзхождат чуждестранните аналози. Често компаниите, разработващи тези технологии, липсват в световен мащаб известно име. Следователно инвестициите в тях по правило са неохотни. Това обаче няма съмнение високо нивотехнологиите и високата квалификация на руските специалисти в близко бъдеще ще доведат до доминиране на руските технологии за компютърно зрение на световния пазар.

КомпютърПрес 7"2002

UDC 004.93"1

Машинно зрение

Татяна Вадимовна Петрова, група 4241/3

Машинното зрение е приложението на компютърното зрение в индустрията и производството. Областта на интерес на машинното зрение е цифровите входно-изходни устройства и компютърните мрежи за наблюдение на производствено оборудване. Машинното зрение има някои предимства пред човешкото. Съответно е важно да се развива тази област на науката. IN този прегледговори за историята на развитието на машинното зрение, компонентите на системата за машинно зрение, приложението на машинното зрение и бъдещето на тази област на науката.

Въведение

производство на компютърно машинно зрение

Човек получава по-голямата част от информацията за външния свят чрез визуалния канал и след това много ефективно обработва получената информация с помощта на апарата за анализ и интерпретация на визуална информация. Ето защо възниква въпросът за възможността за машинно изпълнение на този процес.

Поради нарастващата сложност на решаваните научни и технически проблеми, автоматичната обработка и анализ на визуална информация стават все повече и повече актуални въпроси. Тези технологии се използват в много търсени области на науката и технологиите, като автоматизация на процеси, повишаване на производителността, подобряване на качеството на произвежданите продукти, контрол на производственото оборудване, интелигентни роботизирани системи, системи за управление на движещи се превозни средства, биомедицински изследвания и много други . Освен това може да се каже, че успехът на съвременния бизнес се основава основно на качеството на предлаганите продукти. И за да се гарантира това, ако говорим за производство на материални неща, е необходим визуален контрол.

По-нататък ще използваме термина „машинно зрение“ като понятие, което най-пълно обхваща набора от инженерни технологии, методи и алгоритми, свързани със задачата за интерпретиране на визуална информация, както и практическото използване на резултатите от тази интерпретация.

1. История на развитието на машинното зрение

Компютърното зрение възниква като самостоятелна дисциплина в края на 60-те години. Тази посока възниква в рамките на изкуствения интелект във време, когато все още се водят разгорещени дебати за възможността за създаване на мислеща машина. Появи се от работата по разпознаването на образи. [Зуева, 2008]

Кратка история на развитието на машинното зрение е представена на фигура 1.

Ориз. 1. История на машинното зрение

В историята на развитието на машинното зрение могат да се разграничат следните етапи:

· 1955 г. – професорът от Масачузетския технологичен институт (MIT) Оливър Селфридж публикува статията „Очи и уши за компютъра“. В него авторът изложи теоретичната идея за оборудване на компютър с инструменти за разпознаване на звук и изображение.

· 1958 г. - психологът Франк Розенблат от университета Корнел създава компютърна реализация на перцептрона (от perception - възприятие) - устройство, което симулира верига за разпознаване на образи човешки мозък. Перцептронът е моделиран за първи път през 1958 г. и обучението му изисква около половин час компютърно време на компютър IBM-704. Хардуерната версия - Mark I Perceptron - е създадена през 1960 г. и е предназначена за визуално разпознаване на изображения [Компютърно зрение, 2010] .

Разглеждането на проблемите с компютърното зрение обаче беше по-скоро спекулативно, тъй като нито технологията, нито математическата подкрепа за решаване на такива сложни проблеми все още не бяха налични.

· 1960 г. - появата на първите софтуерни системи за обработка на изображения (главно за премахване на шум от снимки, направени от самолети и сателити), започват да се развиват приложни изследвания в областта на разпознаването на печатни знаци. Въпреки това все още имаше ограничения в развитието на тази област на науката, като липсата на евтини оптични системи за въвеждане на данни, ограниченията и доста тясната специализация на изчислителните системи. Бързото развитие на системите за компютърно зрение през 60-те години може да се обясни с разширяващата се употреба на компютри и очевидната необходимост от по-бърза и по-ефективна комуникация между човек и компютър. До началото на 60-те години проблемите с компютърното зрение обхващат главно областта на космическите изследвания, което изисква обработка на голямо количество цифрова информация.

· 1970-те години - Лорънс Робъртс, завършил студент в MIT, представи концепцията за машинно конструиране на триизмерни изображения на обекти въз основа на анализа на техните двуизмерни изображения. На този етап започна да се извършва по-задълбочен анализ на данните. Започнаха да се развиват различни подходи за разпознаване на обекти в изображение, като например структурни, характерни и текстурни.

· 1979 г. - Професор Ханс-Хелмут Нагел от университета в Хамбург полага основите на теорията за динамичен анализ на сцени, която прави възможно разпознаването на движещи се обекти във видеопоток.

· В края на 80-те години бяха създадени роботи, способни повече или по-малко задоволително да оценяват Светъти самостоятелно да извършва действия в естествена среда

· 80-те и 90-те години бяха белязани от появата на ново поколение сензори за двумерни цифрови информационни полета от различна физическа природа. Разработването на нови системи за измерване и методи за запис на двуизмерни цифрови информационни полета в реално време направи възможно получаването на стабилни във времето изображения, генерирани от тези сензори за анализ. Подобряването на производствените технологии на тези сензори позволи значително да се намалят разходите им и следователно значително да се разшири обхватът на тяхното приложение.

· От началото на 90-те години в алгоритмичен аспект последователността от действия за обработка на изображението се разглежда в съответствие с така наречената модулна парадигма. Тази парадигма, предложена от D. Marr въз основа на дълго изследване на механизмите на човешкото визуално възприятие, твърди, че обработката на изображения трябва да се основава на няколко последователни нива на възходяща информационна линия: от „иконичното“ представяне на обекти (растер изображение, неструктурирана информация) към техните символично представяне(векторни и атрибутни данни в структурирана форма, релационни структури и др.). [Wiesilter et al., 2007]

· В средата на 90-те години първият търговски системиавтоматична автомобилна навигация. В края на 20 век са разработени ефективни средства за компютърен анализ на движенията.

· 2003 г. - първите сравнително надеждни корпоративни системи за лицево разпознаване бяха пуснати на пазара.

2. Проблеми на компютърното зрение и области на неговото приложение

2.1 Дефиниция на „машинно зрение“

Машинното зрение е приложението на компютърното зрение в индустрията и производството. Областта на интерес на машинното зрение като инженерна област са цифрови входно/изходни устройства и компютърни мрежи, предназначени да наблюдават производствено оборудване като роботизирани ръце или машини за възстановяване на дефектни продукти.

Машинното зрение е изучаване на методи и техники, чрез които системите за изкуствено зрение могат да бъдат конструирани и полезно използвани в практически приложения. Като такъв, той обхваща както науката, така и инженерството на визията .

Проучването му включва не само софтуера, но и хардуерната среда и техниките за получаване на изображения, необходими за прилагането му. Като такова то се различава от компютърното зрение, което изглежда от повечето книги по темата като сфера на възможендизайн на софтуера, без да се обръща много внимание на това, което влиза в интегрирана система за зрение (макар че съвременните книги за компютърно зрение обикновено казват доста за "гадните реалности" на зрението, като елиминиране на шума и анализ на оклузия).

2.2 Машинното зрение днес.

В момента има ясна граница между така нареченото монокулярно и бинокулярно компютърно зрение. Първата област включва изследвания и разработки в областта на компютърното зрение, свързани с информация, идваща от една камера или от всяка камера поотделно. Втората област включва изследвания и разработки, които се занимават с информация, получена едновременно от две или повече камери. Множество камери в такива системи се използват за измерване на дълбочината на наблюдение. Тези системи се наричат ​​стерео системи.

Към днешна дата теорията на компютърното зрение се е развила напълно като независим клон на кибернетиката, основан на научна и практическа база от знания. Всяка година се издават стотици книги и монографии по тази тема, провеждат се десетки конференции и симпозиуми, произвежда се различен софтуер и хардуер. Съществуват редица научни и обществени организации, които подпомагат и покриват изследванията в областта модерни технологии, включително технологии за компютърно зрение.

2.3. Основни задачи на компютърното зрение

Като цяло задачите на системите за компютърно зрение включват получаване на цифрово изображение, обработка на изображението, за да се подчертае значима информация в изображението, и математически анализ на получените данни за решаване на възложените проблеми.

Компютърното зрение обаче ви позволява да решавате много проблеми, които могат да бъдат разделени на четири групи (фиг. 2) [Лисенко, 2007] :

Фиг.2. Задачи за компютърно зрение

· Разпознаване на позицията

Целта на компютърното зрение в това приложение е да определи пространственото местоположение (местоположението на обект спрямо външна системакоординати) или статичната позиция на обекта (в каква позиция е обектът спрямо координатната система с произход в самия обект) и прехвърляне на информация за позицията и ориентацията на обекта към системата за управление или контролера.
Пример за такова приложение би бил робот за товарене и разтоварване, който има за задача да движи обекти различни формиот бункера. Интелигентната задача на машинното зрение е например да определи оптималната референтна координатна система и нейния център за локализиране на центъра на тежестта на част. Получената информация позволява на робота да хване правилно частта и да я премести на правилното място.

Машинно зрение. Какво е това и как да го използвате? Обработка на изображение на оптичен източник

Машинно зрениее научно направление в областта на изкуствения интелект, по-специално роботиката, и свързаните с нея технологии за получаване на изображения на обекти от реалния свят, тяхната обработка и използване на получените данни за решаване на различни видове приложни проблеми без (пълно или частично) човешко участие.

Исторически пробиви в машинното зрение

Компоненти на системата за зрение

• Една или повече цифрови или аналогови камери (черно-бели или цветни) с подходяща оптика за заснемане на изображения
• Софтуер за създаване на изображения за обработка. За аналогови камери това е дигитализатор на изображения
• Процесор (модерен компютър с многоядрен процесор или вграден процесор, например - DSP)
• Софтуер за компютърно зрение, който предоставя инструменти за разработване на индивидуални софтуерни приложения.
• Входно/изходно оборудване или комуникационни канали за докладване на открития
• Смарт камера: едно устройство, което включва всички горепосочени точки.
• Много специализирани източници на светлина (LED, флуоресцентни и халогенни лампии т.н.)
• Специфични софтуерни приложения за обработка на изображения и откриване на съответните свойства.
• Сензор за синхронизиране на части за откриване (често оптичен или магнитен сензор) за заснемане и обработка на изображения.
• Дискове с определена форма, използвани за сортиране или изхвърляне на дефектни части.

Машинното зрение се фокусира предимно върху индустриални приложения, като автономни роботи и системи за визуална инспекция и измерване. Това означава, че технологията на сензора за изображения и теорията за управление са свързани с обработката на видео данни за управление на робота, а обработката в реално време на получените данни се извършва в софтуер или хардуер.

Обработката и анализът на изображения се фокусират основно върху работата с 2D изображения, т.е. как да конвертирате едно изображение в друго. Например операции пиксел по пиксел за увеличаване на контраста, операции за подчертаване на ръбове, премахване на шум или геометрични трансформации като завъртане на изображението. Тези операции предполагат, че обработката/анализът на изображения работи независимо от съдържанието на самите изображения.

Компютърното зрение се фокусира върху обработката на триизмерни сцени, проектирани върху едно или повече изображения. Например чрез възстановяване на структурата или друга информация за 3D сцена от едно или повече изображения. Компютърното зрение често зависи от повече или по-малко сложни предположения за това какво е представено в изображенията.

Има и област, наречена визуализация, която първоначално е била свързана с процеса на създаване на изображения, но понякога се е занимавала с обработка и анализ. Например радиографията работи с анализ на видео данни за медицински приложения.

И накрая, разпознаването на образи е област, която използва различни методи за извличане на информация от видео данни, основно въз основа на статистически подход. Голяма част от тази област е посветена на практическото приложение на тези методи.

Така можем да заключим, че понятието „машинно зрение“ днес включва: компютърно зрение, визуално разпознаване на образи, анализ и обработка на изображения и др.

Задачи за компютърно зрение

• Признание
• Идентификация
• Откриване
• Разпознаване на текст
• Възстановяване на 3D форма от 2D изображения
• Оценка на движението
• Реставрация на сцена
• Възстановяване на изображение
• Идентифициране на структури от определен тип в изображения, сегментиране на изображения
• Анализ на оптичния поток

Признание

Класически проблем при компютърното зрение, обработката на изображения и машинното зрение е определянето дали видео данните съдържат някакъв характерен обект, функция или дейност.

Този проблем може да бъде надеждно и лесно разрешен от хората, но все още не е задоволително решен в компютърното зрение в общия случай: случайни обекти в случайни ситуации.

Могат да бъдат разпознати един или повече предварително дефинирани или научени обекти или класове обекти (обикновено заедно с тяхната двуизмерна позиция в изображението или триизмерна позиция в сцената).

Идентификация

Разпознава се индивидуален екземпляр на обект, принадлежащ към клас.
Примери: идентифициране на конкретно човешко лице или пръстов отпечатък или превозно средство.

Откриване

Видео данните се проверяват за определено условие.

Откриването, базирано на сравнително прости и бързи изчисления, понякога се използва за намиране на малки области в анализираното изображение, които след това се анализират с помощта на по-ресурсоемки техники, за да се получи правилната интерпретация.

Разпознаване на текст

Търсене на изображения по съдържание: Намиране на всички изображения в голям набор от изображения, които имат специфичен по различни начинисъдържание.

Оценка на позицията: Определяне на позицията или ориентацията на определен обект спрямо камерата.

Оптично разпознаване на знаци: Разпознаване на знаци в изображения на печатен или ръкописен текст (обикновено за превод в текстов формат, най-удобен за редактиране или индексиране. Например ASCII).

Възстановяването на 3D форма от 2D изображения се извършва с помощта на стерео реконструкция на карта на дълбочината, реконструкция на нормално поле и карта на дълбочината от засенчване на полутоново изображение, реконструкция на карта на дълбочина от текстура и определяне на форма от изместване

Пример за възстановяване на 3D форма от 2D изображение

Оценка на движението

Няколко проблема с оценка на движението, при които се обработва поредица от изображения (видео данни), за да се намери оценка на скоростта на всяка точка в изображението или 3D сцената. Примери за такива задачи са: определяне на триизмерно движение на камерата, проследяване, тоест проследяване на движенията на обект (например коли или хора)

Реставрация на сцена

Дават се две или повече сценични изображения или видео данни. Реконструкцията на сцена има за задача да пресъздаде триизмерен модел на сцената. В най-простия случай моделът може да бъде набор от точки триизмерно пространство. По-сложните методи възпроизвеждат пълния 3D модел.

Възстановяване на изображение

Задачата на възстановяването на изображението е да премахне шума (шум от сензора, замъгляване на движещ се обект и др.).

Най-простият подход за решаване на този проблем е Различни видовефилтри като нискочестотни или средночестотни филтри.

По-високи нива на премахване на шума се постигат чрез първо анализиране на видео данни за различни структури, като линии или ръбове, и след това контролиране на процеса на филтриране въз основа на тези данни.

Възстановяване на изображение

Анализ на оптичния поток (намиране на движението на пикселите между две изображения).
Няколко проблема с оценка на движението, при които се обработва поредица от изображения (видео данни), за да се намери оценка на скоростта на всяка точка в изображението или 3D сцената.

Примери за такива задачи са: определяне на триизмерно движение на камерата, проследяване, т.е. следене на движението на обект (например коли или хора).

Методи за обработка на изображения

Брояч на пиксели

Отчита броя на светлите или тъмните пиксели.
Използвайки брояч на пиксели, потребителят може да избере правоъгълна област на екрана на място, което представлява интерес, като например мястото, където очаква да види лицата на минаващите хора. Камерата веднага ще отговори с информация за броя на пикселите, представени от страните на правоъгълника.

Броячът на пикселите ви позволява бързо да проверите дали монтираната камера отговаря на регулаторните или клиентските изисквания за разделителна способност на пикселите, например за лицата на хора, влизащи през вратите, наблюдавани с камера, или за целите на разпознаването на регистрационни номера.

Бинаризация

Преобразува изображение в скала на сивото в двоично (бели и черни пиксели).
Стойностите на всеки пиксел са конвенционално кодирани като "0" и "1". Стойността "0" условно се нарича фон или фон, а "1" е преден план.

Често при съхраняване на цифрови двоични изображения се използва растерна карта, където един бит информация се използва за представяне на един пиксел.

Освен това, особено в ранните етапи на развитие на технологиите, две възможни цветовебяха черно-бели, което не е задължително.

Сегментиране

Използва се за търсене и/или броене на части.

Целта на сегментирането е да опрости и/или промени представянето на изображение, така че да бъде по-просто и по-лесно за анализ.

Сегментирането на изображението обикновено се използва за подчертаване на обекти и граници (линии, криви и т.н.) в изображенията. По-точно, сегментирането на изображението е процес на присвояване на етикети на всеки пиксел в изображение, така че пикселите с еднакви етикети да споделят общи визуални характеристики.

Резултатът от сегментирането на изображението е набор от сегменти, които заедно покриват цялото изображение, или набор от контури, извлечени от изображението. Всички пиксели в сегмент са сходни по някои характерни или изчислени свойства, като цвят, яркост или текстура. Съседните сегменти се различават значително по тази характеристика.

Четене на баркодове

Баркодът е графична информация, нанесена върху повърхността, маркировката или опаковката на продукта, което я прави четлива с технически средства - последователност от черни и бели ивици или други геометрични фигури.
В машинното зрение баркодовете се използват за декодиране на 1D и 2D кодове, предназначени да бъдат четени или сканирани от машини.

Оптично разпознаване на символи

Оптично разпознаване на знаци: автоматизирано четене на текст, напр. серийни номера.

OCR се използва за конвертиране на книги и документи в електронен изглед, за автоматизиране на бизнес счетоводни системи или за публикуване на текст на уеб страница.

Оптичното разпознаване на текст ви позволява да редактирате текст, да търсите думи или фрази и да го съхранявате в повече компактна форма, показване или отпечатване на материал без загуба на качество, анализиране на информация и прилагане на електронен превод, форматиране или преобразуване на говор в текст.

Моята програма, написана на LabView за работа с изображения

Компютърното зрение се използва за безразрушителен контрол на качеството на свръхпроводящи материали.

Въведение.Решаването на проблемите с осигуряването на цялостна сигурност (както антитерористична и механична безопасност на обекти, така и технологична безопасност на инженерните системи) в момента изисква систематична организация на контрола върху текущото състояние на обектите. Един от най-обещаващите начини за наблюдение на текущото състояние на обектите са оптичните и оптоелектронните методи, базирани на технологии за обработка на видеоизображения на оптичен източник. Те включват: програми за работа с изображения; най-новите начиниобработка на изображение; оборудване за получаване, анализиране и обработка на изображения, т.е. набор от инструменти и методи, свързани с областта на компютърното и машинното зрение. Компютърното зрение е общ набор от техники, които позволяват на компютрите да виждат и разпознават три- или двуизмерни обекти, независимо дали са инженерни или неинженерни. За работа с компютърно зрение са необходими цифрови или аналогови входно/изходни устройства, както и компютърни мрежи и анализатори на IP местоположение, предназначени да контролират производствен процеси подготовка на информация за вземане на оперативни решения в най-кратки срокове.

Формулиране на проблема.Днес основната задача на проектираните системи за компютърно зрение остава откриването, разпознаването, идентификацията и квалификацията на потенциално рискови обекти, разположени на произволно място в зоната на оперативна отговорност на комплекса. Съществуващите в момента софтуерни продукти, насочени към решаване на изброените проблеми, имат редица съществени недостатъци, а именно: значителна сложност, свързана с високата детайлност на оптичните изображения; висока консумация на енергия и доста тесен обхват от възможности. Разширяване на задачите за откриване на обекти с потенциален риск до областта на търсене на произволни обекти в случайни ситуации, разположени на произволно място, налично софтуерни продуктине е възможно, дори и с използването на суперкомпютър.

Мишена.Разработване на универсална програма за обработка на изображения на оптичен източник, с възможност за поточен анализ на данни, тоест програмата трябва да е лека и бърза, за да може да се записва на малко по размер компютърно устройство.

Задачи:

• разработване на математически модел на програмата;
• писане на програма;
• тестване на програмата в лабораторен експеримент, с пълна подготовкаи провеждане на експеримент;
• проучване на възможността за използване на програмата в свързани области на дейност.

Уместността на програмата се определя от:

• висока цена професионални програмиобработка на визуална информация.

Анализ на уместността на разработването на програмата.

• липса на програми за обработка на изображения с изход на пазара на софтуер подробен анализинженерни компоненти на обекти;
• непрекъснато нарастващи изисквания към качеството и скоростта на получаване на визуална информация, рязко увеличаване на търсенето на програми за обработка на изображения;
• съществуващата нужда от високопроизводителни програми, които са надеждни и лесни за използване;
• Има нужда от високопроизводителни програми и просто управление, което е изключително трудно постижимо в наше време. Например взех Adobe Photoshop. Този графичен редактор има хармонично съчетаниефункционалност и лекота на използване за обикновения потребител, но в тази програма е невъзможно да се работи със сложни инструменти за обработка на изображения (например анализ на изображения чрез конструиране на математическа връзка (функция) или интегрирана обработка на изображения);
• високата цена на професионалните програми за обработка на визуална информация. Ако софтуерът е с високо качество, тогава цената за него е изключително висока, дори до отделните функции на определен набор от програми. Графиката по-долу показва съотношението цена/качество между прости аналози на програмата.

За опростяване на решаването на проблеми от този тип, разработих математически модел и написах програма за компютърно устройство за анализ на изображения, използвайки прости трансформации на изходни изображения.

Програмата работи с трансформации като бинаризация, яркост, контраст на изображението и др. Принципът на работа на програмата е демонстриран на примера за анализ на свръхпроводящи материали.

При създаването на композитни свръхпроводници на базата на Nb3Sn се променя обемното съотношение на бронз и ниобий, размерът и броят на влакната в него, равномерността на тяхното разпределение по напречното сечение на бронзовата матрица и наличието на дифузионни бариери и стабилизиращи материали . За дадена обемна част на ниобий в проводник, увеличаването на броя на влакната води съответно до намаляване на техния диаметър. Това води до забележимо увеличаване на повърхността на взаимодействие Nb/Cu-Sn, което значително ускорява процеса на растеж на свръхпроводящата фаза. Такова увеличение на количеството на свръхпроводящата фаза с увеличаване на броя на влакната в проводника осигурява повишаване на критичните характеристики на свръхпроводника. В тази връзка е необходимо да има инструмент за контрол на обемната фракция на свръхпроводящата фаза в крайния продукт (композитен свръхпроводник).

При създаването на програмата беше взето предвид значението на провеждането на изследвания на материалите, от които се създават свръхпроводящи кабели, тъй като ако съотношението ниобий към бронз е неправилно, е възможна експлозия на проводниците и следователно човешки жертви, парични разходи и загуба на време. Тази програма ви позволява да определите качеството на проводниците въз основа на химически и физически анализ на обекта.

Блокова схема на програмата


Описание на етапите на изследването.

Етап 1.Подготовка на пробата: рязане на композитен свръхпроводник на електроерозионна машина; пресоване на пробата в пластмасова матрица; полиране на пробата до огледално покритие; ецване на пробата за подчертаване на ниобиеви влакна върху бронзова матрица. Бяха получени проби от пресовани композитни свръхпроводящи проби;

Етап 2.Изобразяване: получаване на металографски изображения с помощта на сканиращ електронен микроскоп.

Етап 3.Обработка на изображения: създаване на инструмент за определяне на обемната част на свръхпроводящата фаза в металографско изображение; набор от статистически значими данни за определен тип извадка. Създадени са математически модели на различни средства за обработка на изображения; създадена е софтуерна разработка за оценка на обемната част на свръхпроводящата фаза; програмата беше опростена чрез комбиниране на няколко математически функции в една; средната стойност на обемната фракция на ниобиевите влакна в бронзовата матрица е 24,7±0,1%. Ниският процент на отклонение показва висока повторяемост на структурата на композитния проводник.

Електронномикроскопски изображения на композитни свръхпроводници

Методи за обработка на изображения в програмата.

• Идентификация- разпознава се индивидуален екземпляр на обект, принадлежащ към клас.
• Бинаризация– процесът на преобразуване на цветно (или сиво) изображение в двуцветно черно-бяло.
• Сегментиранее процес на разделяне на цифрово изображение на множество сегменти (много пиксели, наричани още суперпиксели).
• Ерозия – труден процес, при което структурният елемент преминава през всички пиксели на изображението. Ако в някаква позиция всеки отделен пиксел от структурния елемент съвпада с единичен пиксел от двоичното изображение, тогава се извършва логическо събиране на централния пиксел от структурния елемент със съответния пиксел от изходното изображение.
• Дилатация- навиване на изображение или избрана област от изображение с определено ядро. Ядрото може да има всякаква форма и размер. В този случай в ядрото се разпределя една водеща позиция, която се комбинира с текущия пиксел при изчисляване на конволюцията.

Програмни формули

Формула за бинаризация (метод на Оцу):

Формула за ерозия:

Формула за дилатация:

Модел на дилатация и ерозия

Формули за сегментиране на цветен праг:

Определяне на модула за градиент на яркост за всеки пиксел на изображението:

Изчисляване на прага:

Използвано оборудване

Програмен интерфейс

В света има много неща, които човешко окоПросто не мога да го поддържам. Например при конвейерната техника грешките възникват именно поради човешкия фактор. Човек просто не е в състояние трезво да оцени обектите след няколко часа работа. Роботите са много подходящи за това. Като се използва машинно зрениете могат да направят подробна проверка на продукта, да го сравнят с мостра и незабавно да вземат решение за по-нататъшна обработка на продукта.

Как работи компютърното зрение?

Компютърното зрение е способността на компютъра да „вижда“. Системата за машинно зрение използва една или повече видеокамери, аналогово-цифрово преобразуване (ADC) и устройство за цифрова обработка на сигнали (DSP). Получените данни отиват в компютър или робот контролер. Компютърното зрение е подобно по сложност на разпознаването на глас.

две важни характеристикивъв всяка такава система са чувствителност и разделителна способност. Чувствителността е способността на машината да вижда при слаба светлина или да различава слаби импулси в спектъра на невидимите дължини на вълната. Разделителната способност е степента, до която системата разпознава обектите. Чувствителността и разделителната способност са взаимозависими параметри. С увеличаване на чувствителността разделителната способност обикновено намалява и обратно, въпреки че всички други фактори обикновено остават непроменени.

Човешките очи могат да различават електромагнитни вълнис дължини на вълните от 390 до 770 нанометра. Видеокамерите имат много по-широк обхват от този, например има системи за машинно зрение, които могат да виждат в инфрачервения, ултравиолетовия и рентгеновия диапазон.

Машинното зрение се използва в различни индустриални и медицински области:

Компонентен анализ

Идентификация на подписа

Оптично разпознаване на символи

Разпознаване на почерк

Разпознаване на обекти

Разпознаване на шаблон

Материален контрол

Валутен контрол

Анализ на медицински изображения

Машинното зрение е приложението на компютърното зрение в индустрията и производството. Докато компютърното зрение е общ набор от техники, позволяващи на компютрите да виждат, областта на интерес на компютърното зрение като инженерна дисциплина са цифрови входно/изходни устройства и компютърни мрежи, предназначени да наблюдават производствено оборудване като роботизирани ръце или машини за извличане. дефектни продукти. Машинното зрение е подполе на инженерството, свързано с компютърните науки, оптиката, машинното инженерство и индустриалната автоматизация. Едно от най-честите приложения на машинното зрение е проверката на промишлени продукти като полупроводникови чипове, автомобили, храни и лекарства. Хората, които работеха на поточни линии, инспектираха части от продукта, правейки заключения за качеството на изработката. Системите за машинно зрение за тези цели използват цифрови и интелигентни камери, както и софтуер за обработка на изображения, за да извършват подобни проверки.

Системите за машинно зрение са програмирани да изпълняват високоспециализирани задачи, като броене на обекти на поточна линия, четене на серийни номера или търсене на повърхностни дефекти. Предимствата на системата за визуална инспекция, базирана на машинно зрение, включват висока скорост на работа с нарастващ оборот, възможност за 24-часова работа и повтаряща се точност на измерване. Освен това предимството на машините пред хората е липсата на умора, болест или невнимание. Въпреки това хората имат фино възприятие за кратък период от време и по-голяма гъвкавост при класифициране и адаптиране за търсене на нови дефекти.

Компютрите не могат да "виждат" по същия начин, както хората. Камерите не са еквивалентни на системата за човешко зрение и докато хората могат да разчитат на догадки и предположения, системите за машинно зрение трябва да „виждат“, като изследват отделни пиксели в изображение, обработват ги и се опитват да направят заключения, използвайки база от знания и набор от функции като устройство за разпознаване на образи. Въпреки че някои алгоритми за компютърно зрение са разработени, за да имитират човешкото визуално възприятие, голям брой уникални методи са разработени за обработка на изображения и определяне на съответните свойства на изображението.

Приложения за машинно зрение

Приложенията на машинното зрение са разнообразни и включват различни областидейности, включително, но не само следното:

Голямо промишлено производство

Ускорено производство уникални продукти

Системи за безопасност в индустриални среди

Контрол на предварително произведени обекти (напр. контрол на качеството, разследване на грешки)

Системи за визуален контрол и управление (счетоводство, четене на баркод)

Управление на автоматизирани Превозно средство

Контрол на качеството и инспекция на храните

В автомобилната индустрия системите за машинно зрение се използват за насочване на промишлени роботи, както и за проверка на боядисаните повърхности на превозни средства, заварки, двигателни блокове и много други компоненти за дефекти.