Magisterský student. Mukhamediarov R.M.

Kazašská národní technická univerzita K.I.Satpayeva, Almaty, Kazachstán

Strojové vidění: koncepty, úkoly a aplikace

1. Základní definice a pojmy počítačového vidění

Strojové vidění je vědecký směr v oblasti umělé inteligence, zejména robotiky, a souvisejících technologií pro získávání obrazů objektů reálného světa, jejich zpracování a využití získaných dat k řešení různých druhů aplikovaných problémů bez (úplného nebo částečného) lidského života. účast.

Strojové vidění úzce spolupracuje s oblastmi, jako je např Počítačové vidění, Zpracování obrazu , Analýza obrazu , Rozpoznávání vzorů atd.Neexistuje ani standardní formulace, jak a jak by měl být problém v této oblasti řešenČasto je obtížné jednoznačně přiřadit vznikající problémy a aplikované metody řešení jedné z těchto oblastí.Pokud se podíváme na techniky, algoritmy a metody zpracování obrazu, které se v těchto oblastech používají a vyvíjejí, vidíme, že jsou víceméně totožné.

Strojové vidění se zaměřuje především na průmyslové aplikace, jako jsou autonomní roboty a systémy vizuální kontroly a měření. To znamená, že technologie obrazových snímačů a teorie řízení jsou spojeny se zpracováním video dat pro řízení robota a zpracování výsledných dat v reálném čase se provádí v softwaru nebo hardwaru.

Zpracování obrazu A Analýza obrazu zaměřeno především na práci s 2D obrazem, tzn. jak převést jeden obrázek na druhý. Například operace pixel po pixelu pro zvýšení kontrastu, operace pro zvýraznění hran, odstranění šumu nebo geometrické transformace, jako je rotace obrazu. Tyto operace předpokládají, že zpracování/analýza obrazu funguje nezávisle na obsahu samotných obrazů.

Počítačové vidění se zaměřuje na zpracování trojrozměrných scén promítaných na jeden nebo více obrazů. Například obnovení struktury nebo jiných informací o 3 D scéna z jednoho nebo více obrázků. Počítačové vidění často závisí na více či méně komplexních předpokladech o tom, co je na obrázcích znázorněno.

Existuje také oblast tzv Vizualizace , který se původně zabýval procesem vytváření obrázků, ale někdy se zabýval zpracováním a analýzou. Například, radiografie pracuje s analýzou video dat pro lékařské aplikace.

Konečně, Rozpoznávání vzorů je obor, který využívá různé metody k získávání informací z videodat, založených především na statistickém přístupu. Velká část této oblasti je věnována praktická aplikace tyto metody.

Můžeme tedy dojít k závěru, že pojem „strojové vidění“ dnes zahrnuje: počítačové vidění, vizuální rozpoznávání vzorů, analýzu a zpracování obrazu atd.

Hlavní prvky moderní systémy Počítačové vidění lze nazvat kamerou, pomocí které se získává obraz, vstupní deskou, která digitalizuje obraz, a deskou pro řízení pohybu. Technologie strojového vidění má několik fází fungování systému. Prvním krokem je získání obrazu ovládaného objektu. Následně je nutné výsledný obraz vložit do průmyslového kontroléru nebo jiného počítače, kde probíhá počítačové zpracování, analýza přijatých dat a rozhodování v souladu s vestavěným řídicím programem. Poslední fází je výstup ovládacích akcí na akční členy.

Obecně mezi úkoly systémů strojového vidění patří získávání digitální obraz, zpracování obrazu za účelem zvýraznění významných informací v obraze a matematická analýza získaných dat k řešení zadaných problémů.

Literatura:

1. Computer Vision: A Modern Approach od D. A. Forsytha a J. Ponce, Prentice Hall, Upper Saddle River, N. J., 2002

2. Počítačové vidění. L. Shapiro a G. Stockman, Prentice-Hall, Upper Saddle River, NJ, 2000

3. K. Fuj . Strukturální metody v rozpoznávání vzorů. Nakladatelství "Mir". Moskva, 1977.

4. Edward A. Patriku. Základní teorie rozpoznávání vzorů. Moskva "Sovětský rozhlas", 1980.

5. Umělá inteligence. Moderní přístup. Stuart Russell, Peter Norvig. Moskva/Petrohrad/Kyjev, 2006.

Přehled trhu technologií počítačového vidění

Moderní svět počítačových systémů si lze jen těžko představit bez technologií strojového nebo počítačového vidění. V článku "Proč počítač potřebuje vidění?" (ComputerPress č. 5’2002) byla zhodnocena historie vzniku této technologie a byl podán přehled řady jejích aplikací. V článku je samozřejmě popsána jen malá část aplikací z široký rozsah aplikované systémy počítačového vidění a v budoucích číslech se vrátíme k posouzení této velmi zajímavé a rychle se rozvíjející oblasti znalostí. Ano, rychle se rozvíjí. Koneckonců, tato technologie je stará jen asi 50 let, což podle měřítek mnoha exaktních věd nepřesahuje své počátky. Počítačové vidění se zvyšováním svého vědeckého a praktického potenciálu souběžně se zdokonalováním výpočetní a záznamové techniky postupně dobývá nové technologické hranice. Vysoce výkonné počítače nejnovější generace (včetně moderních osobních počítačů) již umožňují řešit mnoho problémů zpracování toků digitální videoinformace a rozhodování v reálném čase. A dnes, kdy si to většina z nás nevšimne, je počítačové vidění docela pevně zavedené v mnoha oblastech lidského života, pomáhá mu a někdy ho nahrazuje, zbavuje ho monotónní, rutinní nebo často život ohrožující práce.

Není žádným tajemstvím, že počítačové vidění jako technologie získala nejrozšířenější, nejúplnější a komplexní vývoj na Západě, zejména v USA, v Jižní Korea a v Japonsku. Je to dáno především silnou finanční podporou této oblasti ze strany vlády a investorů, kteří jí předpovídají velkou budoucnost. Vláda navíc podporuje především rozvoj technologií ve vzdělávacích centrech a investoři poskytují podporu soukromým, vysoce perspektivním společnostem. Většina nápadné příklady Mezi taková dobře financovaná výzkumná centra může patřit Laboratoř umělé inteligence Massachusetts Institute of Technology (MIT). Umělá inteligence Laboratory), UC Berkeley Computer Vision Group, Centrum pro vidění a autonomní systémy na Cornegie Mellon University, Stanford Vision Laboratory a několik dalších. Příklady podporovaných soukromých společností zahrnují společnosti jako Visionics, Eyematic atd. Celkem internetovou stránkou sdružující vývojáře v oblasti počítačového vidění je Computer Vision Home Page (http://www.2.cs.cmu.edu/afs /cs/project/cil/ftp/html/txtvision.html) - je registrováno asi 200 skupin a vědeckých laboratoří pracujících na této problematice. Je třeba poznamenat, že tím není vyčerpán rozsah organizací zabývajících se počítačovým viděním, protože existuje velký počet komerční firmy specializující se na strojové vidění a zpracování obrazu. Informace o nich lze nalézt na specializovaných tematických internetových stránkách věnovaných jednotlivým oblastem této technologie. Jinými slovy, zdá se, že vývojáři různých technologií v rámci samotné technologie počítačového vidění se sdružují do zájmových klubů. Například zájemci o pokroky v rozpoznávání gest najdou spoustu detailní informace o výzkumu, výzkumných skupinách, komerčních aplikacích, patentech na příslušné specializované internetové stránce – Gesture Recognition Home Page (http://www.cybernet.com/~ccohen/gesture.html). Zde si také můžete stáhnout některé demo aplikace a prohlédnout si nejnovější vědecké publikace. Pokud čtenář dává přednost technologiím souvisejícím s rozpoznáváním obličeje, pak má přímou cestu do virtuálního klubu na jiné internetové stránce – domovská stránka detekce a rozpoznávání obličeje (http://home.t-online.de/home/Robert .Frischholz/ face.htm).

Je třeba poznamenat, že vše výše uvedené vede k rychlý růst a zlepšování technologií počítačového vidění. V současné době zahraniční výzkumná a komerční centra přitahují velké množství vědců a vysoce kvalifikovaných programátorů, provádějí paralelní výzkum v různých oblastech počítačového vidění a dosahují poměrně významných výsledků.

Rusko jako plnohodnotný člen světového ekonomického společenství nezůstalo stranou tohoto procesu. Ruský technologický trh již několik let také zaznamenává trend rostoucího zájmu o problémy počítačového vidění, a to jak ze strany šéfů řady IT společností a společností působících na bezpečnostním trhu, tak ze strany spotřebitelů (uživatelů) a studentů, kteří chtějí specializovat se na tyto oblasti. V reakci na tento zájem vznikly laboratoře, skupiny a komerční struktury, které si daly za úkol vyvíjet různé druhy technologií a aplikací pro řešení problémů počítačového vidění. A pokud jsme před deseti lety byli v roli dohánění, dnes se mnoho společností – lídrů v oblasti pokročilých technologií snaží vstoupit na ruský trh, aby získaly relevantní technologie počítačového vidění nebo zadávaly zakázky na pokročilý výzkum a vývoj v této oblasti. plocha.

Tomuto tématu je věnován tento článek, jehož účelem je nejen demonstrovat zájem o toto téma ze strany ruských a zahraničních výrobců komodit, ale také pohovořit o řadě ruských společností rozvíjejících software pro různé systémy zpracování a analýzy obrazu.

Kdo je kdo na ruském trhu počítačového vidění

Studie ruského trhu pro vývojáře technologií počítačového vidění ukazuje, že počet společností zabývajících se počítačovým viděním je relativně malý. Podívejme se na nejpozoruhodnější z těchto společností a uveďme stručný popis některých zajímavých technologií počítačového vidění, které dodávají na tuzemský i světový trh.

Společnost SPIRIT

Mezi nejznámější fotogrammetrické systémy na světě patří takové hardwarové a softwarové systémy jako Leica a Intergraph, dodávané s výkonnými pracovními stanicemi. Jsou to velmi drahé systémy a málokterá firma si je může dovolit. S rozvojem výpočetní techniky jsou stále populárnější levnější systémy, které umožňují zpracování obrazu na osobních počítačích. Ruské digitální fotogrammetrické systémy "Talka" (http://www.talka-tdv.ru/), Photomod (společnost "Rakurs" (http://www.racurs.ru/)), Z-Space (GosNIIAS), TsFS TsNIIGAiK (roskartografie) nebo „fotoplán“ (29. ústav ministerstva obrany), není horší a někdy lepší v kvalitě zpracování digitálního videosignálu zahraniční analogy, přičemž je desetkrát levnější než podobný zahraniční vývoj. Zvážení vlastností a možností takových systémů je předmětem samostatného článku.

Dalším směrem v oblasti počítačového vidění je konstrukce systémů rozpoznávání znaků. V tomto článku jsme pouze nepřímo zmínili tuto oblast, ve které lze technologie počítačového vidění považovat za vyspělé. Zejména jsme uvažovali pouze o vysoce specializovaných úkolech řešených firmami v rámci komerční projekty. Pokud mluvíme o zavedených komerčních produktech a technologiích pro systémy rozpoznávání znaků, pak nelze nezmínit největší ruské i světové dodavatele této technologie – ABBYY s řadou programů FineReader a Cognitive Technologies s řadou programů CuneiForm. Nejeden článek na stránkách ComputerPress je věnován přehledu technologií dodávaných těmito společnostmi. Informace o úspěších těchto společností naleznete v tomto čísle časopisu. Proto, když vzdáváme hold těmto společnostem a jejich technologiím, v tomto článku se o nich zmiňujeme jen krátce.

Abychom to shrnuli, můžeme s jistotou říci, že ruské technologie počítačového vidění nejsou horší a v mnoha ohledech lepší než zahraniční analogy. Společnosti vyvíjející tyto technologie často celosvětově chybí slavné jméno. Investice do nich jsou proto zpravidla neochotné. O tom však není pochyb vysoká úroveň technologie a vysoká kvalifikace ruských odborníků povedou v blízké budoucnosti k dominanci ruských technologií počítačového vidění na světovém trhu.

ComputerPress 7"2002

MDT 004,93"1

Strojové vidění

Taťána Vadimovna Petrová, skupina 4241/3

Strojové vidění je aplikace počítačového vidění v průmyslu a výrobě. Oblastí zájmu strojového vidění jsou digitální vstupně/výstupní zařízení a počítačové sítě pro sledování výrobních zařízení. Strojové vidění má oproti lidskému vidění některé výhody. Proto je důležité rozvíjet tuto oblast vědy. V tuto recenzi hovoří o historii vývoje strojového vidění, komponentách systému strojového vidění, aplikaci strojového vidění a budoucnosti tohoto vědního oboru.

Úvod

výroba počítačového strojového vidění

Člověk přijímá většinu informací o vnějším světě prostřednictvím vizuálního kanálu a přijaté informace pak velmi efektivně zpracovává pomocí aparátu analýzy a interpretace vizuálních informací. Nabízí se tedy otázka možnosti strojové realizace tohoto procesu.

Vzhledem ke vzrůstající složitosti řešených vědeckých a technických problémů se stále více prosazuje automatické zpracování a analýza vizuálních informací aktuální problémy. Tyto technologie nacházejí uplatnění ve velmi žádaných oblastech vědy a techniky, jako je automatizace procesů, zvyšování produktivity, zlepšování kvality vyráběných produktů, řízení výrobních zařízení, inteligentní robotické systémy, řídicí systémy pro jedoucí vozidla, biomedicínský výzkum a mnoho dalších . Navíc lze říci, že úspěch moderního podnikání je založen především na kvalitě nabízených produktů. A abychom to zajistili, pokud mluvíme o výrobě hmotných věcí, je nutná vizuální kontrola.

Dále budeme používat termín „strojové vidění“ jako pojem, který nejúplněji zahrnuje celou škálu inženýrských technologií, metod a algoritmů spojených s úlohou interpretace vizuální informace a také praktické využití výsledků této interpretace.

1. Historie vývoje strojového vidění

Počítačové vidění se jako samostatná disciplína objevilo koncem 60. let. Tento směr vznikl v rámci umělé inteligence v době, kdy se ještě vedly bouřlivé debaty o možnosti vytvořit myslící stroj. Vyplynulo to z práce na rozpoznávání vzorů. [Zueva, 2008]

Stručná historie vývoje strojového vidění je uvedena na obrázku 1.

Rýže. 1. Historie strojového vidění

V historii vývoje strojového vidění lze rozlišit následující fáze:

· 1955 – Profesor Massachusetts Institute of Technology (MIT) Oliver Selfridge publikoval článek „Oči a uši pro počítač“. V něm autor předložil teoretickou myšlenku vybavit počítač nástroji pro rozpoznávání zvuku a obrazu.

· 1958 - psycholog Frank Rosenblatt z Cornell University vytvořil počítačovou implementaci perceptronu (z vnímání - vnímání) - zařízení, které simuluje obvod rozpoznávání vzorů lidský mozek. Perceptron byl poprvé modelován v roce 1958 a jeho trénování vyžadovalo asi půl hodiny počítačového času na počítači IBM-704. Hardwarová verze - Mark I Perceptron - byla postavena v roce 1960 a byla určena pro vizuální rozpoznávání obrazu [Computer Vision, 2010] .

Úvahy o problémech počítačového vidění však byly spíše spekulativní, protože ještě nebyla k dispozici technologie ani matematická podpora pro řešení tak složitých problémů.

· 60. léta - vznik prvních softwarových systémů pro zpracování obrazu (hlavně pro odstranění šumu z fotografií pořízených z letadel a družic), začal se rozvíjet aplikovaný výzkum v oblasti rozpoznávání tištěných znaků. Ve vývoji tohoto vědního oboru však stále existovala omezení, jako je nedostatek levných systémů pro optický vstup dat, omezení a spíše úzká specializace výpočetních systémů. Rychlý rozvoj systémů počítačového vidění v průběhu 60. let lze vysvětlit rozšiřujícím se používáním počítačů a zjevnou potřebou rychlejší a efektivnější komunikace mezi člověkem a počítačem. Na počátku 60. let se problémy s počítačovým viděním týkaly především oblasti kosmického výzkumu, který vyžadoval zpracování velkého množství digitálních informací.

· 70. léta 20. století - Lawrence Roberts, postgraduální student na MIT, předložil koncept strojní konstrukce trojrozměrných obrazů objektů na základě analýzy jejich dvourozměrných obrazů. V této fázi začala hlubší analýza dat. Začaly se vyvíjet různé přístupy k rozpoznávání objektů v obraze, jako je struktura, rys a textura.

· 1979 – Profesor Hans-Helmut Nagel z univerzity v Hamburku položil základy teorie dynamické analýzy scény, která umožňuje rozpoznat pohybující se objekty ve videostreamu.

· Na konci 80. let byly vytvořeny roboty, které byly schopny více či méně uspokojivě posuzovat svět a samostatně provádět akce v přírodní prostředí

· 80. a 90. léta byla ve znamení vzniku nové generace senzorů pro dvourozměrná digitální informační pole různé fyzikální povahy. Vývoj nových měřicích systémů a metod pro záznam dvourozměrných digitálních informačních polí v reálném čase umožnil získat pro analýzu časově stabilní obrazy generované těmito senzory. Zlepšení výrobních technologií těchto snímačů umožnilo výrazně snížit jejich cenu, a tedy výrazně rozšířit rozsah jejich použití.

· Od počátku 90. let je v algoritmickém aspektu sled akcí pro zpracování obrazu uvažován v souladu s tzv. modulárním paradigmatem. Toto paradigma, navržené D. Marrem na základě dlouhého studia mechanismů lidského zrakového vnímání, tvrdí, že zpracování obrazu by mělo být založeno na několika po sobě jdoucích úrovních vzestupné informační linie: od „ikonické“ reprezentace objektů (rastr image, nestrukturované informace) k jejich symbolické znázornění(vektorová a atributová data ve strukturované podobě, relační struktury atd.). [Wiesilter a kol., 2007]

· V polovině 90. let první komerční systémy automatická navigace do auta. Na konci 20. století byly vyvinuty účinné prostředky počítačové analýzy pohybů.

· 2003 – na trh byly uvedeny první poměrně spolehlivé podnikové systémy rozpoznávání obličejů.

2. Problematika počítačového vidění a oblasti jeho použití

2.1 Definice „strojového vidění“

Strojové vidění je aplikace počítačového vidění v průmyslu a výrobě. Oblastí zájmu počítačového vidění jako inženýrského oboru jsou digitální vstupně/výstupní zařízení a počítačové sítě určené k řízení výrobních zařízení, jako jsou robotická ramena nebo zařízení pro vyhledávání vadných výrobků.

Strojové vidění je studium metod a technik, pomocí kterých lze konstruovat systémy umělého vidění a užitečně je využívat v praktických aplikacích. Jako takový zahrnuje jak vědu, tak inženýrství vidění .

Jeho studium zahrnuje nejen softwarové, ale také hardwarové prostředí a techniky získávání obrazu potřebné k jeho aplikaci. Tím se liší od počítačového vidění, které se z většiny knih na toto téma jeví jako říše možný návrh softwaru, aniž by se příliš věnovalo tomu, co je součástí integrovaného systému vidění (ačkoli moderní knihy o počítačovém vidění obvykle říkají dost o „nechutných realitách“ vidění, jako je eliminace hluku a analýza okluze).

2.2 Strojové vidění dnes.

V současné době existuje jasná hranice mezi tzv. monokulárním a binokulárním počítačovým viděním. První oblast zahrnuje výzkum a vývoj v oblasti počítačového vidění související s informacemi přicházejícími z jedné kamery nebo z každé kamery samostatně. Druhá oblast zahrnuje výzkum a vývoj, který se zabývá informacemi současně přijímanými ze dvou nebo více kamer. K měření hloubky pozorování se v takových systémech používá více kamer. Tyto systémy se nazývají stereo systémy.

Teorie počítačového vidění se dodnes plně rozvinula jako samostatný obor kybernetiky, založený na vědecké a praktické znalostní bázi. Ročně vyjdou na toto téma stovky knih a monografií, pořádají se desítky konferencí a sympozií, vyrábí se různý software a hardware. Existuje řada vědeckých a veřejných organizací, které výzkum v oboru podporují a zastřešují moderní technologie včetně technologií počítačového vidění.

2.3. Hlavní úkoly počítačového vidění

Obecně mezi úkoly systémů počítačového vidění patří získání digitálního obrazu, zpracování obrazu za účelem zvýraznění významných informací v obraze a matematická analýza získaných dat k řešení zadaných problémů.

Počítačové vidění však umožňuje řešit mnoho problémů, které lze rozdělit do čtyř skupin (obr. 2) [Lysenko, 2007] :

Obr.2. Úlohy počítačového vidění

· Rozpoznávání polohy

Účelem počítačového vidění v této aplikaci je určit prostorovou polohu (umístění objektu vzhledem k vnější systém souřadnice) nebo statická poloha objektu (v jaké poloze se objekt nachází vzhledem k souřadnicovému systému s počátkem uvnitř objektu samotného) a předání informace o poloze a orientaci objektu do řídicího systému nebo ovladače.
Příkladem takové aplikace může být nakládací a vykládací robot, který má za úkol pohybovat objekty různé tvary z bunkru. Inteligentním úkolem strojového vidění je například určení optimálního referenčního souřadnicového systému a jeho středu pro lokalizaci těžiště součásti. Získané informace umožňují robotu správně uchopit součást a přesunout ji na správné místo.

Strojové vidění. Co to je a jak to používat? Zpracování obrazu optického zdroje

Strojové vidění je vědecký směr v oblasti umělé inteligence, zejména robotiky, a souvisejících technologií pro získávání obrazů objektů reálného světa, jejich zpracování a využití získaných dat k řešení různých druhů aplikovaných problémů bez (úplné nebo částečné) lidské účasti.

Historické průlomy ve strojovém vidění

Komponenty systému vidění

Jedna nebo více digitálních nebo analogových kamer (černobílých nebo barevných) s vhodnou optikou pro zachycení snímků

Software pro vytváření obrázků ke zpracování. U analogových kamer se jedná o digitizér obrazu

Procesor (moderní počítač s vícejádrovým procesorem nebo vestavěným procesorem, například - DSP)

Software pro počítačové vidění, který poskytuje nástroje pro vývoj jednotlivých softwarových aplikací.

Vstupní/výstupní zařízení nebo komunikační kanály pro hlášení nálezů

Chytrý fotoaparát: jedno zařízení, které zahrnuje všechny výše uvedené body.

Velmi specializované světelné zdroje (LED, zářivky a halogenové žárovky atd.)

Specifické softwarové aplikace pro zpracování obrazu a detekci příslušných vlastností.

Senzor pro synchronizaci detekčních částí (často optický nebo magnetický senzor) pro snímání a zpracování obrazu.

Pohony určitého tvaru sloužící k třídění nebo vyřazování vadných dílů.

Strojové vidění se zaměřuje především na průmyslové aplikace, jako jsou autonomní roboty a systémy vizuální kontroly a měření. To znamená, že technologie obrazových snímačů a teorie řízení jsou spojeny se zpracováním video dat pro řízení robota a zpracování výsledných dat v reálném čase se provádí v softwaru nebo hardwaru.

Zpracování obrazu a analýza obrazu se zaměřují především na práci s 2D obrazy, tzn. jak převést jeden obrázek na druhý. Například operace pixel po pixelu pro zvýšení kontrastu, operace pro zvýraznění hran, odstranění šumu nebo geometrické transformace, jako je rotace obrazu. Tyto operace předpokládají, že zpracování/analýza obrazu funguje nezávisle na obsahu samotných obrazů.

Počítačové vidění se zaměřuje na zpracování trojrozměrných scén promítaných na jeden nebo více obrazů. Například obnovením struktury nebo jiných informací o 3D scéně z jednoho nebo více snímků. Počítačové vidění často závisí na více či méně komplexních předpokladech o tom, co je na obrázcích znázorněno.

Existuje také obor zvaný vizualizace, který byl původně spojen s procesem vytváření obrázků, ale někdy se zabýval zpracováním a analýzou. Například radiografie pracuje s analýzou videodat pro lékařské aplikace.

A konečně, rozpoznávání vzorů je obor, který používá různé metody k extrakci informací z video dat, především na základě statistického přístupu. Velká část tohoto oboru je věnována praktické aplikaci těchto metod.

Můžeme tedy dojít k závěru, že pojem „strojové vidění“ dnes zahrnuje: počítačové vidění, vizuální rozpoznávání vzorů, analýzu a zpracování obrazu atd.

Úlohy počítačového vidění

Uznání

Identifikace

Detekce

Rozpoznávání textu

Obnovení 3D tvaru z 2D obrázků

Odhad pohybu

Obnova scény

Obnova obrazu

Identifikace struktur určitého typu v obrazech, segmentace obrazu

Analýza optického toku

Uznání

Klasickým problémem počítačového vidění, zpracování obrazu a strojového vidění je určení, zda video data obsahují nějaký charakteristický objekt, vlastnost nebo aktivitu.

Tento problém lze spolehlivě a snadno vyřešit lidmi, ale dosud nebyl uspokojivě vyřešen v počítačovém vidění v obecném případě: náhodné objekty v náhodných situacích.

Lze rozpoznat jeden nebo více předdefinovaných nebo naučených objektů nebo tříd objektů (obvykle spolu s jejich dvourozměrnou pozicí v obraze nebo trojrozměrnou pozicí ve scéně).

Identifikace

Je rozpoznána individuální instance objektu patřícího do třídy.
Příklady: identifikace konkrétního lidského obličeje nebo otisku prstu nebo vozidla.

Detekce

Video data jsou kontrolována na určitý stav.

Detekce založená na relativně jednoduchých a rychlých výpočtech se někdy používá k nalezení malých oblastí v analyzovaném snímku, které jsou pak analyzovány pomocí technik náročnějších na zdroje, aby se získala správná interpretace.

Rozpoznávání textu

Hledání obsahu obrázků: Vyhledání všech obrázků ve velké sadě obrázků, které mají specifické různými způsoby obsah.

Odhad polohy: Určení polohy nebo orientace konkrétního objektu vzhledem ke kameře.

Optické rozpoznávání znaků: Rozpoznávání znaků na obrázcích tištěného nebo ručně psaného textu (obvykle pro překlad do textového formátu, který je nejvhodnější pro úpravy nebo indexování. Například ASCII).

Obnova 3D tvaru z 2D snímků se provádí pomocí stereo rekonstrukce hloubkové mapy, rekonstrukce normálního pole a hloubkové mapy ze stínování polotónového snímku, rekonstrukce hloubkové mapy z textury a určení tvaru z posunutí.

Příklad obnovení 3D tvaru z 2D obrazu

Odhad pohybu

Několik problémů s odhadem pohybu, ve kterých je sekvence obrázků (videodata) zpracovávána za účelem nalezení odhadu rychlosti každého bodu v obrázku nebo 3D scéně. Příklady takových úkolů jsou: určování trojrozměrného pohybu kamery, sledování, to znamená sledování pohybu objektu (například auta nebo lidí)

Obnova scény

Jsou uvedeny dva nebo více obrázků scény nebo video dat. Rekonstrukce scény má za úkol znovu vytvořit trojrozměrný model scény. V nejjednodušším případě může být modelem množina bodů trojrozměrný prostor. Sofistikovanější metody reprodukují úplný trojrozměrný model.

Obnova obrazu

Úkolem restaurování obrazu je odstranit šum (šum snímače, rozmazání pohybujícího se objektu atd.).

Nejjednodušší způsob řešení tohoto problému je Různé typy filtry, jako jsou dolní nebo střední propusti.

Vyšší úrovně odstranění šumu se dosahuje nejprve analýzou obrazových dat pro různé struktury, jako jsou linie nebo hrany, a poté řízením procesu filtrování na základě těchto dat.

Obnova obrazu

Analýza optického toku (zjištění pohybu pixelů mezi dvěma snímky).
Několik problémů s odhadem pohybu, ve kterých je sekvence obrázků (videodata) zpracovávána za účelem nalezení odhadu rychlosti každého bodu v obrázku nebo 3D scéně.

Příklady takových úloh jsou: určování trojrozměrného pohybu kamery, sledování, tzn. sledování pohybu předmětu (například aut nebo lidí).

Metody zpracování obrazu

Počítadlo pixelů

Počítá počet světlých nebo tmavých pixelů.
Pomocí počítadla pixelů může uživatel vybrat obdélníkovou oblast na obrazovce v místě zájmu, například tam, kde očekává, že uvidí tváře lidí procházejících kolem. Kamera okamžitě odpoví informací o počtu pixelů reprezentovaných stranami obdélníku.

Počítadlo pixelů vám umožňuje rychle zkontrolovat, zda namontovaná kamera splňuje zákonné nebo zákaznické požadavky na rozlišení pixelů, například pro obličeje lidí vstupujících do dveří monitorovaných kamerou nebo pro účely rozpoznání SPZ.

Binarizace

Převede obrázek ve stupních šedi na binární (bílé a černé pixely).
Hodnoty každého pixelu jsou konvenčně kódovány jako „0“ a „1“. Hodnota „0“ se běžně nazývá pozadí nebo pozadí a „1“ je popředí.

Často se při ukládání digitálních binárních obrázků používá bitmapa, kde je jeden bit informace použit k reprezentaci jednoho pixelu.

Také, zejména v raných fázích vývoje technologií, dva možné barvy byly černobílé, což je volitelné.

Segmentace

Používá se k vyhledávání a/nebo počítání dílů.

Účelem segmentace je zjednodušit a/nebo změnit reprezentaci obrázku tak, aby byl jednodušší a snadněji analyzovatelný.

Segmentace obrazu se běžně používá ke zvýraznění objektů a hranic (čáry, křivky atd.) v obrazech. Přesněji řečeno, segmentace obrazu je proces přiřazování štítků ke každému pixelu v obrázku tak, že pixely se stejnými štítky sdílejí společné vizuální charakteristiky.

Výsledkem segmentace obrazu je sada segmentů, které dohromady pokrývají celý obraz, nebo sada kontur extrahovaných z obrazu. Všechny pixely v segmentu jsou podobné v nějaké charakteristické nebo vypočítané vlastnosti, jako je barva, jas nebo textura. Sousední segmenty se v této charakteristice výrazně liší.

Čtení čárových kódů

Čárový kód je grafická informace aplikovaná na povrch, označení nebo obal výrobků, čímž se stává čitelným technickými prostředky – sledem černobílých pruhů nebo jiných geometrických tvarů.
Ve strojovém vidění se čárové kódy používají k dekódování 1D a 2D kódů určených ke čtení nebo skenování stroji.

Optické rozpoznávání znaků

Optické rozpoznávání znaků: automatické čtení textu, např. sériová čísla.

OCR se používá k převodu knih a dokumentů do elektronický pohled k automatizaci podnikových účetních systémů nebo k publikování textu na webové stránce.

Optické rozpoznávání textu vám umožňuje upravovat text, vyhledávat slova nebo fráze a dále je ukládat kompaktní forma, zobrazovat nebo tisknout materiál bez ztráty kvality, analyzovat informace a používat elektronický překlad, formátování nebo převod řeči na text.

Můj program napsaný v LabView pro práci s obrázky

Počítačové vidění bylo použito pro nedestruktivní kontrolu kvality supravodivých materiálů.

Úvod.Řešení problémů zajištění komplexní bezpečnosti (jak protiteroristické a mechanické bezpečnosti objektů, tak technologické bezpečnosti ženijních systémů) v současnosti vyžaduje systematickou organizaci kontroly aktuálního stavu objektů. Jedním z nejperspektivnějších způsobů sledování aktuálního stavu objektů jsou optické a optoelektronické metody založené na technologiích zpracování videoobrazu optického zdroje. Patří sem: programy pro práci s obrázky; nejnovější způsoby zpracování obrazu; zařízení pro získávání, analýzu a zpracování snímků, tzn. soubor nástrojů a metod souvisejících s oblastí počítačového a strojového vidění. Počítačové vidění je obecný soubor technik, které umožňují počítačům vidět a rozpoznávat trojrozměrné nebo dvourozměrné objekty, ať už technické nebo netechnické. Pro práci s počítačovým viděním jsou zapotřebí digitální nebo analogová vstupní/výstupní zařízení, stejně jako počítačové sítě a analyzátory polohy IP určené k ovládání produkční proces a příprava informací pro operativní rozhodnutí v co nejkratším čase.

Formulace problému. Hlavním úkolem navržených systémů počítačového vidění dnes zůstává detekce, rozpoznání, identifikace a kvalifikace potenciálních rizikových objektů umístěných na náhodném místě v prostoru provozní odpovědnosti komplexu. V současnosti existující softwarové produkty zaměřené na řešení uvedených problémů mají řadu významných nevýhod, a to: značnou složitost spojenou s vysokými detaily optických obrazů; vysoká spotřeba energie a poměrně úzký rozsah schopností. Rozšíření úkolů detekce objektů potenciálního rizika do oblasti vyhledávání náhodných objektů v náhodných situacích umístěných na náhodném místě, k dispozici softwarových produktů není možné ani s použitím superpočítače.

Cílová. Vývoj univerzálního programu pro zpracování obrazu optického zdroje se schopností streamovat analýzu dat, to znamená, že program musí být lehký a rychlý, aby jej bylo možné zapsat na malém počítačovém zařízení.

úkoly:

vývoj matematického modelu programu;

psaní programu;

testování programu v laboratorním experimentu, s plná příprava a provedení experimentu;

výzkum možností využití programu v souvisejících oblastech činnosti.

Relevantnost programu je určena:

vysoká cena profesionální programy zpracování vizuálních informací.

Analýza relevance vývoje programu.

nedostatek programů pro zpracování obrazu s výstupem na softwarovém trhu podrobná analýza inženýrské součásti objektů;

neustále rostoucí požadavky na kvalitu a rychlost získávání obrazových informací, prudce zvyšující poptávku po programech pro zpracování obrazu;

stávající potřeba vysoce výkonných programů, které jsou spolehlivé a uživatelsky přívětivé;

Jsou potřeba vysoce výkonné programy a jednoduchá správa, což je v naší době extrémně obtížné dosáhnout. Vzal jsem si například Adobe Photoshop. Tento grafický editor má harmonická kombinace funkčnost a snadnost použití pro běžného uživatele, ale v tomto programu není možné pracovat s komplexními nástroji pro zpracování obrazu (například analýza obrazu vytvořením matematického vztahu (funkce) nebo integrované zpracování obrazu);

vysoké náklady na profesionální programy pro zpracování vizuálních informací. Pokud je software kvalitní, pak je cena za něj extrémně vysoká, a to i na úrovni jednotlivých funkcí konkrétní sady programů. Níže uvedený graf ukazuje poměr cena/kvalita mezi jednoduchými analogy programu.

Pro zjednodušení řešení problémů tohoto typu, vyvinul jsem matematický model a napsal program pro počítačové zařízení pro analýzu obrazu pomocí jednoduchých transformací zdrojových obrázků.

Program pracuje s transformacemi, jako je binarizace, jas, kontrast obrazu atd. Princip činnosti programu je demonstrován na příkladu analýzy supravodivých materiálů.

Při vytváření kompozitních supravodičů na bázi Nb3Sn se mění objemový poměr bronzu a niobu, velikost a počet vláken v nich, rovnoměrnost jejich rozložení po průřezu bronzové matrice a přítomnost difúzních bariér a stabilizačních materiálů. . Pro daný objemový podíl niobu ve vodiči vede zvýšení počtu vláken ke zmenšení jejich průměru. To vede ke znatelnému zvýšení interakční plochy Nb/Cu-Sn, což výrazně urychluje proces růstu supravodivé fáze. Takové zvýšení množství supravodivé fáze se zvýšením počtu vláken ve vodiči zajišťuje zvýšení kritických charakteristik supravodiče. V tomto ohledu je nutné mít nástroj pro řízení objemového podílu supravodivé fáze ve finálním produktu (kompozitním supravodiči).

Při tvorbě programu byl zohledněn význam provádění výzkumu materiálů, ze kterých jsou supravodivé kabely vyrobeny, protože při nesprávném poměru niobu k bronzu je možný výbuch drátů a v důsledku toho i lidské oběti, peněžní náklady a ztráta času. Tento program umožňuje určit kvalitu vodičů na základě chemické a fyzikální analýzy objektu.

Blokové schéma programu

Popis etap výzkumu.

Fáze 1. Příprava vzorku: řezání kompozitního supravodiče na elektrickém výbojovém stroji; vtlačení vzorku do plastové matrice; leštění vzorku do zrcadlového lesku; leptání vzorku pro zvýraznění niobových vláken na bronzové matrici. Byly získány vzorky lisovaných kompozitních supravodivých vzorků;

Fáze 2. Zobrazování: získávání metalografických snímků pomocí rastrovacího elektronového mikroskopu.

Fáze 3. Zpracování obrazu: vytvoření nástroje pro stanovení objemového podílu supravodivé fáze v metalografickém obrazu; soubor statisticky významných údajů o konkrétním typu vzorku. Byly vytvořeny matematické modely různých nástrojů pro zpracování obrazu; byl vytvořen vývoj softwaru pro odhad objemového podílu supravodivé fáze; program byl zjednodušen spojením několika matematických funkcí do jedné; průměrná hodnota objemového podílu niobových vláken v bronzové matrici byla 24,7±0,1 %. Nízké procento odchylky ukazuje na vysokou opakovatelnost struktury kompozitního drátu.

Snímky kompozitních supravodičů z elektronové mikroskopie

Metody zpracování obrazu v programu.

Identifikace- je rozpoznána individuální instance objektu patřícího do třídy.

Binarizace– proces převodu barevného (nebo šedého) obrázku na dvoubarevný černobílý.

Segmentace je proces dělení digitálního obrazu na více segmentů (mnoho pixelů, nazývaných také superpixely).

Eroze – obtížný proces, během kterého strukturální prvek prochází přes všechny pixely obrazu. Jestliže se v určité poloze každý jednotlivý pixel strukturního prvku shoduje s jediným pixelem binárního obrazu, pak se provede logické sčítání centrálního pixelu strukturního prvku s odpovídajícím pixelem výstupního obrazu.

Dilatace- konvoluce obrazu nebo vybrané oblasti obrazu s určitým jádrem. Jádro může mít jakýkoli tvar a velikost. V tomto případě je v jádře přidělena jedna vedoucí pozice, která je při výpočtu konvoluce kombinována s aktuálním pixelem.

Programové vzorce

Binarizační vzorec (metoda Otsu):

Vzorec eroze:

Dilatační vzorec:

Vzorec dilatace a eroze

Vzorce pro segmentaci prahových barev:

Určení modulu gradientu jasu pro každý pixel obrázku:

Výpočet prahu:

Použité vybavení

Rozhraní programu

Na světě je spousta věcí, které lidské oko Prostě to nestíhám. Například u dopravníkové techniky dochází k chybám právě kvůli lidskému faktoru. Člověk prostě není schopen střízlivě hodnotit předměty po několika hodinách práce. K tomu se dobře hodí roboti. Používáním strojové vidění mohou provést detailní kontrolu produktu, porovnat jej se vzorkem a okamžitě rozhodnout o dalším zpracování produktu.

Jak funguje počítačové vidění?

Počítačové vidění je schopnost počítače „vidět“. Systém strojového vidění používá jednu nebo více videokamer, analogově-digitální konverzi (ADC) a digitální zpracování signálu (DSP). Přijatá data jdou do počítače nebo řídicí jednotky robota. Počítačové vidění je svou složitostí podobné rozpoznávání hlasu.

Dva důležité vlastnosti v každém takovém systému jsou citlivost a rozlišení. Citlivost je schopnost stroje vidět v šeru nebo rozlišovat slabé pulzy ve spektru neviditelných vlnových délek Rozlišení je míra, do jaké systém rozlišuje objekty. Citlivost a rozlišení jsou vzájemně závislé parametry. Se zvyšující se citlivostí obvykle klesá rozlišení a naopak, i když všechny ostatní faktory obvykle zůstávají nezměněny.

Lidské oči dokážou rozlišovat elektromagnetické vlny s vlnovými délkami od 390 do 770 nanometrů. Videokamery mají mnohem širší rozsah, například existují systémy strojového vidění, které mohou vidět v infračervené, ultrafialové a rentgenové oblasti vlnových délek.

Strojové vidění se používá v různých průmyslových a lékařských oborech:

Analýza komponent

Identifikace podpisu

Optické rozpoznávání znaků

Rozpoznávání rukopisu

Rozpoznávání objektů

Rozpoznávání vzorů

Kontrola materiálu

Kontrola měny

Lékařská analýza obrazu

Strojové vidění je aplikace počítačového vidění v průmyslu a výrobě. Zatímco počítačové vidění je obecný soubor technik umožňujících počítačům vidět, oblastí zájmu počítačového vidění jako inženýrské disciplíny jsou digitální vstupní/výstupní zařízení a počítačové sítě určené k monitorování výrobních zařízení, jako jsou robotická ramena nebo extrakční stroje. vadné výrobky. Strojové vidění je podobor inženýrství související s informatikou, optikou, strojírenstvím a průmyslovou automatizací. Jednou z nejběžnějších aplikací strojového vidění je kontrola průmyslových výrobků, jako jsou polovodičové čipy, automobily, potraviny a léky. Lidé, kteří pracovali na montážních linkách, kontrolovali části výrobku a vyvozovali závěry o kvalitě zpracování. Systémy strojového vidění pro tyto účely využívají k provádění podobných kontrol digitální a chytré kamery a také software pro zpracování obrazu.

Systémy strojového vidění jsou naprogramovány k provádění vysoce specializovaných úkolů, jako je počítání předmětů na montážní lince, čtení sériových čísel nebo vyhledávání povrchových vad. Mezi výhody vizuálního kontrolního systému založeného na strojovém vidění patří vysoká rychlost provozu se zvyšujícím se obratem, 24hodinová provozní schopnost a opakovatelná přesnost měření. Také výhodou strojů oproti lidem je absence únavy, nemoci či nepozornosti. Lidé však mají jemné vnímání během krátké doby a větší flexibilitu při klasifikaci a přizpůsobování se hledání nových defektů.

Počítače nemohou „vidět“ stejným způsobem jako lidé. Kamery nejsou ekvivalentní systému lidského vidění, a zatímco lidé se mohou spolehnout na dohady a předpoklady, systémy strojového vidění musí „vidět“ tím, že zkoumají jednotlivé pixely v obraze, zpracovávají je a pokoušejí se vyvodit závěry pomocí znalostní báze a sady funkcí. jako je rozpoznávání vzoru zařízení. Přestože byly vyvinuty některé algoritmy počítačového vidění, které napodobují lidské vizuální vnímání, bylo vyvinuto velké množství jedinečných metod pro zpracování obrazů a stanovení příslušných vlastností obrazu.

Aplikace strojového vidění

Aplikace strojového vidění jsou rozmanité a zahrnují různé oblastičinnosti, mimo jiné včetně následujících:

Velká průmyslová výroba

Zrychlená výroba unikátní produkty

Bezpečnostní systémy v průmyslovém prostředí

Kontrola prefabrikovaných objektů (např. kontrola kvality, vyšetřování chyb)

Vizuální kontrolní a řídící systémy (účetnictví, čtení čárových kódů)

Ovládání automat Vozidlo

Kontrola kvality a kontrola potravin

V automobilovém průmyslu se systémy strojového vidění používají k navádění průmyslových robotů a také ke kontrole povrchů laků vozidel, svarů, bloků motorů a mnoha dalších součástí, zda nemají vady.