Študent magisterského štúdia. Mukhamediarov R.M.

Kazašská národná technická univerzita K.I.Satpayeva, Almaty, Kazachstan

Strojové videnie: koncepty, úlohy a aplikácie

1. Základné definície a pojmy počítačového videnia

Strojové videnie je vedecký smer v oblasti umelej inteligencie, najmä robotiky, a súvisiacich technológií na získavanie obrazov objektov reálneho sveta, ich spracovanie a využitie získaných údajov na riešenie rôznych druhov aplikovaných problémov bez (úplného alebo čiastočného) ľudského zásahu. účasťou.

Strojové videnie úzko spolupracuje s oblasťami ako napr Počítačové videnie, Spracovanie obrazu , Analýza obrazu , Rozpoznávanie vzorov atď.Neexistuje ani štandardná formulácia, ako by sa mal problém v tejto oblasti riešiť a akoČasto je ťažké jednoznačne priradiť vznikajúce problémy a aplikované metódy riešenia jednej z týchto oblastí.Ak sa pozrieme na techniky, algoritmy a metódy spracovania obrazu, ktoré sa používajú a vyvíjajú v týchto oblastiach, vidíme, že sú viac-menej totožné.

Strojové videnie sa zameriava najmä na priemyselné aplikácie, ako sú autonómne roboty a systémy vizuálnej kontroly a merania. To znamená, že technológia obrazových snímačov a teória riadenia sú spojené so spracovaním video údajov na riadenie robota a spracovanie výsledných údajov v reálnom čase sa vykonáva v softvéri alebo hardvéri.

Spracovanie obrazu A Analýza obrazu zameraný hlavne na prácu s 2D obrazom, t.j. ako previesť jeden obrázok na druhý. Napríklad operácie pixel po pixeli na zvýšenie kontrastu, operácie na zvýraznenie hrán, odstránenie šumu alebo geometrické transformácie, ako je otáčanie obrazu. Tieto operácie predpokladajú, že spracovanie/analýza obrázkov funguje nezávisle od obsahu samotných obrázkov.

Počítačové videnie sa zameriava na spracovanie trojrozmerných scén premietaných na jeden alebo viacero obrázkov. Napríklad obnovenie štruktúry alebo iných informácií o 3 D scéna z jedného alebo viacerých obrázkov. Počítačové videnie často závisí od viac či menej zložitých predpokladov o tom, čo je znázornené na obrázkoch.

Nachádza sa tu aj oblasť tzv Vizualizácia , ktorý sa pôvodne zaoberal procesom vytvárania obrázkov, ale niekedy sa zaoberal spracovaním a analýzou. Napríklad, rádiografiu pracuje s analýzou video dát pre medicínske aplikácie.

nakoniec Rozpoznávanie vzorov je oblasť, ktorá využíva rôzne metódy na získavanie informácií z video údajov, najmä na základe štatistického prístupu. Veľká časť tejto oblasti je venovaná praktické uplatnenie tieto metódy.

Môžeme teda konštatovať, že pojem „strojové videnie“ dnes zahŕňa: počítačové videnie, vizuálne rozpoznávanie vzorov, analýzu a spracovanie obrazu atď.

Hlavné prvky moderné systémy Počítačové videnie možno nazvať kamerou, pomocou ktorej sa získava obraz, vstupnou doskou, ktorá digitalizuje obraz, a doskou na riadenie pohybu. Technológia strojového videnia má niekoľko stupňov prevádzky systému. Prvým krokom je získanie obrazu kontrolovaného objektu. Následne je potrebné výsledný obraz vložiť do priemyselného kontroléra alebo iného počítača, kde prebieha počítačové spracovanie, analýza prijatých údajov a rozhodovanie v súlade so zabudovaným riadiacim programom. Konečným stupňom je výstup riadiacich činností na pohony.

Vo všeobecnosti medzi úlohy systémov strojového videnia patrí získavanie digitálny obraz, spracovanie obrazu za účelom zvýraznenia významných informácií v obraze a matematická analýza získaných údajov na vyriešenie zadaných úloh.

Literatúra:

1. Computer Vision: A Modern Approach od D. A. Forsytha a J. Poncea, Prentice Hall, Upper Saddle River, N. J., 2002

2. Počítačové videnie. L. Shapiro a G. Stockman, Prentice-Hall, Upper Saddle River, N.J., 2000

3. K. Uf . Štrukturálne metódy v rozpoznávaní vzorov. Vydavateľstvo "Mir". Moskva, 1977.

4. Edward A. Patrik. Základná teória rozpoznávanie vzorov. Moskva "Sovietsky rozhlas", 1980.

5. Umela inteligencia. Moderný prístup. Stuart Russell, Peter Norvig. Moskva/Petrohrad/Kyjev, 2006.

Prehľad trhu technológií počítačového videnia

Moderný svet počítačových systémov je ťažké si predstaviť bez technológií strojového alebo počítačového videnia. V článku „Prečo počítač potrebuje víziu? (ComputerPress č. 5’2002) bola zhodnotená história vzniku tejto technológie a bol podaný prehľad množstva jej aplikácií. Samozrejme, článok popisuje len malú časť aplikácií z veľký rozsah aplikované systémy počítačového videnia a v budúcich číslach sa vrátime k tejto veľmi zaujímavej a rýchlo sa rozvíjajúcej oblasti vedomostí. Áno, rýchlo sa rozvíja. Koniec koncov, táto technológia má len asi 50 rokov, čo podľa štandardov mnohých exaktných vied nepresahuje svoje počiatky. Zvyšovaním svojho vedeckého a praktického potenciálu súbežne so zdokonaľovaním výpočtovej a záznamovej techniky počítačové videnie postupne dobýva nové technologické hranice. Výkonné počítače najnovšej generácie (vrátane moderných osobných počítačov) už umožňujú riešiť mnohé problémy spracovania tokov digitálnych videoinformácií a rozhodovania v reálnom čase. A dnes, niekedy bez povšimnutia väčšiny z nás, je počítačové videnie celkom pevne zavedené v mnohých oblastiach ľudského života, pomáha mu a niekedy ho nahrádza, čím ho zbavuje monotónnej, rutinnej alebo často život ohrozujúcej práce.

Nie je žiadnym tajomstvom, že počítačové videnie ako technológia získala najrozšírenejšie, najkompletnejšie a komplexný rozvoj na Západe, najmä v USA, v Južná Kórea a v Japonsku. Je to predovšetkým vďaka silnej finančnej podpore tejto oblasti zo strany vlády a investorov, ktorí jej predpovedajú skvelú budúcnosť. Okrem toho vláda podporuje najmä rozvoj technológií vo vzdelávacích centrách a investori poskytujú podporu súkromným, vysoko perspektívnym spoločnostiam. Väčšina nápadné príklady Medzi takéto dobre financované výskumné centrá patrí Laboratórium umelej inteligencie Massachusettského technologického inštitútu (MIT). Umela inteligencia Laboratórium), UC Berkeley Computer Vision Group, Vision and Autonomous Systems Center na Cornegie Mellon University, Stanford Vision Laboratory a niekoľko ďalších. Príklady podporovaných súkromných spoločností zahŕňajú spoločnosti ako Visionics, Eyematic atď. Celkovo je internetovou stránkou združujúcou vývojárov v oblasti počítačového videnia Computer Vision Home Page (http://www.2.cs.cmu.edu/afs /cs/project/cil/ftp/html/txtvision.html) - registrovaných je asi 200 skupín a vedeckých laboratórií pracujúcich na tejto problematike. Treba poznamenať, že týmto sa nevyčerpáva celý rad organizácií zapojených do počítačového videnia, keďže existuje veľké množstvo komerčné firmy špecializujúce sa na počítačové videnie a spracovanie obrazu. Informácie o nich možno nájsť na špecializovaných tematických internetových stránkach venovaných jednotlivým oblastiam tejto technológie. Inými slovami, zdá sa, že vývojári rôznych technológií v rámci samotnej technológie počítačového videnia sa spájajú do záujmových klubov. Napríklad záujemcovia o pokroky v rozpoznávaní gest môžu nájsť veľa detailné informácie o výskume, výskumných skupinách, komerčných aplikáciách, patentoch na príslušnej špecializovanej internetovej stránke – Gesture Recognition Home Page (http://www.cybernet.com/~ccohen/gesture.html). Tam si tiež môžete stiahnuť niektoré demo aplikácie a pozrieť si najnovšie vedecké publikácie. Ak čitateľ uprednostňuje technológie súvisiace s rozpoznávaním tváre, potom má priamu cestu do virtuálneho klubu na inej internetovej stránke – domovskej stránke detekcie a rozpoznávania tváre (http://home.t-online.de/home/Robert .Frischholz/ tvár.htm).

Treba poznamenať, že všetko vyššie uvedené vedie k rýchly rast a zlepšovanie technológií počítačového videnia. V súčasnosti zahraničné výskumné a komerčné centrá priťahujú veľké množstvo vedcov a vysokokvalifikovaných programátorov, vykonávajú paralelný výskum v rôznych oblastiach počítačového videnia a dosahujú pomerne významné výsledky.

Rusko ako plnohodnotný člen svetového hospodárskeho spoločenstva nezostalo od tohto procesu bokom. Aj ruský technologický trh už niekoľko rokov zaznamenáva trend zvyšujúceho sa záujmu o problémy počítačového videnia, a to tak zo strany šéfov viacerých IT spoločností a spoločností pôsobiacich na bezpečnostnom trhu, ako aj zo strany spotrebiteľov (používateľov) a študentov, ktorí chcú špecializovať sa na tieto oblasti. V reakcii na tento záujem vznikli laboratóriá, skupiny a komerčné štruktúry, ktoré si dali za úlohu vyvinúť rôzne druhy technológií a aplikácií na riešenie problémov počítačového videnia. A ak sme pred desiatimi rokmi boli v úlohe dobiehania, dnes sa mnoho spoločností – lídrov v oblasti pokročilých technológií snaží vstúpiť na ruský trh s cieľom získať relevantné technológie počítačového videnia alebo zadávať objednávky na pokročilý výskum a vývoj v tejto oblasti. oblasť.

Tejto téme je venovaný tento článok, ktorého účelom je nielen demonštrovať záujem o túto tému zo strany ruských a zahraničných výrobcov komodít, ale aj porozprávať o množstve ruských spoločností rozvíjajúcich sa softvér pre rôzne systémy spracovania a analýzy obrazu.

Kto je kto na ruskom trhu počítačového videnia

Štúdia ruského trhu pre vývojárov technológií počítačového videnia ukazuje, že počet spoločností zaoberajúcich sa počítačovým videním je relatívne malý. Pozrime sa na najvýznamnejšie z týchto spoločností a stručne popíšme niektoré zaujímavé technológie počítačového videnia, ktoré dodávajú na domáci a svetový trh.

Spoločnosť SPIRIT

Medzi najznámejšie fotogrametrické systémy na svete patria také hardvérové ​​a softvérové ​​systémy ako Leica a Intergraph, dodávané s výkonnými pracovnými stanicami. Sú to veľmi drahé systémy a len málo firiem si ich môže dovoliť. S rozvojom výpočtovej techniky sú čoraz populárnejšie lacnejšie systémy, ktoré umožňujú spracovanie obrazu na osobných počítačoch. Ruské digitálne fotogrametrické systémy "Talka" (http://www.talka-tdv.ru/), Photomod (spoločnosť "Rakurs" (http://www.racurs.ru/)), Z-Space (GosNIIAS), TsFS TsNIIGAiK (roskartografia) alebo „fotoplán“ (29. inštitút ministerstva obrany), ktorý nie je horší a niekedy lepší v kvalite spracovania digitálneho video signálu zahraničné analógy, pričom je desaťkrát lacnejší ako podobný vývoj v zahraničí. Zváženie charakteristík a schopností takýchto systémov je predmetom samostatného článku.

Ďalším smerom v oblasti počítačového videnia je konštrukcia systémov rozpoznávania znakov. V tomto článku sme len nepriamo spomenuli túto oblasť, v ktorej možno technológie počítačového videnia považovať za vyspelé. Predovšetkým sme uvažovali len o vysoko špecializovaných úlohách riešených firmami v rámci komerčné projekty. Ak hovoríme o zavedených komerčných produktoch a technológiách pre systémy rozpoznávania znakov, potom nemôžeme nespomenúť najväčších ruských a svetových dodávateľov tejto technológie – ABBYY so sériou programov FineReader a Cognitive Technologies so sériou programov CuneiForm. Viac ako jeden článok na stránkach ComputerPress je venovaný prehľadu technológií dodávaných týmito spoločnosťami. Informácie o úspechoch týchto spoločností nájdete v tomto čísle časopisu. Preto, keď vzdávame hold týmto spoločnostiam a ich technológiám, v tomto článku ich spomíname len stručne.

Aby sme to zhrnuli, môžeme s istotou povedať, že ruské technológie počítačového videnia nie sú horšie a v mnohých ohľadoch lepšie ako zahraničné analógy. Spoločnostiam vyvíjajúcim tieto technológie často chýbajú celosvetovo slávne meno. Investície do nich sú preto spravidla neochotné. O tom však niet pochýb vysoký stupeň technológie a vysoká kvalifikácia ruských odborníkov povedú v blízkej budúcnosti k dominancii ruských technológií počítačového videnia na svetovom trhu.

ComputerPress 7"2002

MDT 004,93"1

Strojové videnie

Taťána Vadimovna Petrová, skupina 4241/3

Strojové videnie je aplikácia počítačového videnia v priemysle a výrobe. Oblasťou záujmu strojového videnia sú digitálne vstupno/výstupné zariadenia a počítačové siete na monitorovanie výrobných zariadení. Strojové videnie má oproti ľudskému niektoré výhody. Preto je dôležité rozvíjať túto oblasť vedy. IN túto recenziu hovorí o histórii vývoja strojového videnia, komponentoch systému strojového videnia, aplikácii strojového videnia a budúcnosti tejto oblasti vedy.

Úvod

výroba počítačového strojového videnia

Osoba prijíma väčšinu informácií o vonkajšom svete prostredníctvom vizuálneho kanála a následne veľmi efektívne spracováva prijaté informácie pomocou prístroja na analýzu a interpretáciu vizuálnych informácií. Preto vyvstáva otázka o možnosti strojovej implementácie tohto procesu.

V dôsledku narastajúcej zložitosti riešených vedeckých a technických problémov sa čoraz častejšie stávajú automatické spracovanie a analýza vizuálnych informácií aktuálne problémy. Tieto technológie sa využívajú vo veľmi žiadaných oblastiach vedy a techniky, ako je automatizácia procesov, zvyšovanie produktivity, zlepšovanie kvality vyrábaných produktov, riadenie výrobných zariadení, inteligentné robotické systémy, riadiace systémy pre pohybujúce sa vozidlá, biomedicínsky výskum a mnohé iné . Navyše sa dá povedať, že úspech moderného podnikania je založený najmä na kvalite ponúkaných produktov. A na zabezpečenie toho, ak hovoríme o výrobe materiálnych vecí, je potrebná vizuálna kontrola.

Ďalej budeme pojem „strojové videnie“ používať ako pojem, ktorý najplnšie zahŕňa celý rad inžinierskych technológií, metód a algoritmov spojených s úlohou interpretovať vizuálnu informáciu, ako aj praktické využitie výsledkov tejto interpretácie.

1. História vývoja strojového videnia

Počítačové videnie sa objavilo ako samostatná disciplína koncom 60. rokov. Tento smer vznikol v rámci umelej inteligencie v čase, keď sa ešte viedli búrlivé debaty o možnosti vytvorenia mysliaceho stroja. Vyplynulo to z práce na rozpoznávaní vzorov. [Zueva, 2008]

Stručná história vývoja strojového videnia je uvedená na obrázku 1.

Ryža. 1. História strojového videnia

V histórii vývoja strojového videnia možno rozlíšiť tieto etapy:

· 1955 – Profesor Massachusettského technologického inštitútu (MIT) Oliver Selfridge publikoval článok „Oči a uši pre počítač“. V ňom autor predložil teoretickú myšlienku vybavenia počítača nástrojmi na rozpoznávanie zvuku a obrazu.

· 1958 - psychológ Frank Rosenblatt z Cornell University vytvoril počítačovú implementáciu perceptrónu (z vnímania - vnímania) - zariadenie, ktoré simuluje obvod rozpoznávania vzorov ľudský mozog. Perceptrón bol prvýkrát modelovaný v roku 1958 a jeho trénovanie si vyžiadalo približne polhodinu počítačového času na počítači IBM-704. Hardvérová verzia - Mark I Perceptron - bola postavená v roku 1960 a bola určená na vizuálne rozpoznávanie obrazu [Computer Vision, 2010] .

Uvažovanie o problémoch počítačového videnia však bolo skôr špekulatívne, keďže ešte neexistovala technológia ani matematická podpora na riešenie takýchto zložitých problémov.

· 60. roky 20. storočia - vznik prvých softvérových systémov na spracovanie obrazu (hlavne na odstránenie šumu z fotografií zhotovených z lietadiel a satelitov), ​​začal sa rozvíjať aplikovaný výskum v oblasti rozpoznávania tlačených znakov. Stále však existovali obmedzenia vo vývoji tejto oblasti vedy, ako napríklad nedostatok lacných systémov optického vstupu údajov, obmedzenia a pomerne úzka špecializácia výpočtových systémov. Rýchly rozvoj systémov počítačového videnia počas 60. rokov možno vysvetliť rozširujúcim sa používaním počítačov a zjavnou potrebou rýchlejšej a efektívnejšej komunikácie medzi človekom a počítačom. Začiatkom 60-tych rokov sa problémy s počítačovým videním týkali najmä oblasti vesmírneho výskumu, ktorý si vyžadoval spracovanie veľkého množstva digitálnych informácií.

· 70. roky 20. storočia - Lawrence Roberts, postgraduálny študent na MIT, predložil koncept strojovej konštrukcie trojrozmerných obrazov objektov na základe analýzy ich dvojrozmerných obrazov. V tejto fáze sa začala hlbšia analýza údajov. Začali sa rozvíjať rôzne prístupy k rozpoznávaniu objektov v obraze, ako napríklad štruktúra, črty a textúra.

· 1979 – Profesor Hans-Helmut Nagel z univerzity v Hamburgu položil základy teórie dynamickej analýzy scény, ktorá umožňuje rozpoznať pohybujúce sa objekty vo video streame.

· Koncom osemdesiatych rokov boli vytvorené roboty, ktoré boli schopné viac-menej uspokojivo posúdiť svet a nezávisle vykonávať akcie v prírodné prostredie

· 80. a 90. roky boli v znamení vzniku novej generácie senzorov pre dvojrozmerné digitálne informačné polia rôzneho fyzikálneho charakteru. Vývoj nových meracích systémov a metód na zaznamenávanie dvojrozmerných digitálnych informačných polí v reálnom čase umožnil získať časovo stabilné obrazy generované týmito senzormi na analýzu. Zlepšenie výrobných technológií týchto snímačov umožnilo výrazne znížiť ich cenu, a teda výrazne rozšíriť rozsah ich použitia.

· Od začiatku 90-tych rokov sa v algoritmickom aspekte postupnosť úkonov na spracovanie obrazu zvažuje v súlade s takzvanou modulárnou paradigmou. Táto paradigma, ktorú navrhol D. Marr na základe dlhého štúdia mechanizmov ľudského zrakového vnímania, tvrdí, že spracovanie obrazu by malo byť založené na niekoľkých po sebe nasledujúcich úrovniach vzostupnej informačnej línie: od „ikonickej“ reprezentácie objektov (rastrov obraz, neštruktúrované informácie) k ich symbolické znázornenie(vektorové a atribútové dáta v štruktúrovanej forme, relačné štruktúry a pod.). [Wiesilter a kol., 2007]

· V polovici 90. rokov prvý komerčné systémy automatická navigácia do auta. Koncom 20. storočia boli vyvinuté účinné prostriedky počítačovej analýzy pohybov.

· 2003 – na trh boli uvedené prvé pomerne spoľahlivé podnikové systémy na rozpoznávanie tváre.

2. Problémy počítačového videnia a oblasti jeho použitia

2.1 Definícia „strojového videnia“

Strojové videnie je aplikácia počítačového videnia v priemysle a výrobe. Oblasťou záujmu počítačového videnia ako inžinierskeho odboru sú digitálne vstupno/výstupné zariadenia a počítačové siete určené na riadenie výrobných zariadení, ako sú robotické ramená alebo zariadenia na vyhľadávanie chybných produktov.

Strojové videnie je štúdium metód a techník, pomocou ktorých je možné skonštruovať systémy umelého videnia a užitočne ich využiť v praktických aplikáciách. Ako taký zahŕňa vedu aj inžinierstvo vízie .

Jeho štúdium zahŕňa nielen softvérové, ale aj hardvérové ​​prostredie a techniky získavania obrazu potrebné na jeho aplikáciu. Ako taký sa líši od počítačového videnia, ktoré sa vo väčšine kníh na túto tému javí ako oblasť sveta možné dizajn softvéru, bez toho, aby sa príliš venovala pozornosť tomu, čo je súčasťou integrovaného systému videnia (hoci moderné knihy o počítačovom videní zvyčajne hovoria dosť o „nechutnej realite“ videnia, ako je eliminácia hluku a analýza oklúzie).

2.2 Strojové videnie dnes.

V súčasnosti existuje jasná hranica medzi takzvaným monokulárnym a binokulárnym počítačovým videním. Prvá oblasť zahŕňa výskum a vývoj v oblasti počítačového videnia súvisiaci s informáciami pochádzajúcimi z jednej kamery alebo z každej kamery samostatne. Druhá oblasť zahŕňa výskum a vývoj, ktorý sa zaoberá informáciami súčasne prijímanými z dvoch alebo viacerých kamier. Na meranie hĺbky pozorovania sa v takýchto systémoch používa viacero kamier. Tieto systémy sa nazývajú stereo systémy.

Teória počítačového videnia sa dodnes plne rozvinula ako samostatný odbor kybernetiky, založený na vedeckej a praktickej znalostnej báze. Ročne vychádzajú stovky kníh a monografií na túto tému, konajú sa desiatky konferencií a sympózií, vyrába sa rôzny softvér a hardvér. Existuje množstvo vedeckých a verejných organizácií, ktoré podporujú a zastrešujú výskum v tejto oblasti moderné technológie vrátane technológií počítačového videnia.

2.3. Hlavné úlohy počítačového videnia

Vo všeobecnosti medzi úlohy systémov počítačového videnia patrí získanie digitálneho obrazu, spracovanie obrazu za účelom zvýraznenia dôležitých informácií v obraze a matematická analýza získaných údajov na riešenie zadaných problémov.

Počítačové videnie však umožňuje riešiť mnohé problémy, ktoré možno rozdeliť do štyroch skupín (obr. 2) [Lysenko, 2007] :

Obr.2. Úlohy počítačového videnia

· Rozpoznanie polohy

Účelom počítačového videnia v tejto aplikácii je určiť priestorové umiestnenie (umiestnenie objektu vzhľadom na vonkajší systém súradnice) alebo statická poloha objektu (v akej polohe sa objekt nachádza vzhľadom na súradnicový systém s počiatkom v rámci samotného objektu) a prenos informácií o polohe a orientácii objektu do riadiaceho systému alebo ovládača.
Príkladom takejto aplikácie môže byť nakladací a vykladací robot, ktorý má za úlohu presúvať objekty rôznych tvarov z bunkra. Inteligentnou úlohou strojového videnia je napríklad určiť optimálny referenčný súradnicový systém a jeho stred pre lokalizáciu ťažiska súčiastky. Získané informácie umožňujú robotovi správne uchopiť diel a presunúť ho na správne miesto.

Strojové videnie. Čo to je a ako to používať? Spracovanie obrazu optického zdroja

Strojové videnie je vedecký smer v oblasti umelej inteligencie, najmä robotiky, a príbuzných technológií na získavanie obrazov objektov reálneho sveta, ich spracovanie a využitie získaných údajov na riešenie rôznych druhov aplikovaných problémov bez (úplnej alebo čiastočnej) ľudskej účasti.

Historické prelomy v strojovom videní

Komponenty systému zraku

• Jedna alebo viac digitálnych alebo analógových kamier (čiernobielych alebo farebných) s vhodnou optikou na snímanie obrázkov
• Softvér na vytváranie obrazov na spracovanie. Pre analógové fotoaparáty ide o digitizér obrazu
• Procesor (moderný počítač s viacjadrovým procesorom alebo vstavaným procesorom, napríklad - DSP)
• Softvér počítačového videnia, ktorý poskytuje nástroje na vývoj individuálnych softvérových aplikácií.
• Vstupné/výstupné zariadenia alebo komunikačné kanály na oznamovanie zistení
• Inteligentná kamera: Jedno zariadenie, ktoré obsahuje všetko vyššie uvedené.
• Veľmi špecializované svetelné zdroje (LED, žiarivky a halogénové žiarovky atď.)
• Špecifické softvérové ​​aplikácie na spracovanie obrazu a detekciu relevantných vlastností.
• Senzor na synchronizáciu detekčných častí (často optický alebo magnetický senzor) na snímanie a spracovanie obrazu.
• Pohony určitého tvaru používané na triedenie alebo vyraďovanie chybných dielov.

Strojové videnie sa zameriava predovšetkým na priemyselné aplikácie, ako sú autonómne roboty a systémy vizuálnej kontroly a merania. To znamená, že technológia obrazových snímačov a teória riadenia sú spojené so spracovaním video údajov na riadenie robota a spracovanie výsledných údajov v reálnom čase sa vykonáva v softvéri alebo hardvéri.

Spracovanie obrazu a analýza obrazu sa zameriavajú najmä na prácu s 2D obrazmi, t.j. ako previesť jeden obrázok na druhý. Napríklad operácie pixel po pixeli na zvýšenie kontrastu, operácie na zvýraznenie hrán, odstránenie šumu alebo geometrické transformácie, ako je otáčanie obrazu. Tieto operácie predpokladajú, že spracovanie/analýza obrázkov funguje nezávisle od obsahu samotných obrázkov.

Počítačové videnie sa zameriava na spracovanie trojrozmerných scén premietaných do jedného alebo viacerých obrázkov. Napríklad obnovením štruktúry alebo iných informácií o 3D scéne z jedného alebo viacerých obrázkov. Počítačové videnie často závisí od viac či menej zložitých predpokladov o tom, čo je znázornené na obrázkoch.

Existuje tiež oblasť nazývaná vizualizácia, ktorá bola pôvodne spojená s procesom vytvárania obrázkov, ale niekedy sa zaoberala spracovaním a analýzou. Napríklad rádiografia pracuje s analýzou video údajov pre lekárske aplikácie.

Napokon, rozpoznávanie vzorov je oblasť, ktorá využíva rôzne metódy na získavanie informácií z video údajov, najmä na základe štatistického prístupu. Veľká časť tejto oblasti je venovaná praktickej aplikácii týchto metód.

Môžeme teda konštatovať, že pojem „strojové videnie“ dnes zahŕňa: počítačové videnie, vizuálne rozpoznávanie vzorov, analýzu a spracovanie obrazu atď.

Úlohy počítačového videnia

• Uznanie
• Identifikácia
• Detekcia
• Rozpoznávanie textu
• Obnovenie 3D tvaru z 2D obrázkov
• Odhad pohybu
• Obnova scény
• Obnova obrazu
• Identifikácia štruktúr určitého typu v obrazoch, segmentácia obrazu
• Analýza optického toku

Uznanie

Klasickým problémom počítačového videnia, spracovania obrazu a strojového videnia je určenie, či video dáta obsahujú nejaký charakteristický objekt, vlastnosť alebo aktivitu.

Tento problém dokáže človek spoľahlivo a ľahko vyriešiť, ale zatiaľ nebol uspokojivo vyriešený v počítačovom videní vo všeobecnom prípade: náhodné objekty v náhodných situáciách.

Je možné rozpoznať jeden alebo viac preddefinovaných alebo naučených objektov alebo tried objektov (zvyčajne spolu s ich dvojrozmernou pozíciou v obraze alebo trojrozmernou pozíciou na scéne).

Identifikácia

Rozpozná sa individuálna inštancia objektu patriaceho do triedy.
Príklady: identifikácia konkrétnej ľudskej tváre alebo odtlačku prsta alebo vozidla.

Detekcia

Video dáta sú kontrolované na určitý stav.

Detekcia založená na relatívne jednoduchých a rýchlych výpočtoch sa niekedy používa na nájdenie malých oblastí v analyzovanom obrázku, ktoré sa potom analyzujú pomocou techník náročnejších na zdroje, aby sa získala správna interpretácia.

Rozpoznávanie textu

Vyhľadávanie obrázkov podľa obsahu: Hľadanie všetkých obrázkov vo veľkej sade obrázkov, ktoré majú špecifické rôznymi spôsobmi obsahu.

Odhad polohy: Určenie polohy alebo orientácie určitého objektu vzhľadom na kameru.

Optické rozpoznávanie znakov: Rozpoznanie znakov na obrázkoch tlačeného alebo ručne písaného textu (zvyčajne na preklad do textového formátu, ktorý je najvhodnejší na úpravu alebo indexovanie. Napríklad ASCII).

Obnova 3D tvaru z 2D obrázkov sa vykonáva pomocou stereo rekonštrukcie hĺbkovej mapy, rekonštrukciou normálneho poľa a hĺbkovej mapy z tieňovania poltónového obrázku, rekonštrukciou hĺbkovej mapy z textúry a určením tvaru z posunutia.

Príklad obnovenia 3D tvaru z 2D obrazu

Odhad pohybu

Niekoľko problémov s odhadom pohybu, pri ktorých sa spracováva sekvencia obrázkov (video dáta) s cieľom nájsť odhad rýchlosti každého bodu na obrázku alebo 3D scéne. Príklady takýchto úloh sú: určenie trojrozmerného pohybu kamery, sledovanie, to znamená sledovanie pohybu objektu (napríklad áut alebo ľudí)

Obnova scény

Zadané sú dva alebo viac obrázkov scény alebo video údajov. Rekonštrukcia scény má za úlohu znovu vytvoriť trojrozmerný model scény. V najjednoduchšom prípade môže byť model množinou bodov trojrozmerný priestor. Sofistikovanejšie metódy reprodukujú úplný 3D model.

Obnova obrazu

Úlohou obnovy obrazu je odstrániť šum (šum snímača, rozmazanie pohybujúceho sa objektu a pod.).

Najjednoduchší spôsob riešenia tohto problému je Rôzne druhy filtre, ako sú dolnopriepustné alebo strednopriepustné filtre.

Vyššie úrovne odstránenia šumu sa dosahujú najprv analýzou obrazových údajov pre rôzne štruktúry, ako sú čiary alebo hrany, a potom riadením procesu filtrovania na základe týchto údajov.

Obnova obrazu

Analýza optického toku (zistenie pohybu pixelov medzi dvoma obrázkami).
Niekoľko problémov s odhadom pohybu, pri ktorých sa spracováva sekvencia obrázkov (video dáta) s cieľom nájsť odhad rýchlosti každého bodu na obrázku alebo 3D scéne.

Príkladmi takýchto úloh sú: určenie trojrozmerného pohybu kamery, sledovanie, t.j. sledovanie pohybu objektu (napríklad áut alebo ľudí).

Metódy spracovania obrazu

Počítadlo pixelov

Počíta počet svetlých alebo tmavých pixelov.
Pomocou počítadla pixelov môže používateľ vybrať obdĺžnikovú oblasť na obrazovke v mieste záujmu, napríklad tam, kde očakáva, že uvidí tváre okoloidúcich ľudí. Fotoaparát okamžite zareaguje informáciou o počte pixelov, ktoré predstavujú strany obdĺžnika.

Počítadlo pixelov vám umožňuje rýchlo skontrolovať, či namontovaná kamera spĺňa regulačné alebo zákaznícke požiadavky na rozlíšenie pixelov, napríklad pre tváre ľudí vstupujúcich do dverí monitorovaných kamerou alebo na účely rozpoznávania ŠPZ.

Binarizácia

Skonvertuje obrázok v odtieňoch sivej na binárny (biele a čierne pixely).
Hodnoty každého pixelu sú bežne kódované ako „0“ a „1“. Hodnota „0“ sa bežne nazýva pozadie alebo pozadie a „1“ je popredie.

Pri ukladaní digitálnych binárnych obrázkov sa často používa bitová mapa, kde sa jeden bit informácie používa na reprezentáciu jedného pixelu.

Tiež, najmä v raných fázach vývoja technológií, dva možné farby boli čiernobiele, čo je voliteľné.

Segmentácia

Používa sa na vyhľadávanie a/alebo počítanie dielov.

Účelom segmentácie je zjednodušiť a/alebo zmeniť reprezentáciu obrázka tak, aby bol jednoduchší a ľahšie analyzovateľný.

Segmentácia obrazu sa bežne používa na zvýraznenie objektov a hraníc (čiar, kriviek atď.) na obrázkoch. Presnejšie povedané, segmentácia obrazu je proces priraďovania štítkov ku každému pixelu v obrázku tak, že pixely s rovnakými štítkami zdieľajú spoločné vizuálne charakteristiky.

Výsledkom segmentácie obrazu je súbor segmentov, ktoré spolu pokrývajú celý obraz, alebo súbor kontúr extrahovaných z obrazu. Všetky pixely v segmente sú podobné v niektorých charakteristických alebo vypočítaných vlastnostiach, ako je farba, jas alebo textúra. Susedné segmenty sa v tejto charakteristike výrazne líšia.

Čítanie čiarových kódov

Čiarový kód je grafická informácia aplikovaná na povrch, označenie alebo obal výrobkov, vďaka čomu je čitateľný technickými prostriedkami – sled čiernobielych pruhov alebo iných geometrických tvarov.
V strojovom videní sa čiarové kódy používajú na dekódovanie 1D a 2D kódov určených na čítanie alebo skenovanie strojmi.

Optické rozpoznávanie znakov

Optické rozpoznávanie znakov: automatizované čítanie textu, napr. sériové čísla.

OCR sa používa na konverziu kníh a dokumentov do elektronický pohľad, na automatizáciu podnikových účtovných systémov alebo na publikovanie textu na webovej stránke.

Optické rozpoznávanie textu vám umožňuje upravovať text, vyhľadávať slová alebo frázy a ukladať ich kompaktná forma, zobrazovať alebo tlačiť materiál bez straty kvality, analyzovať informácie a aplikovať elektronický preklad, formátovanie alebo konverziu reči na text.

Môj program napísaný v LabView na prácu s obrázkami

Počítačové videnie bolo použité na nedeštruktívnu kontrolu kvality supravodivých materiálov.

Úvod. Riešenie problémov zabezpečenia komplexnej bezpečnosti (ako protiteroristickej a mechanickej bezpečnosti objektov, tak aj technologickej bezpečnosti inžinierskych systémov) si v súčasnosti vyžaduje systematickú organizáciu kontroly aktuálneho stavu objektov. Jedným z najperspektívnejších spôsobov sledovania aktuálneho stavu objektov sú optické a optoelektronické metódy založené na technológiách spracovania videoobrazov optického zdroja. Patria sem: programy na prácu s obrázkami; najnovšie spôsoby spracovanie obrazu; zariadenia na získavanie, analýzu a spracovanie obrazov, t.j. súbor nástrojov a metód súvisiacich s oblasťou počítačového a strojového videnia. Počítačové videnie je všeobecný súbor techník, ktoré umožňujú počítačom vidieť a rozpoznať trojrozmerné alebo dvojrozmerné objekty, či už technické alebo netechnické. Na prácu s počítačovým videním sú potrebné digitálne alebo analógové vstupno/výstupné zariadenia, ako aj počítačové siete a analyzátory polohy IP určené na ovládanie proces produkcie a príprava informácií pre operatívne rozhodnutia v čo najkratšom čase.

Formulácia problému. Hlavnou úlohou navrhovaných systémov počítačového videnia dnes zostáva detekcia, rozpoznávanie, identifikácia a kvalifikácia potenciálnych rizikových objektov nachádzajúcich sa na náhodnom mieste v oblasti prevádzkovej zodpovednosti komplexu. V súčasnosti existujúce softvérové ​​produkty zamerané na riešenie uvedených problémov majú množstvo významných nevýhod, a to: značnú zložitosť spojenú s vysokými detailmi optických obrazov; vysoká spotreba energie a pomerne úzky rozsah schopností. Rozšírenie úloh detekcie objektov potenciálneho rizika do oblasti hľadania náhodných objektov v náhodných situáciách nachádzajúcich sa na náhodnom mieste, k dispozícii softvérové ​​produkty nie je možné ani pri použití superpočítača.

Cieľ. Vývoj univerzálneho programu na spracovanie obrazu optického zdroja so schopnosťou streamovať analýzu dát, to znamená, že program musí byť ľahký a rýchly, aby ho bolo možné zapisovať do malého počítačového zariadenia.

Úlohy:

• vývoj matematického modelu programu;
• písanie programu;
• testovanie programu v laboratórnom experimente, s úplná príprava a uskutočnenie experimentu;
• výskum možností využitia programu v súvisiacich oblastiach činnosti.

Relevantnosť programu je určená:

• vysoká cena odborné programy spracovanie vizuálnych informácií.

Analýza relevantnosti vývoja programu.

• nedostatok programov na spracovanie obrazu s výstupom na softvérovom trhu podrobná analýza inžinierske komponenty objektov;
• neustále rastúce požiadavky na kvalitu a rýchlosť získavania vizuálnych informácií, prudko zvyšujúce nároky na programy na spracovanie obrazu;
• existujúca potreba vysokovýkonných programov, ktoré sú spoľahlivé a užívateľsky prívetivé;
• Potrebné sú vysokovýkonné programy a jednoduché riadenie, čo je v našej dobe mimoriadne ťažké dosiahnuť. Vzal som si napríklad Adobe Photoshop. Tento grafický editor má harmonická kombinácia funkčnosť a jednoduchosť použitia pre bežného používateľa, ale v tomto programe nie je možné pracovať s komplexnými nástrojmi na spracovanie obrazu (napríklad analýza obrazu vytvorením matematického vzťahu (funkcie) alebo integrované spracovanie obrazu);
• vysoké náklady na profesionálne programy na spracovanie vizuálnych informácií. Ak je softvér kvalitný, potom je jeho cena extrémne vysoká, dokonca až po jednotlivé funkcie konkrétnej sady programov. Nižšie uvedený graf ukazuje pomer ceny a kvality medzi jednoduchými analógmi programu.

Na zjednodušenie riešenia problémov tohto typu, vyvinul som matematický model a napísal program pre počítačové zariadenie na analýzu obrazu pomocou jednoduchých transformácií zdrojových obrázkov.

Program pracuje s transformáciami ako binarizácia, jas, kontrast obrazu atď. Princíp fungovania programu je demonštrovaný na príklade analýzy supravodivých materiálov.

Pri vytváraní kompozitných supravodičov na báze Nb3Sn sa mení objemový pomer bronzu a nióbu, veľkosť a počet vlákien v nich, rovnomernosť ich rozloženia po priereze bronzovej matrice a prítomnosť difúznych bariér a stabilizačných materiálov. . Pre daný objemový podiel nióbu vo vodiči vedie zvýšenie počtu vlákien k zníženiu ich priemeru. To vedie k výraznému zvýšeniu interakčného povrchu Nb/Cu-Sn, čo výrazne urýchľuje proces rastu supravodivej fázy. Takéto zvýšenie množstva supravodivej fázy so zvýšením počtu vlákien vo vodiči zabezpečuje zvýšenie kritických charakteristík supravodiča. V tejto súvislosti je potrebné mať nástroj na kontrolu objemového podielu supravodivej fázy v konečnom produkte (kompozitnom supravodiči).

Pri tvorbe programu sa bral do úvahy význam výskumu materiálov, z ktorých sa vyrábajú supravodivé káble, pretože pri nesprávnom pomere nióbu k bronzu je možný výbuch drôtov a následne aj ľudské obete, peňažné náklady a strata času. Tento program vám umožňuje určiť kvalitu vodičov na základe chemickej a fyzikálnej analýzy objektu.

Bloková schéma programu


Opis fáz výskumu.

1. fáza Príprava vzorky: rezanie kompozitného supravodiča na elektrickom výbojovom stroji; vtlačenie vzorky do plastovej matrice; leštenie vzorky do zrkadlového lesku; leptanie vzorky na zvýraznenie nióbových vlákien na bronzovej matrici. Boli získané vzorky lisovaných kompozitných supravodivých vzoriek;

2. fáza Zobrazovanie: získavanie metalografických obrazov pomocou skenovacieho elektrónového mikroskopu.

3. fáza Spracovanie obrazu: vytvorenie nástroja na stanovenie objemového podielu supravodivej fázy v metalografickom obraze; súbor štatisticky významných údajov o konkrétnom type vzorky. Boli vytvorené matematické modely rôznych nástrojov na spracovanie obrazu; bol vytvorený softvérový vývoj na odhad objemového podielu supravodivej fázy; program bol zjednodušený spojením niekoľkých matematických funkcií do jednej; priemerná hodnota objemového podielu nióbových vlákien v bronzovej matrici bola 24,7±0,1 %. Nízke percento odchýlky indikuje vysokú opakovateľnosť štruktúry kompozitného drôtu.

Snímky kompozitných supravodičov z elektrónovej mikroskopie

Metódy spracovania obrazu v programe.

• Identifikácia- je rozpoznaná individuálna inštancia objektu patriaceho do triedy.
• Binarizácia– proces prevodu farebného (alebo v odtieňoch šedej) obrázka na dvojfarebný čiernobiely.
• Segmentácia je proces rozdelenia digitálneho obrazu na viacero segmentov (veľa pixelov, nazývaných aj superpixely).
• Erózia – náročný proces, počas ktorej konštrukčný prvok prechádza cez všetky pixely obrazu. Ak sa v určitej polohe každý jednotlivý pixel štrukturálneho prvku zhoduje s jediným pixelom binárneho obrazu, potom sa vykoná logické sčítanie centrálneho pixelu štrukturálneho prvku so zodpovedajúcim pixelom výstupného obrázku.
• Dilatácia- konvolúcia obrazu alebo vybranej oblasti obrazu s určitým jadrom. Jadro môže mať akýkoľvek tvar a veľkosť. V tomto prípade je v jadre pridelená jedna vedúca pozícia, ktorá sa pri výpočte konvolúcie kombinuje s aktuálnym pixelom.

Programové vzorce

Binarizačný vzorec (metóda Otsu):

Vzorec erózie:

Dilatačný vzorec:

Vzor dilatácie a erózie

Vzorce segmentácie prahových farieb:

Určenie modulu gradientu jasu pre každý obrazový pixel:

Výpočet prahu:

Použité vybavenie

Rozhranie programu

Na svete je veľa takých vecí ľudské oko Len to nestíham. Napríklad v dopravnej technike dochádza k chybám práve kvôli ľudskému faktoru. Človek jednoducho nie je schopný triezvo hodnotiť predmety po niekoľkých hodinách práce. Roboty sa na to výborne hodia. Používaním strojové videnie môžu urobiť detailnú kontrolu produktu, porovnať ho so vzorkou a okamžite rozhodnúť o ďalšom spracovaní produktu.

Ako funguje strojové videnie?

Počítačové videnie je schopnosť počítača „vidieť“. Systém strojového videnia používa jednu alebo viac videokamier, analógovo-digitálnu konverziu (ADC) a digitálne spracovanie signálu (DSP). Prijaté dáta idú do počítača alebo riadiacej jednotky robota. Počítačové videnie je zložitosťou podobné rozpoznávaniu hlasu.

Dva dôležité vlastnosti v každom takomto systéme sú citlivosť a rozlíšenie. Citlivosť je schopnosť stroja vidieť v slabom svetle alebo rozlíšiť slabé pulzy v spektre neviditeľných vlnových dĺžok. Rozlíšenie je miera, do akej systém rozlišuje objekty. Citlivosť a rozlíšenie sú vzájomne závislé parametre. So zvyšujúcou sa citlivosťou rozlíšenie zvyčajne klesá a naopak, hoci všetky ostatné faktory zvyčajne zostávajú nezmenené.

Ľudské oči dokážu rozlišovať elektromagnetické vlny s vlnovými dĺžkami od 390 do 770 nanometrov. Videokamery majú oveľa širší rozsah, napríklad existujú systémy strojového videnia, ktoré dokážu vidieť v infračervenej, ultrafialovej a röntgenovej oblasti vlnových dĺžok.

Strojové videnie sa používa v rôznych priemyselných a medicínskych oblastiach:

Analýza komponentov

Identifikácia podpisu

Optické rozpoznávanie znakov

Rozpoznávanie rukopisu

Rozpoznávanie objektov

Rozpoznávanie vzorov

Kontrola materiálu

Kontrola meny

Analýza lekárskeho obrazu

Strojové videnie je aplikácia počítačového videnia v priemysle a výrobe. Zatiaľ čo počítačové videnie je všeobecný súbor techník, ktoré umožňujú počítačom vidieť, oblasťou záujmu počítačového videnia ako inžinierskej disciplíny sú digitálne vstupné/výstupné zariadenia a počítačové siete určené na monitorovanie výrobných zariadení, ako sú robotické ramená alebo extrakčné stroje. chybné výrobky. Strojové videnie je podoblasť inžinierstva súvisiaca s informatikou, optikou, strojárstvom a priemyselnou automatizáciou. Jednou z najbežnejších aplikácií strojového videnia je kontrola priemyselných výrobkov, ako sú polovodičové čipy, automobily, potraviny a lieky. Ľudia, ktorí pracovali na montážnych linkách, kontrolovali časti výrobku a robili závery o kvalite spracovania. Systémy strojového videnia na tieto účely využívajú na vykonávanie podobných kontrol digitálne a inteligentné kamery, ako aj softvér na spracovanie obrazu.

Systémy strojového videnia sú naprogramované na vykonávanie vysoko špecializovaných úloh, ako je počítanie predmetov na montážnej linke, čítanie sériových čísel alebo vyhľadávanie defektov povrchu. Medzi výhody vizuálneho kontrolného systému založeného na strojovom videní patrí vysoká rýchlosť prevádzky so zvyšujúcim sa obratom, 24-hodinová prevádzková schopnosť a opakovateľná presnosť merania. Taktiež výhodou strojov oproti ľuďom je absencia únavy, choroby či nepozornosti. Ľudia však majú jemné vnímanie počas krátkeho obdobia a väčšiu flexibilitu pri klasifikácii a prispôsobovaní sa hľadaniu nových defektov.

Počítače nemôžu „vidieť“ rovnakým spôsobom ako ľudia. Kamery nie sú ekvivalentom systému ľudského videnia, a zatiaľ čo ľudia sa môžu spoľahnúť na dohady a predpoklady, systémy strojového videnia musia „vidieť“ skúmaním jednotlivých pixelov v obraze, ich spracovaním a pokusom vyvodiť závery pomocou vedomostnej základne a súboru funkcií. ako je rozpoznávanie vzorov zariadenia. Hoci niektoré algoritmy počítačového videnia boli vyvinuté na napodobňovanie ľudského vizuálneho vnímania, vyvinulo sa veľké množstvo jedinečných metód na spracovanie obrazov a určenie relevantných vlastností obrazu.

Aplikácie strojového videnia

Aplikácie strojového videnia sú rôzne a zahŕňajú rôznych oblastiachčinnosti, medzi ktoré okrem iného patria:

Veľká priemyselná výroba

Zrýchlená výroba jedinečné produkty

Bezpečnostné systémy v priemyselnom prostredí

Kontrola prefabrikovaných predmetov (napr. kontrola kvality, vyšetrovanie chýb)

Vizuálne kontrolné a riadiace systémy (účtovníctvo, čítanie čiarových kódov)

Ovládanie automat Vozidlo

Kontrola kvality a inšpekcia potravín

V automobilovom priemysle sa systémy strojového videnia používajú na navádzanie priemyselných robotov, ako aj na kontrolu povrchov laku vozidiel, zvarov, blokov motora a mnohých ďalších komponentov, či nemajú chyby.