Магистрант. Мухамедияров Р.М.

Казахский национальный технический университет К.И.Сатпаева, Алматы, Казахстан

Машинное зрение: понятия, задачи и области применения

1. Основные определения и понятия машинного зрения

Машинное зрение - это научное направление в области искусственного интеллекта, в частности робототехники, и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека.

Машинное зрение теснейшим образом взаимодействует с такими областями как Компьютерное зрение , Обработка изображений , Анализ изображений , Распознавание образов и т.д. Также нет стандартной формулировки того, как должна решаться проблема данной области и ч асто трудно однозначно отнести возникающие задачи и применяемые методы решения к одной из этих областей. Если сделать обзор технических приемов, алгоритмов, методов обработки изображений, которые используются и разрабатываются в этих областях, можно увидеть, что они являются более или менее идентичными.

Машинное зрение сосредотачивается на применении, в основном промышленном, например, автономные роботы и системы визуальной проверки и измерений. Это значит, что технологии датчиков изображения и теории управления связаны с обработкой видеоданных для управления роботом и обработка полученных данных в реальном времени осуществляется программно или аппаратно.

Обработка изображений и Анализ изображений в основном сосредоточены на работе с 2D изображениями, т.е. как преобразовать одно изображение в другое. Например, попиксельные операции увеличения контрастности, операции по выделению краёв, устранению шумов или геометрические преобразования, такие как вращение изображения. Данные операции предполагают, что обработка/анализ изображения действуют независимо от содержания самих изображений.

Компьютерное зрение сосредотачивается на обработке трехмерных сцен, спроектированных на одно или несколько изображений. Например, восстановлением структуры или другой информации о 3 D сцене по одному или нескольким изображениям. Компьютерное зрение часто зависит от более или менее сложных допущений относительно того, что представлено на изображениях.

Также существует область названная Визуализация , которая первоначально была связана с процессом создания изображений, но иногда имела дело с обработкой и анализом. Например, рентгенография работает с анализом видеоданных медицинского применения.

Наконец, Распознавание образов является областью, которая использует различные методы для получения информации из видеоданных, в основном, основанные на статистическом подходе. Значительная часть этой области посвящена практическому применению этих методов.

Таким образом, можно сделать вывод, что понятие «машинное зрение» на сегодняшний день включает в себя: компьютерное зрение, распознавание зрительных образов, анализ и обработка изображений и т.д.

Основными элементами современных систем машинного зрения можно назвать камеру, с помощью которой получают изображение, плату ввода, оцифровывающую изображение, и плату управления движением. Технология машинного зрения имеет несколько этапов работы системы. Первым этапом является получение изображения контролируемого объекта. Далее полученное изображение необходимо ввести в промышленный контроллер или другой компьютер, где происходит компьютерная обработка, анализ полученных данных и принятие решений в соответствие с заложенной программой управления. Заключительным этапом является вывод управляющих воздействий на исполнительные устройства.

В целом, в задачи систем машинного зрения входит получение цифрового изображения, обработка изображения с целью выделения значимой информации на изображении и математический анализ полученных данных для решения поставленных задач.

Литература :

1. Computer Vision: A Modern Approach by D. A. Forsyth and J. Ponce, Prentice Hall, Upper Saddle River, N.J., 2002

2. Computer Vision. L. Shapiro and G. Stockman, Prentice-Hall, Upper Saddle River, N.J., 2000

3. К . Фу . Структурные методы в распознавании образов . Издательство « Мир ». Москва , 1977.

4. Эдвард А . Патрик . Основы теории распознавания образов. Москва «Советское радио», 1980.

5. Искусственный интеллект. Современный подход. Стюарт Рассел, Питер Норвиг. Москва/Санкт-Петербург/Киев, 2006.

Обзор рынка технологий компьютерного зрения

овременный мир компьютерных систем сложно представить без технологий машинного, или компьютерного, зрения. В статье «Зачем компьютеру зрение?» (КомпьютерПресс № 5’2002) была рассмотрена история становления этой технологии и дан обзор ряда ее приложений. Безусловно, в статье описана лишь малая часть приложений из широкого спектра применяемых систем машинного зрения, и в следующих номерах мы еще вернемся к рассмотрению этой весьма интересной и стремительно развивающейся области знаний. Да, именно стремительно развивающейся. Ведь этой технологии всего около 50 лет, что по меркам многих точных наук не выходит за рамки периода становления. Наращивая свой научный и практический потенциал параллельно с совершенствованием вычислительной и регистрирующей техники, компьютерное зрение постепенно завоевывает все новые технологические рубежи. Высокопроизводительные вычислительные машины последнего поколения (к ним относятся и современные персональные компьютеры) уже позволяют решать многие задачи обработки потоков цифровой видеоинформации и принятия решения в режиме реального времени. И сегодня, порой незаметно для большинства из нас, компьютерное зрение достаточно прочно закрепляется во многих областях жизнедеятельности человека, помогая ему, а подчас заменяя его, избавляя от монотонного, рутинного или, нередко, связанного с риском для жизни труда.

Ни для кого не секрет, что компьютерное зрение как технология получило наиболее широкое, полное и всестороннее развитие на Западе, особенно в США, в Южной Корее и в Японии. Связано это прежде всего с мощной финансовой поддержкой этого направления со стороны правительства и инвесторов, прогнозирующих за ним большое будущее. Причем правительство в основном поддерживает развитие технологии в общеобразовательных центрах, а инвесторы обеспечивают поддержку частным высокоперспективным компаниям. Наиболее яркими примерами таких хорошо финансируемых научных центров могут служить Лаборатория Искусственного Интеллекта Массачусетсского Технологического Института (MIT Artificial Intelligence Laboratory), UC Berkeley Computer Vision Group, Vision and Autonomous Systems Center Университета Корнеги-Меллона, Stanford Vision Laboratory и ряд других. Примерами поддерживаемых частных компаний могут служить такие компании, как Visionics, Eyematic и др. Всего на Интернет-сайте, объединяющем разработчиков в области машинного зрения, - Computer Vision Home Page (http://www.2.cs.cmu.edu/afs/cs/project/cil/ftp/html/txtvision.html) - зарегистрировано около 200 групп и научных лабораторий, работающих над данной проблематикой. Следует отметить, что этим не исчерпывается круг организаций, занимающихся компьютерным зрением, так как существует большое количество коммерческих фирм, специализирующихся в области машинного зрения и обработки изображений. Информацию о них можно найти на специализированных тематических Интернет-сайтах, посвященных отдельным направлениям данной технологии. Иными словами, разработчики различных технологий внутри самой технологии компьютерного зрения как бы объединяются в клубы по интересам. Например, интересующиеся достижениями в области распознавания жестов могут найти достаточно подробную информацию об исследованиях, исследовательских группах, коммерческих приложениях, патентах на соответствующем специализированном Интернет-сайте - Gesture Recognition Home Page (http://www.cybernet.com/~ccohen/gesture.html). Там же можно скачать некоторые демонстрационные приложения и ознакомиться с последними научными публикациями. Если же читатель предпочитает заняться технологиями, связанными с распознаванием лиц, то ему прямая дорога в виртуальный клуб на другом Интернет-сайте - Face Detection and Recognition Home Page (http://home.t-online.de/home/Robert.Frischholz/face.htm).

Следует отметить, что все перечисленное выше приводит к быстрому росту и совершенствованию технологий компьютерного зрения. В настоящее время зарубежные научно-исследовательские и коммерческие центры привлекают большое количество ученых и высококвалифицированных программистов, проводят распараллеленные исследования в различных областях машинного зрения, добиваясь достаточно весомых результатов.

Россия, как полноправный член мирового экономического сообщества, не осталась в стороне от этого процесса. Вот уже несколько лет на российском технологическом рынке также наблюдается тенденция повышения интереса к проблемам компьютерного зрения, причем как со стороны руководителей ряда IT-компаний и компаний, работающих на рынке безопасности, так и со стороны потребителей (пользователей) и студентов, желающих специализироваться в этой области. Реакцией на этот интерес стало появление лабораторий, групп и коммерческих структур, ставящих перед собой задачу разработки различного рода технологий и приложений для решения проблем машинного зрения. И если еще десятилетие назад мы были в роли догоняющих, то на сегодняшний день многие компании - лидеры в области передовых технологий стремятся на российский рынок с целью приобретения соответствующих технологий компьютерного зрения или размещения заказов на передовые исследования и разработки в этой области.

Этой теме и посвящена настоящая статья, целью которой является не только продемонстрировать наличие интереса к данной тематике со стороны российских и зарубежных товаропроизводителей, но и рассказать о ряде российских фирм, разрабатывающих программное обеспечение для различных систем обработки и анализа изображений.

Кто есть кто на российском рынке компьютерного зрения

сследование российского рынка разработчиков технологии машинного зрения показывает, что количество фирм, занимающихся компьютерным зрением, относительно невелико. Рассмотрим наиболее заметные из этих компаний и приведем краткое описание некоторых интересных технологий компьютерного зрения, которые поставляются ими на отечественный и мировой рынки.

Компания SPIRIT

К наиболее известным в мире фотограмметрическим системам относятся такие аппаратно-программные комплексы, как Leica и Intergraph, поставляемые вместе с мощными рабочими станциями. Это весьма дорогостоящие системы, и позволить их себе могут немногие компании. С развитием вычислительной техники все популярнее становятся менее дорогостоящие системы, позволяющие проводить обработку изображений на персональных компьютерах. Российские цифровые фотограмметрические системы «Талка» (http://www.talka-tdv.ru/), Photomod (фирма «Ракурс» (http://www.racurs.ru/)), Z-Space (ГосНИИАС), ЦФС ЦНИИГАиК (Роскартография) или «Фотоплан» (29-й институт Министерства обороны), не уступая, а порой превосходя в качестве обработки цифрового видеосигнала зарубежные аналоги, будучи при этом в десятки раз дешевле аналогичных зарубежных разработок. Рассмотрение характеристик и возможностей таких систем - предмет отдельной статьи.

Еще одно направление в области машинного зрения - построение систем распознавания символов. В данной статье мы лишь косвенно упомянули об этой области, в которой технологии компьютерного зрения можно считать сложившимися. В частности, мы рассмотрели лишь узкоспециализированные задачи, решаемые компаниями в рамках коммерческих проектов. Если же вести речь о сложившихся коммерческих продуктах и технологиях систем распознавания символов, то нельзя не упомянуть о крупнейших российских и мировых поставщиках данной технологии - компании ABBYY с серией программ FineReader и компании Cognitive Technologies с серией программ CuneiForm. Обзору технологий, поставляемых данными компаниями, посвящена не одна статья на страницах КомпьютерПресс. Информацию о достижениях этих компаний можно найти и в этом номере журнала. Поэтому, отдавая должное этим компаниям и их технологиям, мы лишь вскользь упоминаем о них в рамках данной статьи.

Подводя итог, можно с уверенностью заявить, что российские технологии компьютерного зрения не уступают, а во многом и превосходят зарубежные аналоги. Зачастую компаниям, развивающим эти технологии, не хватает всемирно известного имени. Поэтому и инвестиции в них, как правило, делают неохотно. Однако не вызывает сомнений, что высокий уровень технологий и высокая квалификация российских специалистов уже в недалеком будущем приведут к доминированию на мировом рынке именно российских технологий компьютерного зрения.

КомпьютерПресс 7"2002

УДК 004.93"1

Машинное зрение

Татьяна Вадимовна Петрова, группа 4241/3

Машинное зрение - это применение компьютерного зрения для промышленности и производства. Областью интереса машинного зрения являются цифровые устройства ввода/вывода и компьютерные сети, предназначенные для контроля производственного оборудования. Машинное зрение имеет некоторые преимущества перед зрением человека. Соответственно, актуально развивать это направление науки. В данном обзоре рассказывается об истории развития машинного зрения, компонентах системы машинного зрения, применении машинного зрения и будущем данной области науки.

Введение

компьютерный машинный зрение производственный

Основную часть информации о внешнем мире человек получает по зрительному каналу и далее весьма эффективно обрабатывает полученную информацию при помощи аппарата анализа и интерпретации визуальной информации. Поэтому встает вопрос о возможности машинной реализации данного процесса.

За счет возрастания сложности решаемых научно-технических задач, автоматическая обработка и анализ визуальной информации становятся все более актуальными вопросами. Данные технологии используются в весьма востребованных областях науки и техники, таких как автоматизация процессов, повышение производительности, повышение качества выпускаемых изделий, контроль производственного оборудования, интеллектуальные робототехнические комплексы, системы управления движущимися аппаратами, биомедицинские исследования и множество других. Кроме того, можно сказать, что успех современного бизнеса основывается главным образом на качестве предлагаемой продукции. А для его обеспечения, если говорить о производстве материальных вещей, требуется визуальный контроль.

Далее мы будем использовать термин «машинное зрение» (Machine vision) как понятие, наиболее полно объемлющее круг инженерных технологий, методов и алгоритмов, связанных с задачей интерпретации визуальной информации, а также как практическое использование результатов этой интерпретации.

1. История развития машинного зрения

Компьютерное зрение оформилось как самостоятельная дисциплина к концу 60х годов. Это направление возникло в рамках искусственного интеллекта в тот его период, когда еще были горячи споры о возможности создания мыслящей машины. Оно выделилось из работ по распознаванию образов. [Зуева, 2008]

Кратко история развития машинного зрения представлена на рисунке 1.

Рис. 1. История машинного зрения

В истории развития машинного зрения можно выделить следующие этапы:

· 1955 г. - профессор Массачусетского технологического института (МТИ) Оливер Селфридж опубликовал статью «Глаза и уши для компьютера». В ней автор выдвинул теоретическую идею оснащения компьютера средствами распознавания звука и изображения.

· 1958 г. - психолог Фрэнк Розенблатт из Корнеллского университета создал компьютерную реализацию персептрона (от perception - восприятие) - устройства, моделирующего схему распознавания образов человеческим мозгом. Персептрон был впервые смоделирован в 1958 году, причем его обучение требовало около получаса машинного времени на ЭВМ IBM-704. Аппаратный вариант - Mark I Perceptron - был построен в 1960 г. и предназначался для распознавания зрительных образов [Компьютерное зрение, 2010] .

Однако рассмотрение задач машинного зрения носило скорее умозрительный характер, так как ни техники, ни математического обеспечения для решения таких сложных задач еще не было.

· 1960-е гг.- появление первых программных систем обработки изображений (в основном для удаления помех с фотоснимков, сделанных с самолетов и спутников), стали развиваться прикладные исследования в области распознавания печатных символов. Однако все еще существовали ограничения в развитии данной области науки, такие как отсутствие дешевых оптических систем ввода данных, ограниченность и довольно узкая специализация вычислительных систем. Бурное развитие систем компьютерного зрения на протяжении 60-х годов можно объяснить расширением использования вычислительных машин и очевидной потребностью в более быстрой и эффективной связи человека с ЭВМ. К началу 60-х годов задачи компьютерного зрения в основном охватывали область космических исследований, требовавших обработки большого количества цифровой информации.

· 1970-е гг. - Лавренсе Робертс, аспирант МТИ, выдвинул концепцию машинного построения трехмерных образов объектов на основе анализа их двумерных изображений. На данном этапе стал проводиться более глубокий анализ данных. Начали развиваться различные подходы к распознаванию объектов на изображении, например структурные, признаковые и текстурные.

· 1979 г. - профессор Ганс-Хельмут Нагель из Гамбургского университета заложил основы теории анализа динамических сцен, позволяющей распознавать движущиеся объекты в видеопотоке.

· В конце 1980-х годов были созданы роботы, способные более-менее удовлетворительно оценивать окружающий мир и самостоятельно выполнять действия в естественной среде

· 80-е и 90-е годы ознаменовались появлением нового поколения датчиков двухмерных цифровых информационных полей различной физической природы. Развитие новых измерительных систем и методов регистрации двухмерных цифровых информационных полей в реальном масштабе времени позволило получать для анализа устойчивые во времени изображения, генерируемые этими датчиками. Совершенствование же технологий производства этих датчиков позволило существенным образом снизить их стоимость, а значит, значительно расширить область их применения

· С начала 90-х годов в алгоритмическом аспекте последовательность действий по обработке изображения принято рассматривать в согласии с так называемой модульной парадигмой. Эта парадигма, предложенная Д. Марром на основе длительного изучения механизмов зрительного восприятия человека, утверждает, что обработка изображений должна опираться на несколько последовательных уровней восходящей информационной линии: от «иконического» представления объектов (растровое изображение, неструктурированная информация) – к их символическому представлению (векторные и атрибутивные данные в структурированной форме, реляционные структуры и т. п.). [Визильтер и др., 2007]

· В середине 90-х годов появились первые коммерческие системы автоматической навигации автомобилей. Эффективные средства компьютерного анализа движений удалось разработать в конце XX века

· 2003 г. - на рынок были выпущены первые достаточно надежные корпоративные системы распознавания лиц.

2. Задачи машинного зрения и области его применения

2.1 Определение понятия «машинное зрение»

Машинное зрение - это применение компьютерного зрения для промышленности и производства. Областью интереса машинного зрения, как инженерного направления, являются цифровые устройства ввода/вывода и компьютерные сети, предназначенные для контроля производственного оборудования, таких как роботы-манипуляторы или аппараты для извлечения бракованной продукции.

Machine vision is the study of methods and techniques whereby artificial vision systems can be constructed and usefully employed in practical applications. As such, it embraces both the science and engineering of vision.

Its study includes not only the software but also the hardware environment and image acquisition techniques needed to apply it. As such, it differs from computer vision, which appears from most books on the subject to be the realm of the possible design of the software, without too much attention on what goes into an integrated vision system (though modern books on computer vision usually say a fair amount about the "nasty realities" of vision, such as noise elimination and occlusion analysis).

2.2 Машинное зрение в настоящее время.

В настоящее время существует четкая граница между так называемым монокулярным и бинокулярным компьютерным зрением. К первой области относятся исследования и разработки в области компьютерного зрения, связанные с информацией, поступающей от одной камеры или от каждой камеры отдельно. Ко второй области относятся исследования и разработки, имеющие дело с информацией, одновременно поступающей от двух и более камер. Несколько камер в таких системах используются для измерения глубины наблюдения. Эти системы называются стереосистемами.

К настоящему моменту теория компьютерного зрения полностью сложилась как самостоятельный раздел кибернетики, опирающийся на научную и практическую базу знаний. Ежегодно по данной тематике издаются сотни книг и монографий, проводятся десятки конференций и симпозиумов, выпускается различное программное и аппаратно-программное обеспечение. Существует ряд научно-общественных организаций, поддерживающих и освещающих исследования в области современных технологий, в том числе технологии компьютерного зрения.

2.3. Основные задачи машинного зрения

Однако машинное зрение позволяет решать множество задач, которые условно можно разделить на четыре группы (Рис.2) [Лысенко, 2007] :

Рис.2. Задачи машинного зрения

· Распознавание положения

Цель машинного зрения в данном применении - определение пространственного местоположения (местоположения объекта относительно внешней системы координат) или статического положения объекта (в каком положении находится объект относительно системы координат с началом отсчета в пределах самого объекта) и передача информации о положении и ориентации объекта в систему управления или контроллер.
Примером такого приложения может служить погрузочно-разгрузочный робот, перед которым стоит задача перемещения объектов различной формы из бункера. Интеллектуальная задача машинного зрения заключается, например, в определении оптимальной базовой системы координат и ее центра для локализации центра тяжести детали. Полученная информация позволяет роботу захватить деталь должным образом и переместить ее в надлежащее место.

Машинное зрение. Что это и как им пользоваться? Обработка изображений оптического источника

Машинное зрение - это научное направление в области искусственного интеллекта, в частности робототехники, и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека.

Исторические прорывы в машинном зрении

Компоненты системы машинного зрения

Одна или несколько цифровых или аналоговых камер (черно-белые или цветные) с подходящей оптикой для получения изображений

Программное обеспечение для изготовления изображений для обработки. Для аналоговых камер это оцифровщик изображений

Процессор (современный ПК c многоядерным процессором или встроенный процессор, например - ЦСП)

Программное обеспечение машинного зрения, которое предоставляет инструменты для разработки отдельных приложений программного обеспечения.

Оборудование ввода-вывода или каналы связи для доклада о полученных результатах

Умная камера: одно устройство, которое включает в себя все вышеперечисленные пункты.

Очень специализированные источники света (светодиоды, люминесцентные и галогенные лампы и т. д.)

Специфичные приложения программного обеспечения для обработки изображений и обнаружения соответствующих свойств.

Датчик для синхронизации частей обнаружения (часто оптический или магнитный датчик) для захвата и обработки изображений.

Приводы определенной формы используемые для сортировки или отбрасывания бракованных деталей.

Машинное зрение сосредотачивается на применении, в основном промышленном, например, автономные роботы и системы визуальной проверки и измерений. Это значит, что технологии датчиков изображения и теории управления связаны с обработкой видеоданных для управления роботом и обработка полученных данных в реальном времени осуществляется программно или аппаратно.

Обработка изображений и анализ изображений в основном сосредоточены на работе с 2D изображениями, т.е. как преобразовать одно изображение в другое. Например, попиксельные операции увеличения контрастности, операции по выделению краёв, устранению шумов или геометрические преобразования, такие как вращение изображения. Данные операции предполагают, что обработка/анализ изображения действуют независимо от содержания самих изображений.

Компьютерное зрение сосредотачивается на обработке трехмерных сцен, спроектированных на одно или несколько изображений. Например, восстановлением структуры или другой информации о 3D сцене по одному или нескольким изображениям. Компьютерное зрение часто зависит от более или менее сложных допущений относительно того, что представлено на изображениях.

Также существует область названная визуализация, которая первоначально была связана с процессом создания изображений, но иногда имела дело с обработкой и анализом. Например, рентгенография работает с анализом видеоданных медицинского применения.

Наконец, распознавание образов является областью, которая использует различные методы для получения информации из видеоданных, в основном, основанные на статистическом подходе. Значительная часть этой области посвящена практическому применению этих методов.

Задачи машинного зрения

Распознавание

Идентификация

Обнаружение

Распознавание текста

Восстановление 3D формы по 2D изображениям

Оценка движения

Восстановление сцены

Восстановление изображений

Выделение на изображениях структур определенного вида, сегментация изображений

Анализ оптического потока

Распознавание

Классическая задача в компьютерном зрении, обработке изображений и машинном зрении это определение содержат ли видеоданные некоторый характерный объект, особенность или активность.

Эта задача может быть достоверно и легко решена человеком, но до сих пор не решена удовлетворительно в компьютерном зрении в общем случае: случайные объекты в случайных ситуациях.

Один или несколько предварительно заданных или изученных объектов или классов объектов могут быть распознаны (обычно вместе с их двухмерным положением на изображении или трехмерным положением в сцене).

Идентификация

Распознается индивидуальный экземпляр объекта принадлежащего к какому-либо классу.
Примеры: идентификация определённого человеческого лица или отпечатка пальцев или автомобиля.

Обнаружение

Видеоданные проверяются на наличие определенного условия.

Обнаружение, основанное на относительно простых и быстрых вычислениях иногда используется для нахождения небольших участков в анализируемом изображении, которые затем анализируются с помощью приемов, более требовательных к ресурсам, для получения правильной интерпретации.

Распознавание текста

Поиск изображений по содержанию: нахождение всех изображений в большом наборе изображений, которые имеют определенное различными путями содержание.

Оценка положения: определение положения или ориентации определенного объекта относительно камеры.

Оптическое распознавание знаков: распознавание символов на изображениях печатного или рукописного текста (обычно для перевода в текстовый формат, наиболее удобный для редактирования или индексации. Например, ASCII).

Восстановление 3D формы по 2D изображениям осуществляется с помощью стереореконструкции карты глубины, реконструкции поля нормалей и карты глубины по закраске полутонового изображения, реконструкции карты глубины по текстуре и определения формы по перемещению

Пример восстановления 3D формы по 2D изображеню

Оценка движения

Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены. Примерами таких задач являются: определение трехмерного движения камеры, слежение, то есть следование за перемещениями объекта (например, машин или людей)

Восстановление сцены

Даны два или больше изображения сцены, или видеоданные. Восстановление сцены имеет задачей воссоздать трехмерную модель сцены. В простейшем случае, моделью может быть набор точек трехмерного пространства. Более сложные методы воспроизводят полную трехмерную модель.

Восстановление изображений

Задача восстановления изображений это удаление шума (шум датчика, размытость движущегося объекта и т.д.).

Наиболее простым подходом к решению этой задачи являются различные типы фильтров, таких как фильтры нижних или средних частот.

Более высокий уровень удаления шумов достигается в ходе первоначального анализа видеоданных на наличие различных структур, таких как линии или границы, а затем управления процессом фильтрации на основе этих данных.

Восстановление изображений

Анализ оптического потока (нахождения перемещения пикселей между двумя изображениями).
Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены.

Примерами таких задач являются: определение трехмерного движения камеры, слежение, т.е. следование за перемещениями объекта (например, машин или людей).

Методы обработки изображений

Счетчик пикселей

Подсчитывает количество светлых или темных пикселей.
С помощью счетчика пикселей пользователь может выделить на экране прямоугольную область в интересующем месте, например там, где он ожидает увидеть лица проходящих людей. Камера в ответ немедленно даст сведения о количестве пикселей, представленных сторонами прямоугольника.

Счетчик пикселей дает возможность быстро проверить, соответствует ли смонтированная камера нормативным требованиям или требованиям заказчика относительно пиксельного разрешения, например, для лиц людей, входящих в двери, которые контролируются камерой, или в целях распознавания номерных знаков.

Бинаризация

Преобразует изображение в серых тонах в бинарное (белые и черные пиксели).
Значения каждого пикселя условно кодируются, как «0» и «1». Значение «0» условно называют задним планом или фоном а «1» - передним планом.

Часто при хранении цифровых бинарных изображений применяется битовая карта, где используют один бит информации для представления одного пикселя.

Также, особенно на ранних этапах развития техники, двумя возможными цветами были чёрный и белый, что не является обязательным.

Сегментация

Используется для поиска и (или) подсчета деталей.

Цель сегментации заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать.

Сегментация изображений обычно используется для того, чтобы выделить объекты и границы (линии, кривые, и т. д.) на изображениях. Более точно, сегментация изображений - это процесс присвоения таких меток каждому пикселю изображения, что пиксели с одинаковыми метками имеют общие визуальные характеристики.

Результатом сегментации изображения является множество сегментов, которые вместе покрывают всё изображение, или множество контуров, выделенных из изображения. Все пиксели в сегменте похожи по некоторой характеристике или вычисленному свойству, например, по цвету, яркости или текстуре. Соседние сегменты значительно отличаются по этой характеристике.

Чтение штрих-кодов

Штрих-код - графическая информация, наносимая на поверхность, маркировку или упаковку изделий, представляющая возможность считывания её техническими средствами - последовательность чёрных и белых полос либо других геометрических фигур.
В машинном зрении штрих-коды используют для декодирования 1D и 2D кодов, разработанных для считывания или сканирования машинами.

Оптическое распознавание символов

Оптическое распознавание символов: автоматизированное чтение текста, например, серийных номеров.

Распознавание используется для конвертации книг и документов в электронный вид, для автоматизации систем учёта в бизнесе или для публикации текста на веб-странице.

Оптическое распознавание текста позволяет редактировать текст, осуществлять поиск слов или фраз, хранить его в более компактной форме, демонстрировать или распечатывать материал, не теряя качества, анализировать информацию, а также применять к тексту электронный перевод, форматирование или преобразование в речь.

Моя программа, написанная на LabView по работе с изображениями

Использовано компьютерное зрение для неразрушающего контроля качества сверхпроводящих материалов.

Введение. Решение задач обеспечения комплексной безопасности (как антитеррористической и механической безопасности объектов, так и технологической безопасности инженерных систем), в настоящее время, требует системной организации контроля, текущего состояния объектов. Одними из наиболее перспективных способов контроля текущего состояния объектов являются оптические и оптико-электронные методы, основанные на технологиях обработки видеоизображений оптического источника. К ним относятся: программы по работе с изображениями; новейшие способы обработки изображений; оборудования для получения, анализа и обработки изображений, т.е. комплекс средств и методов относящихся к области компьютерного и машинного зрения. Компьютерное зрение - это общий набор методов, позволяющих компьютерам видеть и распознавать трех- или двухмерные объекты, как инженерного направления, так и нет. Для работы с компьютерным зрение требуются цифровые или аналоговые устройства ввода-вывода, а также вычислительные сети и IP анализаторы локаций, предназначенные для контроля производственного процесса и подготовки информации для принятия оперативных решений в кратчайшие сроки.

Постановка проблемы. На сегодняшний день, главной задачей для проектируемых комплексов машинного зрения остаётся обнаружение, распознавание, идентификация и квалификация объектов потенциального риска, находящихся в случайном месте в зоне оперативной ответственности комплекса. Существующие на данный момент программные продукты, направленные на решение перечисленных задач обладают рядом существенных недостатков, а именно: значительная сложность, связанная с высокой детализацией оптических образов; высокая потребляемая мощность и достаточно узкий спектр возможностей. Расширение задач обнаружения объектов потенциального риска, до области поиска случайных объектов в случайных ситуациях, находящихся в случайном месте, имеющимися программными продуктами не возможно, даже с задействованием суперкомпьютера.

Цель. Разработка универсальной программы обработки изображений оптического источника, с возможностью потокового анализа данных, то есть программа должна быть лёгкой и быстрой для того, чтобы её можно было записать на малогабаритное ЭВМ устройство.

Задачи:

разработка математической модели программы;

написание программы;

опробирование программы в условиях лабораторного эксперимента, с полной подготовкой и проведением эксперимента;

исследование возможности применения программы в смежных областях деятельности.

Актуальность программы определяется:

высокой стоимостью профессиональных программ обработки визуальной информации.

Анализ актуальности разработки программы.

отсутствием на рынке программного обеспечения программ обработки изображений с выводом подробного анализа инженерных составляющих объектов;

постоянно растущими требованиями к качеству и скорости получения визуальной информации, резко повышающими востребованность программ обработки изображений;

существующей потребность в программах высокой производительности, надежных и простых с точки зрения пользователя;

существует потребность программ высокой производительности и простого управления, чего добиться в наше время крайне сложно. Для примера я взял Adobe Photoshop. Данный графический редактор обладает гармоничным сочетанием функциональности и простоты использования для рядового пользователя, но в данной программе невозможно работать со сложными инструментами по обработке изображения (например, анализ изображения путём построения математической зависимости (функции) или же интегральной обработкой изображений);

высокой стоимостью профессиональных программ обработки визуальной информации. Если программное обеспечение качественно, то цена на него крайне высока, вплоть до отдельных функции того или иного набора программ. На графике ниже представлена зависимость цены/качества простых аналогов программы.

Для упрощения решения задач данного типа, мною была разработана математическая модель и написана программа для ЭВМ устройства по анализу изображения при помощи простейших преобразований исходных изображений.

Программа работает с преобразованиями типа бинаризации, яркости, контраста изображения и т.д. Принцип действия программы продемонстрирован на примере анализа сверхпроводящих материалов.

При создании композиционных сверхпроводников на основе Nb3Sn варьируется объемное соотношение бронзы и ниобия, размер и количество волокон в нем, равномерность их распределения по сечению бронзовой матрицы, наличие диффузионных барьеров и стабилизирующих материалов. При заданной объемной доле ниобия в проводнике увеличение количества волокон приводит, соответственно, к уменьшению их диаметра. Это ведет к заметному возрастанию поверхности взаимодействия Nb / Cu-Sn, что в значительной степени ускоряет процесс нарастания сверхпроводящей фазы. Такое увеличение количества сверхпроводящей фазы при повышении числа волокон в проводнике обеспечивает возрастание критических характеристик сверхпроводника. В связи с этим необходимо наличие инструмента для контроля объемной доли сверхпроводящей фазы в конечном продукте (композиционном сверхпроводнике).

При создании программы учитывалась важность проведения исследований материалов, из которых создаётся сверхпроводящие кабели, так как при неправильном соотношении ниобия к бронзе возможен взрыв проводов, а, следовательно, людские жертвы, денежные затраты и потеря времени. Данная программа позволяет определить качество проводов на основе химическо физического анализа объекта.

Блок-диаграмма программы

Описание этапов исследования.

1 этап. Пробоподготовка: резка композиционного сверхпроводника на электроэрозионном станке; запрессовка образца в пластмассовую матрицу; полировка образца до зеркального состояния; травление образца для выделения волокон ниобия на бронзовой матрице. Получены образцы запрессованных композиционных сверхпроводниковых образцов;

2 этап. Получение изображений: получение металлографических изображений на сканирующем электронном микроскопе.

3 этап. Обработка изображений: создание инструмента для определения объемной доли сверхпроводящей фазы на металлографическом изображении; набор статистически значимых данных на конкретном типе образцов. Созданы математические модели различных инструментов по обработке изображений; создана программная разработка для оценки объемной доли сверхпроводящий фазы; программа была облегчена путём соединения нескольких математических функций в одну; было получено среднее значение объемной доли волокон ниобия в бронзовой матрице 24.7±0,1 %. Низкий процент отклонения свидетельствует о высокой повторяемости структуры композиционного провода.

Электронномикроскопическое изображения композиционных сверхпроводников

Методы обработки изображений в программе.

Идентификация - распознается индивидуальный экземпляр объекта, принадлежащего к какому-либо классу.

Бинаризация – процесс перевода цветного (или в градациях серого) изображения в двухцветное черно-белое.

Сегментация - это процесс разделения цифрового изображения на несколько сегментов (множество пикселей, также называемых суперпикселями).

Эрозия – сложный процесс, при выполнении которого структурный элемент проходит по всем пикселам изображения. Если в некоторой позиции каждый единичный пиксел структурного элемента совпадет с единичным пикселом бинарного изображения, то выполняется логическое сложение центрального пиксела структурного элемента с соответствующим пикселом выходного изображения.

Дилатация - свертка изображения или выделенной области изображения с некоторым ядром. Ядро может иметь произвольную форму и размер. При этом в ядре выделяется единственная ведущая позиция, которая совмещается с текущим пикселем при вычислении свертки.

Формулы работы программы

Формула бинаризации (метод Оцу):

Формула эрозии:

Формула дилатации:

Схема дилатации и эрозии

Формулы сегментации порогами цвета:

Определение модуля градиента яркости для каждого пикселя изображения:

Вычисление порога:

Использованное оборудование

Интерфейс программы

В мире очень много вещей, за которыми человеческий глаз просто не успевает следить. Например, в конвейерной технологии ошибки происходят именно из-за человеческого фактора. Человек просто не в состоянии трезво оценивать предметы после нескольких часов работы. Для этого отлично приспособлены роботы. С помощью машинного зрения они могут сделать детальную проверку продукта, сравнить с образцом и моментально принять решение о дальнейшей обработке изделия.

Как работает машинное зрение?

Машинное зрение - это способность компьютера «видеть». Система машинного зрения использует одну или несколько видеокамер, устройство аналого-цифрового преобразования (АЦП) и цифровой обработки сигналов (ЦОС). Полученные данные поступают в компьютер или робота-контроллера. По степени сложности машинное зрение похоже на распознавание голоса.

Двумя важными характеристиками в любой такой системе являются чувствительность и разрешение. Чувствительность - это способность машины видеть в тусклом свете или различать слабые импульсы в спектре невидимых длин волн.Разрешение - это степень, с которой система различает объекты. Чувствительность и разрешение являются взаимозависимыми параметрами. При увеличении чувствительности, разрешение, как правило, уменьшается, и наоборот, хотя все остальные факторы обычно остаются при этом неизменными.

Человеческие глаза могут различать электромагнитные волны с длиной волны, находящейся в диапазоне от 390 до 770 нанометров. У видеокамер этот диапазон значительно шире, чем это.Например, есть системы машинного зрения, которые могут видеть в инфракрасной, ультрафиолетовой и рентгеновской областях длин волн.

Машинное зрение используется в различных промышленных и медицинских областях:

Компонентный анализ

Идентификация подписи

Оптическое распознавание символов

Распознавание почерка

Распознавание объектов

Распознавание образов

Контроль материалов

Контроль валюты

Медицинский анализ изображения

Машинное зрение - это применение компьютерного зрения для промышленности и производства. В то время как компьютерное зрение - это общий набор методов, позволяющих компьютерам видеть, областью интереса машинного зрения, как инженерного направления, являются цифровые устройства ввода-вывода и компьютерные сети, предназначенные для контроля производственного оборудования, таких как роботы-манипуляторы или аппараты для извлечения бракованной продукции. Машинное зрение является подразделом инженерии, связанное с вычислительной техникой, оптикой, машиностроением и промышленной автоматизацией. Одним из наиболее распространенных приложений машинного зрения - инспекции промышленных товаров, таких как полупроводниковые чипы, автомобили, продукты питания и лекарственные препараты. Люди, работавшие на сборочных линиях, осматривали части продукции, делая выводы о качестве исполнения. Системы машинного зрения для этих целей используют цифровые и интеллектуальные камеры, а также программное обеспечение обрабатывающее изображение для выполнения аналогичных проверок.

Системы машинного зрения запрограммированы для выполнения узкоспециализированных задач, таких как подсчет объектов на конвейере, чтение серийных номеров или поиск поверхностных дефектов. Польза системы визуальной инспекции на основе машинного зрения заключается в высокой скорости работы с увеличением оборота, возможности 24-часовой работы и точности повторяемых измерений. Так же преимущество машин перед людьми заключается в отсутствии утомляемости, болезней или невнимательности. Тем не менее, люди обладают тонким восприятием в течение короткого периода и большей гибкостью в классификации и адаптации к поиску новых дефектов.

Компьютеры не могут «видеть» таким же образом, как это делает человек. Фотокамеры не эквивалентны системе зрения человека, и в то время как люди могут опираться на догадки и предположения, системы машинного зрения должны «видеть» путём изучения отдельных пикселей изображения, обрабатывая их и пытаясь сделать выводы с помощью базы знаний и набора функций таких, как устройство распознавания образов. Хотя некоторые алгоритмы машинного зрения были разработаны, чтобы имитировать зрительное восприятие человека, большое количество уникальных методов были разработаны для обработки изображений и определения соответствующих свойств изображения.

Применение машинного зрения

Применение машинного зрения разнообразно, оно охватывает различные области деятельности, включая, но не ограничиваясь следующими:

Крупное промышленное производство

Ускоренное производство уникальных продуктов

Системы безопасности в промышленных условиях

Контроль предварительно изготовленных объектов (например, контроль качества, исследование допущенных ошибок)

Системы визуального контроля и управления (учет, считывание штрих-кодов)

Контроль автоматизированных транспортных средств

Контроль качества и инспекция продуктов питания

В автомобильной промышленности системы машинного зрения используются в качестве руководства для промышленных роботов, а также для проверки поверхности окрашенного автомобиля, сварных швов, блоков цилиндров и многих других компонентов на наличие дефектов.