В погоне за совершенством: от глубоко машинного обучения к искусственному интеллекту в системах оптической инспекции (АОИ) Maker- Ray. Часть 1

И. Рожков, ООО «Новые Технологии», генеральный директор, управляющий партнер, rozhkov@nt-smt.ru.
А. Гаранин, ООО «Новые Технологии», технический директор, управляющий партнер, garanin@nt-smt.ru.
Д. Подольский, ООО «Новые Технологии», ведущий менеджер по продуктам, podolsky@nt-smt.ru.

По версии словаря английского языка Collins English Dictionary, главным словосочетанием в 2023 году является аббревиатура AI (искусственный интеллект, ИИ), означающая «моделирование мыслительных функций человека с помощью компьютерных программ». По мнению Collins употребление аббревиатуры AI за год выросло в четыре раза и «стало преобладающим термином в разговорах в 2023 году». Данный вывод непосредственно касается систем автоматической оптической инспекции (АОИ) компании Maker-Ray, которые умеют самообучаться, выявлять дефекты сборки печатных плат и вместо оператора способны исключать ложные срабатывания. Для этого потребовалась эволюция применяемых методов глубокого обучения и дальнейшее развитие программных инструментов в направлении решения прикладных задач при производстве электроники – сегодня системы АОИ Maker-Ray стали, по сути, IT-проектами по внедрению искусственного интеллекта. В статье описывается проблематика построения умной системы анализа изображений печатных плат.

Технология поверхностного монтажа (surface mount technology, SMT) используется для сборки печатный плат с различными электронными компонентами. Однако в процессе нанесения паяльного материала, подготовки электронных компонентов, автоматического скоростного монтажа и групповой пайки могут возникнуть отклонения, приводящие к тому, что компоненты будут установлены со смещением, перевернуты, повреждены или потеряны. Проблемы могут возникнуть в каждой из сотен точек пайки на поверхности печатного узла. Контроль за качеством изготовления электронных устройств берут на себя автоматические системы оптической инспекции, там, где глаз человека перестает справляться.

В современной электронной промышленности установки АОИ используются в качестве средства контроля для достижения наилучшего качества конечных изделий. Дело в том, что ручной контроль отнимает много времени и является дорогостоящим в условиях крупносерийного производства. В идеальном случае АОИ можно использовать непрерывно, без необходимости привлечения специалистов контроля качества для проверки выпускаемых изделий. Более того, конкуренция в отрасли растет, а рентабельность снижается, поэтому установки АОИ имеют решающее значение для снижения производственных затрат и потерь.

На рис. 1 показана плата с успешно установленными компонентами, а на рис. 2 – неудачные сборки.

Рис. 1. Печатная плата без выявленных дефектов

Рис. 2.Дефекты монтажа

Чтобы обеспечить достаточную надежность и качество конечного изделия необходимо вовремя обнаружить брак, возникающий в процессе монтажа. Таким образом, решение задачи по контролю установленных на печатную плату компонентов является актуальной задачей, стоящей перед современным производителем электронной техники. В настоящее время с помощью систем АОИ контролируют качество пайки различных электронных компонентов, расположенных на обеих сторонах печатных узлов. В процессе автоматической инспекции производится проверка на отсутствующие компоненты, смещение, полярность, корректность номиналов, качество пайки и форму паяного соединения. Это осуществляется с помощью сопоставления с образцом и анализа цветовых гистограмм проецируемого разноцветного освещения, 3D-измерения высоты компонентов и областей пайки. Изображения получаются с помощью камер, расположенных под разными углами над и под печатной платой. АОИ проверяют компоненты на печатной плате и помечают их как «брак», когда отклонение от нормы выходит за допустимые пределы.

Одна из главных задач современных АОИ – уменьшение количества ложных срабатываний, при которых компонент неправильно идентифицирован установкой как «неисправный». Опытный оператор вынужден выполнять ручную оптическую проверку (РОП, manual optical inspection, MOI) печатных плат после проверки АОИ. Оператор должен классифицировать компоненты, которые АОИ идентифицирует как «неисправные». Поскольку технология АОИ находится в стадии развития, при использовании большинства моделей такого оборудования работа оператора все еще необходима. Со временем использование РОП может быть прекращено, когда будет достаточно доказательств того, что АОИ работают максимально эффективно.

Системы 2D оптической инспекции, применяемые на производстве, проверяют качество установки компонентов на печатной плате в автоматическом режиме. Во время работы установка АОИ делает серию снимков участков печатной платы с заранее определенными регионами интереса и установленными электронными компонентами. Затем изображение компонента сравнивается с изображением из библиотеки с помощью метода анализа пикселей, точность которого может достигать 99,5%. При этом некоторые компоненты, которые установлены правильно, но с некоторыми некритичными отклонениями, могут быть ложно классифицированы как ошибка монтажа (ложноотрицательные компоненты).

Точность 99,5% кажется достаточно высокой. Однако, поскольку на одной печатной плате могут быть установлены тысячи компонентов и большое количество плат изготавливаются на производственной линии каждый день, нельзя пренебрегать количеством ложноотрицательных компонентов. Учитывая это, производственные компании вынуждены привлекать опытных сотрудников для проверки результатов, полученных от систем оптической инспекции, что, однако, требует дополнительного человеческого труда. Кроме того, сложно гарантировать качество работы, выполняемой реальными людьми.

Применение искусственного интеллекта (ИИ) помогает классифицировать дефекты, выявленные на этапе проверки АОИ, и разделять их на ложно-негативные и истинно-негативные.

Первое означает, что правильно установленные компоненты не прошли проверку машины АОИ, а второе – то, что компоненты действительно установлены неправильно с проявлением какого-либо дефекта. Поскольку система АОИ Maker-Ray обнаруживает ложноотрицательные результаты и корректирует их, эффективность проверки может быть существенно повышена. И при этом весь производственный процесс больше не требует настолько большого объема ручной работы.

Однако, поскольку изображения АОИ сильно отличаются от стандартных наборов данных для машинного обучения, разработчики таких систем сталкиваются с рядом проблем.

1. Малая площадь дефекта относительно всего изображения. Поскольку электронные компоненты плотно расположены на поверхности печатной платы, изображение, полученное с помощью АОИ, обычно содержит 10–50 электронных компонентов (см. рис 1). Следовательно, площадь, занимаемая целевым компонентом, относительно невелика. Это затрудняет извлечение отличительных особенностей изображений для процесса машинного обучения.
2. Скудная библиотека изображений дефектов одного типа. Чтобы классифицировать вид брака монтажа компонента, выявленного АОИ, для обучения модели глубокого обучения можно использовать только действительные изображения компонентов с настоящим браком. Однако одна установка АОИ, работающая на эффективном производстве, может регистрировать лишь небольшое количество электронных компонентов с настоящим браком монтажа, поэтому выборок для ложных компонентов немного, и они близки к количеству параметров модели глубокого обучения. Это может вызвать проблемы с обучением модели, а это означает, что модель не сможет хорошо обобщать данные обучения и будет иметь низкую точность при работе.
3. Однотипные дефекты при монтаже компонентов разных типов. Печатная плата обычно содержит различные типы компонентов, таких как резисторы, конденсаторы, катушки индуктивности или микросхемы, которые имеют разные размеры и внешний вид, поэтому трудно судить, правильно ли установлен компонент в одной классификации.

Исходя из обозначенной проблематики в оценке изображений, которые могут содержать разнородные по структуре изображение однотипных дефектов, Maker-Ray применяет известные методики анализа фрагментов, имеющих набор схожих характеристик и признаков, а также оригинальные подходы к созданию рабочих программ инспекции и математических моделей компонентов.

1. Предварительное выделение области изображения. Сначала применяется схема предварительной обработки изображения для определения местоположения целевого компонента на печатной плате и обрезки изображения. Алгоритм предварительной обработки может повысить точность последующей процедуры глубокого обучения изображений, полученных установкой АОИ.
2. Индивидуальная модель каждого компонента получается с помощью применения методов глубокого обучения. В результате формируется библиотека компонентов, в которой классифицированы различные типы компонентов по разным категориям, а также критерии оценки качества монтажа.
3. Практическое обучение в условиях реального производства. Результаты экспериментов показывают, что метод может снизить уровень ложных срабатываний с 0,3–0,5% до 0,02–0,03%, что значительно повышает эффективность работы, учитывая количество производимых печатных узлов, каждый из которых может содержать тысячи компонентов.

Таким образом, методика применения ИИ может уменьшить количество ложных срабатываний в 15–17 раз по сравнению с существующими системами АОИ без дополнительного человеческого труда, который обычно требуется для повышения уровня качества проверки печатных плат в реальных промышленных сценариях.

ПОСТРОЕНИЕ МОДЕЛИ ДЛЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Установки АОИ в настоящее время используются для проверки качества поверхностного монтажа. Поскольку эти машины имеют зачастую недостаточную эффективность работы, производственной компании приходится нанимать дополнительных сотрудников для проверки собранных изображений дефектов печатных плат. Методика применения ИИ включает в себя два основных этапа: этап обучения и этап тестирования. Ниже кратко описаны основные фазы этих этапов.

Выделение областей изображения. Системы АОИ получают изображения печатной платы, как показано на рис. 3a, где проверяемый электронный компонент выделен красными линиями. Изображение содержит так много электронных компонентов, что очень сложно получить приемлемый результат без предварительной обработки. В установках Maker-Ray применяется метод определения местоположения целевого компонента и обрезки изображения, при котором целевой компонент перемещается в центр изображения (см. рис. 3б).

Увеличение фрагментов. Далее программное обеспечение Maker-Ray применяет методы машинного обучения для классификации и проверки обрезанных изображений, что обычно требует большого количества данных для обучения модели. Поскольку коэффициент ложных срабатываний важен для производства, установка АОИ может регистрировать лишь ограниченное количество электронных компонентов (всего 0,3–0,5%), неправильно установленных на печатной плате. Поэтому на данном этапе применяется ряд методов, таких как переворот и регулировка яркости, чтобы увеличить количество данных (см. рис. 3в).

Рис. 3. Общая модель обучения ИИ

Классификация компонентов. При сборке электронных модулей применяется большое количество различных электронных компонентов. Соответственно и внешний вид этих компонентов сильно различается. Например, на рис. 3г показано изображение микросхемы и конденсаторов. Таким образом, нецелесообразно использовать одну и ту же модель для проверки разных компонентов. Для решения задачи по классификации обнаруженных компонентов применяются специализированные алгоритмы, чтобы разделить компоненты на несколько категорий: катушки индуктивности, конденсаторы и микросхемы.

Обучение модели и проверка компонентов. Программное обеспечение создает индивидуальные модели для всех типов автоматически обнаруженных компонентов. Чтобы использовать набор данных, алгоритм обрезает и классифицирует тестовые изображения. Кроме того, индивидуальную модель компонента обрабатывает система ИИ, уменьшающая вероятность ложного обнаружения дефекта.

БАЗА ДАННЫХ ИЗОБРАЖЕНИЙ АОИ

Для первоначального обучения ИИ Maker-Ray использует исходный набор данных, полученных с производственной линии поверхностного монтажа печатных плат одного из своих партнеров. Это реальное загруженное производство, где применяются установки АОИ Maker-Ray. Для обработки используется 6 500 изображения, включая 1 235 истинно-негативных и 5 265 ложно-негативных изображений компонентов. Дополнительное применение методов обработки изображения позволяет увеличить общее количество изображений, чтобы количество истинно-негативных изображений было примерно равным количеству ложно-негативных изображений. Увеличивая количество истинно-негативных изображений в три раза, получаем 1 235 × 3 = 3 705 изображений. Несмотря на это, по-прежнему сложно обучить модель глубокого обучения, содержащую миллионы параметров, не столкнувшись с проблемой переобучения.

ОБРЕЗКА ИЗОБРАЖЕНИЯ

На этом этапе определяется положение целевого электронного компонента, а затем обрезается изображение так, чтобы компонент можно было разместить в центре изображения. Как показано на рис. 3а, АОИ помечают целевой компонент красной линией. Следовательно, мы можем найти кадр с красной линией, чтобы отследить целевой компонент. Однако в результате исследований было обнаружено, что красную линию на изображении практически невозможно различить по нескольким причинам.

Когда машины АОИ собирают изображения, пиксели на красной линии не полностью покрывают соответствующие пиксели исходного изображения. Вместо этого значения R (красный), G (зеленый), B (синий) этих пикселей смешиваются со значениями исходных пикселей. Из-за разницы исходных пикселей значения R, G, B красной линии не фиксированы. Например, на рис. 4а показаны статистические результаты, соответствующие значениям R красной линии. Хотя значения R больше подходят для обнаружения красной линии, в отличие от значений G и B, реализовать наши цели по-прежнему сложно из-за широкого распределения значений пикселей R.

На рис. 4б показаны значения пикселей R в другой области, где мы можем видеть, что около 15% пикселей расположены на участке [105, 135]. Кажется, что соотношение намного меньше, чем у красной линии. Однако общее количество пикселей, соответствующих другой области, в 400 раз больше, чем у красной линии. Эти пиксели затрудняют обнаружение красной линии.

Рис. 4. Статистические результаты измерения количества красных пикселей R: а – количество красных пикселей R на красной линии; б – количество красных пикселей R в другой области

Ширина красной линии составляет примерно 3–6 пикселей. Значения R, G, B красной линии постепенно меняются от центра к границе. Поэтому сложно определить границу красной линии.

Продолжение статьи читайте в следующем номере журнала «ЭЛЕКТРОНИКА: Наука, Технология, Бизнес».