Евгений Козлов

Научный руководитель:

с.н.с. ИАиЭ СО РАН, к.т.н. Косых В.П.1

Многие мобильные устройства снабжены встроенными фотокамерами.

Считывание штрих-кодов может позволить:• сравнивать цены товаров,• получать полную характеристику продукта,• смотреть обзоры и отзывы других

покупателей,• проверять продукт на ингредиенты-

аллергены.

Проблема – камера вносит искажения при съемке штрих-кода

2

Цель работы – разработать алгоритм распознавания штрих-кода EAN-13, устойчивый к искажениям, возникающим при съемке.

Решенные задачи:

1. Анализ специфики задачи распознавания и формулировка требований к алгоритмам.

2. Анализ существующих алгоритмов распознавания искаженных штрих-кодов.

3. Разработка алгоритма распознавания искаженного штрих-кода.

4. Реализация и оптимизация алгоритма.

5. Исследование эффективности алгоритма на реальных изображениях и сравнение с существующими.

3

Искажения:

4

• дефокусировка,• низкая частота

дискретизации,• наклон камеры,• изгиб поверхности,• неравномерная

освещенность,• шумы.

Алгоритм распознавания должен быть достаточно стойким к вышеописанным искажениям. Процесс распознавания должен занимать не более 2 секунд в среднем.

1. S.Wachenfeld, S.Terlunen, X.Jiang. Robust Recognition of 1-D Barcodes Using Camera Phones. International Conference of Pattern Recognition, 2008.

2. R.Adelmann, M.Langheinrich, C.Florkemeier. Toolkit for Bar Code Recognition and

Resolving on Camera Phones - Jump Starting the Internet of Things. Workshop on Mobile

and Embedded Interactive Systems (MEIS'06) at Informatik, GI LNI, 2006.

3. E.Joseph, T.Pavlidis. Bar Code Waveform Recognition Using Peak Locations. IEEE

Transactions On Pattern Analysis And Machine Intelligence, Vol. 16, No. 6, June 1994.

4. N.Liu, H.Sun. Deconvolution of The Two-Dimensional Bar Code Based on Binary

Constraint. International Conference on Computer Science and Software Engineering, 2008.

5. E.Tekin, J.Coughlan. A Bayesian algorithm for reading 1D barcodes. Sixth Canadian

Conference on Computer and Robot Vision, 2009.

6. O.Gallo, R.Manduchi. Reading 1-D Barcodes with Mobile Phones Using Deformable

Templates, 2010.

7. K.Wang, Y.Zou, H.Wang. 1-D Bar Code Reading On Camera Phones.

8. D.Chai, F.Hock. Locating and Decoding EAN-13 Barcodes From Images Captured by

Digital Cameras, 2005.

9. S.Kresic-Juric, D.Madej, F.Santosa. Applications of hidden Markov models in bar code

decoding, 2006.

10. R.Muniz, L.Junco, A.Otero. A Robust Software Barcode Reader Using The Hough

Transform. Information Intelligence and Systems, 1999.

5

[1] [2] [3] [4] [5] [6]

Шумы

Слабая дефокусировка (ρ < s)

Сильная дефокусировка (s < ρ < 2s)

Надежность оценки ρ – – – –

Искаженная геометрия

Яркостные искажения

Малая частота дискретизации

Высокая скорость работы

Нет ограничений на тип штрих-кода EAN EAN EAN UPC*

* – можно обобщить для EAN-13

6

1) Предварительная обработка.

2) Первая попытка распознавания с использованием алгоритма [6], устойчивого к геометрическим искажениям.

3) Вторая попытка распознавания с использованием нового алгоритма восстановления дефокусированного штрих-кода (в случае неудачного завершения второго этапа).

7

1. Выделение окна

2. Усреднение по оси OY

(снижение уровня шума)

3. Начальная оценка границ штрих-кодаxL и xR

4. Начальная оценка ширины единичного штриха s

5. Масштабирование (уменьшение количества отсчетов)

8

9

• ρ – параметр ФРТ

• a, b – контраст и яркость

• pk – неизвестные позиции границ полос

• xL – левая граница штрих-кода

• s – ширина единичного штриха

Зная pk, можно произвести декодирование

10

Расчет автокорреляции производной:

Автокорреляция производной Зависимость позиции первого локального минимума от ρ/s

11

Минимизация функционала

Для минимизации на каждом шаге итераций используется разложение J в ряд Тейлора в окрестности текущих оценок.

12

Пример восстановленного штрих-кода

Результат: 0 054881 008594

• Алгоритм реализован на языке Java

• Основные оптимизации:– Ускорение вычисления функции erf(x) с

помощью предварительного подсчета значений функции в узловых точках и последующей интерполяции

– Использование float вместо double

– Считывание лишь части изображения высотой 15 пикселей вместо считывания всего изображения

– Модифицированная библиотека JAMA для работы с матрицами

13

Набор снимков реальных штрих-кодов:• Всего снимков – 164

• Распознано правильно – 98 (≈ 60%)

• Не распознано – 63

• Распознано неправильно – 3 (≈ 2%)

Разрешение 226 px Разрешение 1130 px

Моделирование:

14

64

Алгоритм[6]

34Наш

алгоритм

15

Набор “Clean”, всего 44

(слабые искажения)

16

0

1

2

19

17

23

0 35

DataSymbol

DTK

[5]

*6+ (Авторская реализация)

*6+ (Наша реализация)

Наш алгоритм (включая *6+)

39

43

42

43

39

40

0 44

DataSymbol

DTK

[5]

*6+ (Авторская реализация)

*6+ (Наша реализация)

Наш алгоритм (включая *6+)

Набор “Hard”, всего 35

(сильные искажения)

Время распознавания

HTC Legend (OS Android)

Qualcomm MSM 7227 600MHz

PC (OS Windows)

Athlon 3500+ 2.21GHz

17

• Среди рассмотренных алгоритмов не нашлось такого, который бы полностью удовлетворил требованиям.

• Предложен новый алгоритм, способный работать в условиях достаточно сильных искажений (дефокусировка, малая частота дискретизации, яркостно-геометрическиеискажения, шумы)

• Алгоритм реализован и оптимизирован для возможности работы на мобильных устройствах.

• Экспериментально показано, что новый алгоритм дает наилучшие результаты по сравнению с исследованными аналогами.

• Реализовано мобильное приложение для сканирования штрих-кода EAN-13.

18

19

20

21

22

1. Локализация штрих-кода на изображении2. Одна сканирующая линия3. Поиск границ штрих-кода4. Сегментирование5. Сопоставление сегментов с моделью:

23

1-й шаг:

2-й шаг:

24

7-й шаг:

Функционал J стремится к минимуму:

25

До «исправления»:

После «исправления»:

26