第6回パターン認識(1)

画像情報工学（3年生後期） パターン認識とは？■ 画像中に存在する物体・物質のどれが何であるか

を識別・分類する手法■ 人間は知人の顔を見てすぐに誰であるか識別で

きるが、このような作業をコンピュータで行うことはまだ困難である

■ 実用化されているパターン認識の例

郵便番号の読みとり大量生産された製品の外観上の欠陥検査

監視カメラ指紋認証、虹彩認証

■ パターン認識の手法

特徴空間でのクラスタリング（識別）テンプレートマッチング�等

画素(x1, y1), (x2, y2)間の距離

ユークリッド距離 = (x1-x2)2+(y1-y2)2

マンハッタン距離 = | x1-x2 | + | y1-y2 |������

��������画素間の距離

2 √2 √5 2 √5 2 √2

√5 √2 1 √2 √5

2 1 0 1 2

√5 √2 1 √2 √5

2 √2 √5 2 √5 2 √2

4 3 2 3 4

3 2 1 2 3

2 1 0 1 2

3 2 1 2 3

4 3 2 3 4

ユークリッド距離 マンハッタン距離

2値画像に対する特徴量�面積 S ：連結成分内の画素数

周囲長 L ：チェインコードに従って算出された、連結成分の輪郭画素数

複雑度 E = L2/S��（円形度 R=1/E ）

∑∑=x y

yxfS ),(0 0 00 1 00 0 0

" ★7 0 1

6 2

5 4 3

チェインコードの例

練習問題(1)

0 0 0 0 0 0 0 0 0

0 1 0 0 0 0 0 0 0

0 1 1 0 0 0 0 0 0

0 1 1 1 0 0 0 0 0

0 1 1 1 1 0 0 0 0

0 1 1 1 1 1 0 0 0

0 1 1 1 1 1 1 0 0

0 1 1 1 1 1 1 1 0

0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 1 0 0 0 0 0

0 1 1 0 0 0 0

0 1 1 1 0 0 0

0 1 1 1 1 0 0

0 1 1 1 1 1 0

0 0 0 0 0 0 0

0 0 0 0 0

0 1 0 0 0

0 1 1 0 0

0 1 1 1 0

0 0 0 0 0

練習問題(2)

0 0 0 0 0 0 0 0 0

0 0 0 1 1 1 0 0 0

0 0 1 1 1 1 1 0 0

0 1 1 1 1 1 1 1 0

0 1 1 1 1 1 1 1 0

0 1 1 1 1 1 1 1 0

0 0 1 1 1 1 1 0 0

0 0 0 1 1 1 0 0 0

0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0

0 0 0 0 1 0 0 0 0

0 0 1 0 1 0 1 0 0

0 1 1 1 1 1 1 1 0

0 0 0 1 1 1 0 0 0

0 0 0 1 0 1 0 0 0

0 1 0 1 0 1 0 1 0

0 1 1 1 0 1 1 1 0

0 0 0 0 0 0 0 0 0

Euler数18世紀の数学者Eulerが発見した、図形の幾何的特徴を表す指標の一つ。簡単に計算可能でありながら、連続性が関わる様々な応用範囲がある。2次元図形の場合、連結成分数をC、孔数（穴の数）をHとすると、Euler数Eは

E=C-H

C=1H=4E= -3

C=1H=6E= -5

注）連結に関しては、4近傍を取るか8近傍を取るかによって状況が異なる。

Euler数の計算法�

0 0 00 1 10 0 0

FEESE ++−= )( 21

0 0 00 1 00 0 0

∑∑=x y

yxfS ),(

),1(),(1 yxfyxfEx y

+=∑∑

)1,(),(2 +=∑∑ yxfyxfEx y

)1,1()1,1()1,(),( +++++=∑∑ yxfyxfyxfyxfFx y

4近傍を取る場合

0 0 00 1 00 1 0 0 0 0

0 1 10 1 1

S=20, E1=13, E2=9, F=1

図形の凹凸性凸状(convex)図形

図形内の任意の2つの画素を直線で結んたとき、図形の外にその直線が通らない図形 凸状図形 凸でない（凹）図形

原図形 凸包図形 凸包と原図形の差分

高次モーメントと重心、分散�

€

Cx =

xf (x, y)y∑

x∑

f (x,y)y∑

x∑

=M10

M00

€

Cy =

yf (x, y)y∑

x∑

f (x,y)y∑

x∑

=M 01

M00

€

Vxx =

(x −Cx )2 f (x, y)

y∑

x∑

f (x, y)y∑

x∑

=M 20M00 − M10

2

M002

€

Vxy =

(x −Cx )( y−Cy ) f (x, y)y∑

x∑

f (x, y)y∑

x∑

=M11M00 − M01M10

M002

€

Vyy =

(y−Cx )2 f (x, y)

y∑

x∑

f (x,y)y∑

x∑

=M02M00 − M01

2

M002

),( yx CC重心

),,( yyxyxx VVV分散

∑∑=x y

qppq yxfyxM ),(

画像 f(x,y) に対する xのp次、yのq次モーメント

水平方向 への射影

64

12

8

垂直方向 への射影

∑=y

y yxfxproj ),()(

∑=x

x yxfyproj ),()(

)(yprojx

)(xprojy

射影変換による特徴抽出

L

)(yprojx

)(xprojy連結成分が1個の場合

練習問題(3)

250×100ピクセルの2値画像がある（背景黒、連結成分白） (a) 画像に含まれる各連結成分の個数を求めよ (b) 各連結成分の面積を求めよ (c) 孔を有する連結成分の有無を判定せよ (d) 孔を有する連結成分があれば、それを画像から消去せよ

練習問題(4)

(a) 各連結成分において、横の長さ／縦の長さ�の値が最も大きいものを選出せよ

(b) その連結成分のみを、赤に塗りつぶしたカラー画像を作成せよ

直線近似（ベクトル検出） 画像がどの方向に多く分布しているかbxy +θ= tan

),()tan(),( 2 yxfbxybEx y∑∑ −θ−=θ bxy +θ= tan

への直線近似

2乗誤差が最小（極小）になる点では、偏微分が0になる

0,0 =∂

∂=

θ∂

∂

bEE

€

tanθb

#

$ %

&

' ( =

M20 M10

M10 M00

#

$ %

&

' (

−1 M11

M01

#

$ %

&

' (

=1

M20M00 − M102

M00M11 −M01M10

−M10M11 + M20M01

#

$ %

&

' (

同様な方法で 曲線近似などもできる

大きさ、凹凸、複雑さ（形状を表す）

位置、向き（ベクトル・姿勢を表す）

特徴空間を利用した図形の識別

対象となる画像・図形

xxx xx

x

oooooo

class1

class2

class3△△△△△△

△△△△ △ △x xxx

oooooo

特徴量抽出

大きさ

複雑さ凹凸

特徴空間

特徴空間へ写像した時、どのクラスに分類されるか

特徴量解析の例（2次元）

複雑度E

tanθxxx x

x x

oooo

oo

C1

△

△

△

△ △△

△△

△△

△ △

xxx

x

oo

oo

o

o

C2

C3

△△△△△

△△

△△

△

△

xxx xx

xx

x

x

xxx xxx

xx

x

x

△△△△ △

△△△△ △

E = 17. 3tanθ= 20.1

E = 13. 9tanθ= 3.21

E = 64. 8tanθ= 17.2

E = 57. 3tanθ= 2.66

E = 37. 5tanθ= 14.4

入力特徴ベクトルに最も近いk個のプロトタイプを選択し、選択したプロトタイプの中で、属するプロトタイプが最も多いクラスを識別の結果とする

1C

x

△

2C

3Cx

プロトタイプ

x

○○

○○

xx

△

△ △

△

x

○○

x

x

k-NN法

xx

x

x

特徴ベクトルk=4

k=20

⎟⎟⎠

⎞⎜⎜⎝

⎛=

10tR

M

trixTransfarMa:trixRotationMa:

tR

Camera yc

xc

Xt

Yt

Zt

M

ZcYc

Xc

Image plane

Real world

Object

���������

(Xc, Yc, Zc, 1)T

= M(Xt, Yt, Zt, 1)T

マーカは必ずしも正面から撮影されない �→�どうやって正確な画像情報を認識するか？

2次元マーカとその応用(ARToolkit)•Augmented Reality (拡張現実感) アプリケーション構築用ライブラリ

•マーカが形成する平面と、マーカ内に描かれた図形情報を認識し、マーカが存在する空間（カメラ座標系）にグラフィックを重畳表示する

•カメラ(市販のUSBカメラでOK) •正方形のマーカ(紙に印刷したもの)

必要な機材

Hough変換

■ パラメータで表現できる図形を画像から検出するための手法■ 画像(xy座標)中の直線を次式で表すとする

■ xy空間からρθ空間への写像を考えた場合、点(x0, y0)はρθ空間における正弦波となり、この正弦波は xy空間において点(x0, y0)を通る全ての直線を表す

■ これから、 xy空間上で1本の直線上の点をρθ空間に写像した場合、 ρθ空間上の軌跡は1点で交わることになる

■ ρθ空間での交点から、 xy空間上での直線を推定する

x

y

ρ

θ(x0, y0)

点

直線

曲線

点

Hough変換の実用例

http://ct.radiology.uiowa.edu/~jiangm/courses/dip/html/node132.html

原画像

ρθ空間写像

エッジ抽出

検出結果

x’

y’y

x

Affine変換■ 行列演算によって、平行移動、回

転、左右反転、拡大、縮小等の座標変換による図形や形状の変形方式

■ 元の図形で直線上に並ぶ点は変換後も直線上に並び、平行線は変換後も平行線であるなど、幾何学的性質が保たれる