浙江大学硕士学位论文答辩报告

基于信息度量学习约束局部模型的人脸定位研究

指导老师：张宏鑫 副教授作 者：程允胜答辩日期： 2012年 x 月 x日

报告大纲

实验结果以及展望4

绪论1

约束局部模型（ CLM ）2

信息度量学习 CLM 模型3

致谢5

绪论——研究目标

准确自动定位出静态图像以及视频中可变形结构 的外形结构（特征点定位）；本文主要讨论人脸特征点定位

绪论 ---研究意义

• 人脸识别（特别是单图人脸识别） • 图像修复

• 图像可变形目标替换（ PS）

• 三维构建

约束局部模型（ constrained local models）• 约束局部模型通过利用局部模型在特征点附近搜索确定每个特征点位置，并结合形状拟合自动准确对图像进行校正。

• CLM类似于 snakes 模型，不同的是目标形状是受约束的形状。

• CLM 主要组成：形状模型（模型受约束的形状）、局部外观模型、拟合优化策略

约束局部模型—形状模型

物体的形状由特征点以及特征点之间的连通性表示。

特征点选择： 1 、准确描述物体结构 2 、特征点位置明确可靠

约束局部模型—形状模型 PCA分析• 物体的形状 可以用 2n 维向量 x 表示。• PCA 分析以后，形状表示为

其中 平均形状， P 特征向量矩阵， b 模型参数。• PCA 分析作用： 1 、降维 2 、去噪声信息 3 、约束形状

x x Pb

x

约束局部模型—形状模型 PCA分析

• 一般的，当 在范围 之内，可以约束模拟出来的形状是有效的形状 ， 特征值

ib 3

i

i

形状模型的主要模型

约束局部模型——局部外观模型

• 局部模型主要有两部分组成：局部外观信息提取 、局部分类器 。

• 外观提取就是准确全面而且概括性的定义每个特征点周围的特征 。

• 局部分类器就是代价函数，评价当前特征点信息与模板信息的匹配度。

约束局部模型——局部外观信息提取

• CLM 局部模型局部特征信息提取算法比较常用的有一维 patch 二维 patch 。

约束局部模型——局部分类器

• 一个简单分类器 ，曼哈顿距离

• 响应值越大匹配度越小。

1( ) ( ) ( )s s g sf g g g S g g

约束局部模型——拟合优化

• 通过局部模型，我们获得当前形状每个特征点周围的匹配概率

• 有了每个特征点的响应曲面以后，便可以进行拟合获得形状参数

( | , )ip l aligned I x

p

1arg min ( | , ( ))ni ip l aligned I

p

p x p p

约束局部模型—— CLM 搜索拟合算法

• CLM 搜索拟合算法• 输入初始的特征点位置信息。• 重复：

1 、对每一特征点，利用局部检测器对特征点周围进行搜索，算出相应的响应值，获得每个特征点周围的响应曲面。

2 、根据形状模型拟合当前的形状，更新相应的模型参数以及下一步迭代的特征点位置。

• 直到收敛• 收敛的定义是每两次迭代之间，模型的形状参数

或者特征点位置变化小于一定的阈值。

信息度量学习 CLM模型—— CLM的发展• 局部模型：特征提取，主要包括 local pattern patch ， gabor 滤波器等。 局部分类器 , 有 SVM,

adaboost ， PCA ， KPCA 等。• 拟合优化： ASM ， COF 。

CLM发展—— PCA局部模型

• 给定某个特征点局部外观特征 ，相应的PCA 分析表示为：

• 代价函数为

g

s g g Gb

2

2( ) sf g g g

CLM 的发展——ＡＳＭ，ＣＯＦ

• ＡＳＭ可以表示为最小二乘问题

等价于• ＣＯＦ凸二次函数拟合响应曲面

2

1

( )n

i i ii

Q w

p x

( | )i i iw p l aligned x2( | ) ( ; , )p l aligned N

i i i x x

( )( )ci

i Ti i i

x

xx

x x

ci

ii

x

xx

x

( | ) ( ; , )i i ip l aligned N x x

ＣＬＭ的发展——ＣＬＭ的缺陷

• ＣＬＭ模型有两大缺陷：多极小值模型以及极小值不在期望位置。

• 原因：局部特征信息结构有限；局部分类器只考虑正确点上的信息没有考虑附近的信息。

信息度量学习 CLM—— 代价函数一般式

• 一般的，局部模型的响应函数（代价函数）都可以表示为：

其中 表示位于图像 I 坐标 的响应值， 表示位于图像坐标处的外观特征信息

（如二维 patch ）。 A 是目标矩阵，在这里称为映射矩阵。

( , ) ( , ) ( , )Tf W WI x I x A I x

( , )f I x x

( , )W I x

信息度量学习 CLM—— 代价函数一般式

• 在基于协方差局部模型中，

• 在基于 PCA 模型的局部模型中

1( ) ( ) ( )gf g g g S g g

2

2( ) sf g g g

2

2( ) ( ) ( )( )T T

sf g g g g g I G G g g

信息度量学习 CLM—— 代价函数优化目标函数• 优化目标函数标准：1 、响应曲面应该具备全局极小值点是唯一

的极小值点，而且该极小值点位于特征点期望的位置上。

2 、每个特征点的优化目标函数准确地模型、约束特征点外观信息分布。

3 、优化目标函数应该兼顾不同样本之间的差异性

信息度量学习 CLM—— 代价函数优化目标函数• 基于 PCA局部模型统计响应曲面优化目标函数

表示 PCA 局部模型的平均响应曲面 • CLM代价函数优化目标是希望每一样本的响应

曲面与平均响应曲面一样。

其中 表示位置处 的代价函数响应值与平均响应曲面的值之间允许的误差。在本文， 表示处 PCA局部模型该处响应曲面的标准差

( , ) ( , )( ,( , )) ( ,( , ))Tx y i i x yW x y W x y r I A I st

( , ) ( , )( , )

arg min ( ( ,( , )) ( ( ,( , )))n

Tx y i x y i

i x y

W x y W x y A

r I A r I

r

( , )x yst ( , )x y

( , )x yst

信息度量学习 CLM—— 代价函数优化目标函数

人脸部分特征点的平均响应曲面

信息度量学习 CLM—— 信息度量学习• 给定相似元素集合 S 以及不相似的元素集合 D ，信息度量学

习问题可以表示为：

是 Bregman矩阵散度，主要衡量两个矩阵的

相似性， 表示 A 属于正定矩阵。• 信息度量学习优点：在已有的映射矩阵做监督学习

，保持了已有的映射矩阵的优点加上任意空间上的距离约束。

dmin ( , )

. . 0

( - ) ( - ) ( , ) S

( - ) ( - ) ( , )

Ti j i j i j

Ti j i j i j

D

s t

u

D

0A A

A

x x A x x x x

x x A x x x x

d ( , )D 0A A

0A

信息度量学习 CLM—— 代价函数的信息度量学习优化

• CLM 模型的距离定义

( ) ( ) if( )

( ) ( ) if( ) ( , )

| ( ) ( ) ( ) ( ) |

Ti i j

Tj j i

i j T Tj j i i

d

x g A x g x g

x g A x g x gx x

x g A x g x g A x g

0 if( ) j i

x x

信息度量学习 CLM—— 代价函数的信息度量学习优化

• CLM 模型归约为信息度量学习问题

• 信息度量学习优化在 PCA 代价函数基础上进行监督学习，保持了 PCA 代价函数的优点，克服了 PCA 局部模型在处理局极小值点上的不足

0

d

( ) ( )

( ) ( )

( )

min ( , )

. . 0

( - ) ( - ) if( )

( - ) ( - ) if( )

T

Ti j i j c i c i j

Ti j i j c i c i j

D

s t

st

st

0

A I G G

A A

A

x x A x x r x g

x x A x x r x g

信息度量学习 CLM

信息度量学习 CLM—— 方法比较

PCA itml

代价函数 经验 明确优化目标 无 基于 PCA

统计响应曲面

考虑周围信息

无 有

结果 好 很好

实验结果——实验方法

• 图库：数据库 colorferet 正脸图像， 300张做训练样本， 400张做测试样本。

• 评价标准：平均误差 以及归一化平均误差

归一化平均误差首先将所有图归一化到同一分辨率。

1 1

,

1 1( , )

( ) ( ) ( )

n N

ij iji j

Tij ij ij ij ij ij

E dist S Mn N

dist S M S M S M

实验结果——结果比较

0 10 20 30 40 50 60 700

1

2

3

4

5

6

人 脸 特 征 点

归一

化平

均误

差

PCA Model

ITML Model

0-26号特征点这些特征点主要是轮廓以及眉毛处的特征点，这些特征点由于受到背景头发等因素的干扰，特征点附近的外观特征样本之间差异极大十分难处理。我们的方法在处理局部外观变化大的情况下远远优于 PCA 局部模型方法。

实验结果——结果比较

平均误差（像素）

归一化平均误差（像素）

PCA 局部模型

5.42 2.37

Itml 局部模型 2.41 1.19

不管是平均误差还是归一化平均误差， ITML 局部模型的结果都比基于 PCA 局部模型好很多。数据表明，我们的实现方法比基于 PCA 局部模型实现方法在特征点定位上精确很多。

实验结果

总结

• 提出代价函数一般式

• 利用 PCA 局部模型响应曲面提出优化目标函数

• 提出用信息度量学习算法进行优化

• 优化过程考虑周围信息克服局部极小值点

展望— - 不足及展望

• 研究不足 1 、数据维度高，信息冗余。 2 、数据收敛条件苛刻，收敛点不好把握。 3 、数据过度拟合（ over fitting ）。

• 研究展望 1 、特征提取优化。 2 、局部模型非线性优化。

致谢

感谢辛勤工作的答辩组老师 !

感谢张老师的指导；

感谢曾凡禹同学的帮助；

感谢同学、朋友的关心鼓励。

未来的路，还有待继续探索……

浙江大学硕士学位论文答辩报告

敬请各位老师批评指正！