利用 AAM进行 3D人脸的快速自动建模

报告人：朱 珠

2011 年 6 月 2日

参考文献• 范小九，彭　强， Jim X Chen2; 利用主动外

观模型进行 3D 人脸的快速自动建模 ; 计算机辅助设计与图形学学报 ;2009 年第 5 期

目标

• 以实时应用和视频传输为目标 , 本文将人脸特征定位方法与 MPEG-4 兼容的CANDIDE-3 线框模型相结合 , 完成 3D 个性化人脸模型的构建和表情模拟 .

• 实验结果证明 , 该方法真实感较强 , 构造速度较快 , 适合于对图像质量要求不高而实时性要求较高的视频应用领域 .

改进的 AAM人脸特征点快速定位方法• 本文从初始位置和模型实例两方面对传统 AAM 算法拟合

过程进行改善 .• 首先采用 Adaboost 统计模型算法对图像中人脸特征 ( 眼

睛、鼻子、嘴巴等 ) 进行预检测 ;• 然后充分利用 YCbCr 色彩空间中人脸肤色特性对无法检

测或检测不完全的图像进行特征提取 ;• 最后根据特征区域计算鼻尖坐标和人脸平面偏转角及侧深

度偏转角 . 鼻尖坐标和平面偏转角组合用于校正中心位置参数 , 侧深度偏转角则用于选择模型实例 .

• 本文实验采用丹麦科技大学信息控制和数学建模(informatics and mathematical modelling,IMM) 标准人脸库中后 28 人 , 共 168 幅静态图像构建 AAM.

• 最终拟合结果比传统 AAM 算法的准确率提高约 43%, 时间消耗降低约 62%.

4

改进的 AAM 人脸特征点快速定位过程及结果

5

AdaBoost算法原理 • AdaBoost 算法针对不同的训练集训练同一个基本分类器（弱分类器）

，然后把这些在不同训练集上得到的分类器集合起来，构成一个更强的最终的分类器（强分类器）。 AdaBoost 算法中不同的训练集是通过调整每个样本对应的权重实现的。

• 最开始的时候，每个样本对应的权重是相同的，在此样本分布下训练出一个基本分类器 h1(x) 。对于 h1(x) 错分的样本，则增加其对应样本的权重；而对于正确分类的样本，则降低其权重。这样可以使得错分的样本突出出来，并得到一个新的样本分布。

• 同时，根据错分的情况赋予 h1(x) 一个权重，表示该基本分类器的重要程度，错分得越少权重越大。在新的样本分布下，再次对基本分类器进行训练，得到基本分类器 h2(x) 及其权重。

• 依次类推，经过 T 次这样的循环，就得到了 T 个基本分类器，以及 T 个对应的权重。最后把这 T 个基本分类器按一定权重累加起来，就得到了最终所期望的强分类器。

6

• AdaBoost 算法的具体描述如下：• 假定 X 表示样本空间， Y 表示样本类别标识

集合，假设是二值分类问题，这里限定 Y={-1,+1} 。令 S={(Xi,yi)|i=1,2,…,m} 为样本训练集，其中 Xi X∈ ， yi Y∈ 。

1 ） 初始化 m 个样本的权值，假设样本分布 Dt 为均 匀分布： Dt(i)=1/m ， Dt(i) 表示在第 t轮迭代中赋给样本 (xi,yi) 的权值。

2 ） 令 T 表示迭代的次数。7

3 ） For t=1 to T do

• 根据样本分布 Dt ，通过对训练集 S 进行抽样（有回放）产生训练集 St 。

• 在训练集 St 上训练分类器 ht 。• 用分类器 ht 对原训练集 S 中的所有样本分类。• 得到本轮的分类器 ht： X →Y ，并且有误差 εt=Pri-Di[ht(xi)

≠yi] 。• 令 αt= （ 1/2 ） ln[(1-εt)/ εt] 。• 更新每个样本的权值

• 其中， Zt 是一个正规因子，用来确保 ΣiDt+1(i)=1 。• end for 8

4 ）最终的预测输出为：

9

4 ）最终的预测输出为：

3D位置恢复和形状匹配

3D位置恢复• 3D 位置恢复主要讨论图中 Roll,Yaw 和 Pitch3

个旋转参数的快速计算问题

11

• 点从左到右分别为 P,Q,R 和 S,左右嘴角点分别为 M 和 N, 相应坐标分别为 (Px,Py),(Qx,Qy),(Rx,Ry),(Sx,Sy),(Mx,My) 和 (Nx,Ny),

• 则 θRoll-Eye_Out=arctan((Sy-Py)/(Sx-Px)), 从而θRoll= (θRoll-Eye_Out+θRoll-Eye_In+θRoll-Mouth)/3 (1)

12

• 如图所示为 Yaw旋转前后的人脸及鼻子处示意图 , 定义鼻下点为 O 、中线与眼角连线交点为 K 以及中线与嘴角连线交点为 L.旋转使原本对称的鼻下点和左右内外眼角点及嘴角点夹角值发生了明显变化 , 本文取两者之差的平均值 θYaw-Eye_In,θYaw-Eye_Out 和θYaw-Mouth 参与 Yaw旋转恢复参数 θYaw 的计算 ,即

13

• θYaw-Eye_Out= (| SOK- POK |)/2 =(|∠ ∠arctan((Ox-Px)/(Py-Oy)) - arctan((Sx-Ox)/(Py-Oy)) |)/2;

• 同理 ,θYaw-Eye_In=(| ROK- QOK|)/2, θ∠ ∠ Yaw-

Mouth=(| NOL- MOL|)/2.∠ ∠

14

• 同时 , 鼻子部分因脸部 Yaw旋转也产生一定的侧深度角度 θYaw-Nose, 表现在水平切面图上则是经过鼻下点的垂直直线和原始中轴线之间产生距离 d. 设水平切面图为近似圆形 ,r 为半径 (r值取鼻子处人脸轮廓宽度的一半 , 即 r=s/2), 则

• θYaw-Nose=arcsin(2×(d/s)),

• θYaw= (θYaw-Eye_Out+θYaw-Eye_In+

θYaw-Mouth+θYaw-Nose)/4 (2)

• 如图所示为 Pitch旋转前后及旋转后水平切面图和侧视图变化情况 .

• Pitch旋转前 A,O 和 Q3 个点处在同一条直线上 .旋转后鼻下点 O 则因投影位置具有一定深度而不再与 AQ处于同一直线 ,且形成水平切面角度 β, 并对应侧视图中角度 β1.另外 ,侧视图椭圆中左外眼角 P 和左嘴角 M 及 AQ中心 T 形成三角形 , 设 s 为鼻子处人脸轮廓宽度 ,S 为△ PMT 的面积 , , 和 分别为三角形 3条边的边长 ,Tx,Ty,Px,Py,Mx 和My 分别为对应点的横纵坐标

16

PT MT PM

于是 Pitch旋转恢复参数 θPitch= (|β1-β2|)/2 (3)

17

• 其中• β1=arcsin(2×(c/s)),

• β1+β2=arcsin((2×S)/(PT×MT));

• PT = (Tx-Px)2+(Ty-Py)2,

• S = （（ PT+MT+PM ） /2× （ MT+PM-PT ） /2×（ PT+MT-PM ） /2× （ PT+PM-MT ） /2 ） 1/2;

• MT 和 PM 与 PT 计算方法相同 .• 根据式 (1)~(3) 得到的 3D 位置恢复参数即可

18

3D 形状匹配

• 3D 形状匹配主要考虑通过整体轮廓的全局调整和感兴趣区域的局部调整 , 实现输入的人脸图像和 3D 线框模型在形状上的对应 .本文依据仿射变换计算全局的缩放和平移参数 .

• 假设图像左右内眉角的特征点分别为 P1 和Q1, 下巴处为 N1, 鼻下点为 O1, 通过 O1 点作 P1Q1 的垂线和 P1Q1 相交 ,交点 M1 为眉心点 , 两外眼角分别为 A1 和 B1, 两鬓角分别为 C1 和 D1,

• 同时 , 设模型相应的特征点分别为P2,Q2,O2,M2,A2,B2,C2 和 D2. 利用两眼角和鬓角距离比值可得 Pitch 方向仿射变换系数ηPitch1 和 ηPitch2; 利用眉心和鼻下点以及下巴和鼻下点距离比值可得 Yaw 方向仿射变换系数 ηYaw1 和 ηYaw2. 为减小误差 , 取两者平均值作为各自方向的缩放参数 , 并将 Pitch 和Yaw 方向缩放系数的平均值作为 Roll 方向缩放系数 ,即

• ηPitch= (ηPitch1+ηPitch2)/2,

• ηYaw= (ηYaw1+ηYaw2)/2,

• ηRoll= (ηPitch+ηYaw)/2.

• 另外 , 将眉心点、鼻下点和嘴巴中心点作为参考点加以变换 , 取平均值作为全局平移系数 .

实验结果

谢谢！