標準人臉進行匹配[36]。Kanad 的系統實現了快速、實時處理，是一個很大的進步。相比
之下，Baron 所做的工作較少為人所知，他先對圖像灰度進行歸一化處理，再用4 個掩
模(眼、鼻、嘴及眉毛以下的整個臉部)表示人臉，然后分別計算4 個掩模與數據庫中每
幅標準圖像的相應掩模之間的互相關系數，以此作為判別依據[37]。總的來說，這類方法
需要利用操作員的某些先驗知識，仍然擺脫不了人的干預。

第三階段是真正的自動識別階段。近年來，隨著高性能計算機的發展，人臉模式識
別方法有了較大的突破，目前已提出了多種機器全自動識別系統。根據人臉表征方式的
不同，可以將人臉自動識別方法大致分為三大類：基于幾何特征的識別方法、基于代數
特征的識別方法和基于連接機制的識別方法[9,13,23,26,31]。

在過去的幾年中，人臉識別方法得到了很大的發展。人臉識別的應用范圍非常廣泛，

-7 


東北大學博士學位論文第一章緒論

在金融商業領域、政府部門、公安部門、國家安全部門等領域中都有著廣闊的應用前景。
事實上，幾乎所有基于個人身份識別的設施及系統都在它的應用范圍之列。

國內關于人臉自動識別的研究始于80 年代[23]，我國許多高校和研究機構在圖像處
理和模式識別領域中有著很好的研究基礎，并積極開展了對包括人臉識別在內的基于人
體生物特征識別技術的基礎研究和應用開發工作，相信不久我國在這一研究領域的研究
和產品開發工作將能處于世界先進行列。

人臉識別技術的研究由于涉及眾多學科知識，因此難度相當大。另外，隨著種族的
不同，帶來了識別庫及識別算法的差異，這也給具體應用帶來困難，同時也給具體研發
部門帶來機遇，即國外已經開發成功的商用軟件在我國應用范圍有限，不大可能形成壟
斷，這為國產人臉識別系統占領市場留下了很大的發展空間。

綜上所述，人臉識別技術有著非常廣闊的應用前景，自動人臉識別系統在各種不同
領域中的應用必將對人們生活的各個方面產生深刻的影響。

1.2.2 人臉識別的研究內容
人臉自動識別的研究大致可以分為人臉檢測、人臉表征、人臉識別和表情分析等幾
個方面[23]。

1.2.2.1 人臉檢測
人臉檢測(Face Detection)就是從各種不同的場景中檢測出人臉的存在并確定其位置。
在某些情況下由于圖像(照片)的獲取環境是可以人為控制的(如身份證照片等)，因而人
臉的定位可以輕易地做到；但在大多數場合中由于場景較復雜，人臉的位置是預先不知
道的，因而首先必須確定場景中是否存在人臉，如果存在人臉，再確定其位置。臉部毛
發、化妝、光照、噪聲、面部傾斜和人臉大小變化以及各種各樣遮擋等因素會使人臉檢
測問題變得更為復雜。

1.2.2.2 人臉表征
人臉表征(Face Representation)就是采取某種表示方法表示檢測出的人臉和數據庫
中的已知人臉。通常的表示方法包括幾何特征(如歐式距離、曲率、角度等)、代數特征(如
矩陣特征向量)、固定特征模板、特征臉、云紋圖等。

1.2.2.3 人臉識別
人臉識別(Face Identification)就是將待識別的人臉與數據庫中的已知人臉比較，得出
相關信息。其過程是選擇適當的人臉表征方式與匹配策略。整個識別系統的構造與人臉
的表征方式密切相關。

1.2.2.4 表情分析
表情分析(Expression Analysis)就是對待識別人臉的表情(快樂、悲傷、恐懼、驚奇等) 
信息進行分析，并對其進行分類。到目前為止，由于該問題的復雜性，人們對表情分析
的研究還處于起步階段。Schlosberg[48]首先提出了表情描述的三個量化尺度：注意－拒

-8 


東北大學博士學位論文第一章緒論

絕(Attention-Rejection, A-R) 、高興－不高興(Pleasant-Unpleasant, P-U) 、活躍程度(Level of 
Activation)。如“輕視”、“厭煩”二種表情就有很高的“拒絕”值，而“憤怒”則有很
高的“不高興”值。Ekman 和Friesen[49]研究了六種基本表情(即高興、悲傷、驚訝、恐
懼、憤怒和惡心)，并系統地建立了上千幅不同的人臉表情圖像庫。在計算機圖形學(尤
其是計算機動畫)領域，人臉肌肉(解剖學)表情模型也得到了廣泛的研究。最近幾年，表
情分析引起了人們越來越大的興趣，并提出了一系列的人臉表情自動分析方法，主要包
括：⑴.. 跟蹤特征區域(眼、嘴、眉毛)及關鍵點的運動軌跡方法。例如Yaser Yacoob 根據

J. N. Bassili 和P. Ekman 等人的工作建立了“臉部動態字典”[38]，并以此描述為依據來
識別出人臉表情。⑵運用徑向基神經元網絡(Radial Basis Function Network，RBFN) 結構
的方法。Rosenblum[39]設計的系統在獲得特征區域運動方式上與Yaser Yacoob 類似，但
他在分析和解釋運動模式時，采用了經過6 種不同表情訓練后的RBF 網絡。
1.2.2.5 生理分類
生理分類(Physical Classification)就是對待識別人臉的生理特征進行分析，得出其年
齡、性別等相關信息。顯然，完成這一任務需要大量的知識，并且在通常情況下是非常
困難和復雜的。

人臉識別系統的基本框架如圖1.2 所示。首先，由傳感器(如CCD 攝像機)捕獲人臉
圖像，接著用預處理提高圖像的品質，然后根據人臉檢測來定位人臉并將人臉圖像設置
成預先定義的尺寸。特征提取用于抽取有效特征以降低原模式空間的維數，分類器則根
據特征做出決策分類，最后，利用特征及分類器信息給出識別結果。

傳感器CCD 


預處理
分類器設計
人臉識別結果
特征提取
圖1.2 人臉識別系統
Fig.1.2 System of face recognition 

1.3 人臉檢測方法
目前，人臉自動檢測與識別是模式識別領域中極其活躍的一個研究方向。檢測是把
人臉(或某個面部器官)的全體作為一類模式，著重研究人臉的共性。識別則是把人臉個
體作為一類模式，著重研究人臉的個性。對于一個完整的全自動人臉識別系統，二者都
是不可或缺的重要組成部分[24] 。

人臉檢測(face detection)[40-42] 的對象從廣義上講既包括整張人臉，也包括某個面部器
官，如眼睛、嘴巴、鼻子、眉毛等。檢測的內容除了從一幅背景圖像中將被檢測對象分
割出來以外，還包括確定其位置、大小、方向甚至形狀等[42] 。人臉檢測定義為：任意給
定一幅圖像或者一組圖像序列，人臉檢測的目的是判定該圖像或圖像序列中是否存在人
臉。如果存在，則確定其位置和空間分布[42] 。根據這個定義可知，人臉檢測可分為兩種
情況：第一種情況是在靜止圖像中判斷是否存在人臉，若存在，則確定人臉位置；第二

-9 


東北大學博士學位論文第一章緒論

種情況是在視頻圖像序列中判斷是否存在人臉，若存在，則動態地跟蹤人臉。顯然，動
態人臉檢測要比靜態人臉檢測困難。人臉檢測作為人臉信息處理中的一項關鍵技術，近
年來成為模式識別與計算機視覺領域內一項受到普遍重視、研究十分活躍的課題。

1.3.1 基于知識的方法
基于知識的方法(Knowledge-Based Methods) 是基于規則的人臉檢測方法。規則來源
于研究者關于人臉的先驗知識。一般比較容易提出簡單的規則來描述人臉特征和它們的
相互關系。例如，在一幅圖像中出現的人臉，通常具有互相對稱的兩只眼睛、一個鼻子
和一張嘴。特征之間的相互關系可以通過它們的相對距離和位置來描述。在輸入圖像中
首先提取面部特征，確定基于編碼規則的人臉候選區域。

這種方法存在的問題是很難將人類知識轉換為明確定義的規則。如果規則是詳細的
(嚴格的)，由于不能通過所有的規則檢測可能失敗。如果規則太概括(通用)，可能會有
較高的錯誤接受率。此外，很難將這種方法擴展到在不同的位姿下檢測人臉，因為列舉
所有的情況是一項很困難的工作。

Yang和Huang使用分層的基于知識的人臉檢測方法[43]。他們的系統由3級規則組成。
在最高級，通過掃描輸入圖像的窗口和應用每個位置的規則集找到所有可能的人臉候選
區。較高級的規則通常描述人臉看起來象什么，而較低級的規則依賴于面部特征的細節。
多分辨率的分層圖像通過平均和二次采樣生成，如圖1.3 所示。

編碼規則通常在較低的分辨率下確定人臉的候選區，包括人臉的中心部分(圖1.4 中
較淺的陰影部分)，其中有4個基本上相同的灰度單元。


圖1.3 Yang 和Huang 的檢測方
法
Fig.1.3 The detection method of Yang and Huang


在人臉的上層周圍部分具有相同的灰度。人臉的中心部分和上層周圍的灰度不同。

最低分辨率的(Lever 1)圖像用于搜索人臉的候選區并在后面較
精細的分辨率下做進一步處理。在Lever 2完成人臉候選區的局
部直方圖均衡化，并進行邊緣檢測。繼續存在的候選區在Lever 
3用其他的人臉特征如眼睛、嘴等對應的規則進行檢查。這種
方法的特點是用從粗到細的策略來減少所需要的計算。雖然它圖1.4 人臉候選區
沒有很高的檢測率，但采用多分辨率分層的思想和指導搜索的Fig.1.4 Face candidate 
規則已經用到后面的人臉檢測工作中[44]。

-10 


東北大學博士學位論文第一章緒論

Kotropoulos和Pitas[44]提出了一種類似于[43]的基于規則的定位方法。用投影方法確定
面部特征，I(x，y)是m×n圖像中(x，y)位置的灰度值，圖像的水平和垂直投影定義為

nm 

.. 
11=y=x 
它對應于頭部的左右兩邊，獲得輸入圖像的水平輪廓。類似地，獲得垂直的輪廓，局部
最小點的確定用于定位嘴唇、鼻尖和眼睛。這些檢測到的特征組成了面部候選區。
李華勝等人提出通過區域增長從人臉圖像中分割出人臉，再利用邊緣檢測、Hough 
變換、模板匹配和方差投影技術快速有效地提取出人臉面部器官如眼睛、鼻子和嘴巴等
[45]特征。實驗結果表明其所采用的方法具有較高的準確率(95.5%)和光照魯棒性。
[46]姜軍等人提出了一種基于知識的快速人臉檢測方法。采用符合人臉生理結構特征
的人臉鑲嵌圖模型。在分析了足夠多的人臉圖像樣本基礎上，針對人臉圖像的灰度和邊
緣信息，建立了一種較為完備的知識庫；為加快檢測速度，采用了多級檢測步驟。實驗
結果表明，其方法具有較強的魯棒性，能夠很好地解決復雜背景下的多人臉檢測問題。
[47]盧春雨等人對鑲嵌圖方法進行了改進，按照人臉器官的分布將人臉劃分為33×
個馬賽克塊，在檢測中自適應地調整各塊的大小，使用一組基于各塊灰度和梯度統計特
征的知識規則檢驗該區域是否為人臉，取得了較好的實驗結果。
基于特征的方法(Feature-Based Methods) 不僅可以從已有的面部特征而且可以從它
們的幾何關系進行人臉檢測。和基于知識的方法相反，它是尋找人臉的不變特征用于人
臉檢測。人們已經提出了許多先檢測人臉面部特征，后推斷人臉是否存在的方法。面部
特征如眉毛、眼睛、鼻子、嘴和發際等，一般利用邊緣檢測器提取。根據提取的特征，
建立統計模型描述特征之間的關系并確定存在的人臉。基于特征的算法存在的問題是，
由于光照、噪聲和遮擋等使圖像特征被嚴重地破壞，人臉的特征邊界被弱化，陰影可能
引起很強的邊緣，而這些邊緣可能使得算法難以使用。
[48]Sirohey提出了從復雜的背景中分割人臉進行人臉識別的定位方法。它使用邊緣圖
[49]域和背景間的邊界。Graf等人提出定位灰度圖像的面部特征和人臉的檢測方法。在濾
[50]出一種基于局部特征檢測器和任意圖匹配的概率方法，在復雜場景中定位人臉。其目

1.3.2 基于特征的方法
和啟發式算法來去除和組織邊緣，而只保存一個邊緣輪廓。然后用一個橢圓擬合頭部區

波以后，用形態學的方法增強具有高亮度、含有某些形狀(如眼睛)的區域。Leung等人提

標是找到確定的面部特征排列。典型的人臉用5個特征(2只眼睛、2個鼻孔和鼻子與嘴唇
的連接處)來描述。Yow和Cipolla提出了一種基于特征的方法[51-53] 。在第一階段，應用了
二階微分Gaussian濾波器，在濾波器響應的局部最大點檢測感興趣的點，指出人臉特征
可能的位置。第二階段，檢查感興趣點周圍的邊緣并將它們組成區域。這種方法的優點
是可以在不同的方向和位姿上檢測人臉[53]。Han等人提出了一種基于形態學的技術進行
眼部分割進而實現人臉檢測的方法[54]。他們認為眼睛和眼眉是人臉最突出和穩定的特

HI (x) 

I (x, y) 和

VI(y) 

I (x, y) 

。通過在HI中的急劇變化檢測到兩個局部最小點，

=


=


-11 


東北大學博士學位論文第一章緒論

征，特別適合人臉檢測。

彭進業等人提出了一種在圖像的反對稱雙正交小波分解數據域中，實現多尺度對稱
變換的方法，并將它應用于臉部圖像中主要特征點的定位[55]。王延江等人提出了一種快
速的彩色圖像中復雜背景下人臉檢測方法[56]。其方法首先計算對彩色圖像中與人的膚色
相似的象素進行聚類和區域分割。然后利用小波分解對每一個候選區域進行人臉特征分
析，如所檢測到的區域特征分布與某一預先定義的人臉模型相似，則確認該區域代表人
臉。

在人臉檢測和手的跟蹤等許多應用中，已經使用了人類的皮膚顏色作為特征[57-63] 。
雖然不同的人有不同的皮膚顏色，研究已經表明主要的不同在于它們的亮度而不是它們
的色度。標注皮膚象素