一種基于背景模型的運動目標檢測與跟蹤算法
一種基于背景模型的運動目標檢測與跟蹤算法
劉亞艾海舟徐光佑
（清華大學計算機科學與技術系，智能技術與系統國家重點實驗室，北京 100084） 
摘要
本文提出了一種靜止攝像機條件下的運動目標檢測與跟蹤算法。它以一種改進的自適應
混合高斯模型為背景更新方法，用連通區檢測算法分割出前景目標， 以Kalman 濾波為運動
模型實現對運動目標的連續跟蹤。在目標跟蹤時，該算法針對目標遮擋引起的各種可能情況
進行了分析， 引入了對運動目標的可靠性度量， 增強了目標跟蹤的穩定性和可靠性。在對多
個室外視頻序列的實驗中， 該算法顯示了良好的性能，說明它對于各種外部因素的影響， 如
光照變化、陰影、目標遮擋等，具有很強的適應能力。
關鍵詞
背景模型，混合高斯模型，Kalman 濾波，運動目標檢測與跟蹤
1 引言
視覺監視是指在一個繁忙環境中對人和車輛等進行實時的觀察，并給出對它們行為和動
作的描述。這一技術包括了運動目標的檢測、跟蹤、目標分類和行為理解等方面，涉及到計
算機視覺、模式識別和人工智能領域的許多核心課題，是一個具有挑戰性的困難問題。近年
來隨著集成電路和計算機技術的迅猛發展，視覺監視系統所要求的硬件設備成本大大降低， 
因此它獲得了日益廣泛的研究與應用。許多關于視覺監視的大規模研究項目已經在美國、歐
洲和日本展開，同時它也成為許多國際學術會議關注的重要主題。已有多篇論著詳細介紹了
針對不同應用條件的視覺監視系統。Wren 等的Pfinder 是一個利用顏色和形狀特征對大視角
范圍內的人進行跟蹤的實時系統[1]。Olson 等介紹了一種更通用的運動物體檢測和事件識別
系統[2]。它通過檢測幀間圖像變化來發現運動物體，在跟蹤中上使用了一階預測和最近鄰
匹配技術。Haritaoglu 等的W4 是一個可以在室外對人進行實時檢測和跟蹤的視覺監視系統
[3]。它將外形分析與跟蹤技術相結合來跟蹤人體各個部分的位置并為人的外形建立模型。
Collins 等介紹了由CMU 和Sarnoff 公司合作研究的一種視覺監視系統[4]。它使用多個相互
協作的攝像機在復雜環境里對人和車進行連續的跟蹤，并對目標類別和行為進行分析。
運動目標檢測與跟蹤處于整個視覺監視系統的最底層，是各種后續高級處理如目標分
類、行為理解等的基礎。運動目標檢測系指從視頻流中實時提取目標，一般是確定目標所在
區域和顏色特征等。目標檢測的結果是一種“ 靜態”目標—— 前景目標， 由一些靜態特征所
描述。運動目標跟蹤則指對目標進行連續的跟蹤以確定其運動軌跡。受跟蹤的目標是一種“動
態”目標—— 運動目標， 與前景目標相比， 描述它的特征中多了動態特征（ 如運動參數等）。
針對靜止攝像機的情況，本文的運動目標檢測與跟蹤算法流程如圖1 所示。我們通過為
靜止背景建模來檢測前景點。具體的背景模型以Stauffer 等提出的自適應混合高斯模型[5] 
為藍本，并對其作了部分改進以更好地處理實際背景發生變化的情形。算法中采用一種可靠
的連通區域檢測算法完成前景目標的分割。目標跟蹤時則通過匹配目標的位置、大小、形狀
和顏色等特征，建立運動目標與前景目標間的對應關系。算法中考慮了跟蹤中多個目標相互
遮擋的問題，分析了幾種可能結果并分別加以處理。我們還為運動目標引入了可靠性度量以
使目標跟蹤過程更加穩定和可靠。
第1 頁

一種基于背景模型的運動目標檢測與跟蹤算法
輸入視頻
背景模型目標分割目標跟蹤
前景點集前景目標運動目標
圖1運動目標檢測與跟蹤處理流程
2 背景模型
視覺監視的第一步工作是將前景目標所在的區域從背景中分割提取出來即完成前景和
背景的分離。這一工作一般有三種實現方法：背景消減、幀間運動分析和光流計算。后兩種
方法都可以用于運動攝像機的情形，對動態環境的適應能力比較強但幀間運動分析的結果
精度不高，難以獲得目標所在區域的精確描述[6]；光流計算的復雜度則非常高，難以符合
視覺監視系統實時處理的要求[7]。背景消減適用于攝像機靜止的情形。它為靜止背景建立
背景模型，通過將當前圖像幀和背景模型進行比較，確定出亮度變化較大的區域，即認為是
前景區域[1][3]。這種方法的計算速度很快，可以獲得關于運動目標區域的完整精確的描述，
但對場景中光照條件、大面積運動和噪聲比較敏感在實際應用中需采用一定的算法進行背
景模型的動態更新，以適應環境的變化。出于處理速度和算法性能及應用場合的考慮，本文
和大部分視覺監視系統一樣，選擇了建立背景模型作為檢測前景區域的方法。
按照所處理背景的自身特性，背景模型可分為單模態和多模態兩種。前者在每個背景點
上的顏色分布比較集中，可以用單個概率分布模型來描述（即只有一個模態），后者的分布
則比較分散，需要多個分布模型來共同描述（具有多個模態）。自然界中的許多景物和很多
人造物體，如水面的波紋、搖擺的樹枝、飄揚的旗幟、監視器熒屏等，都呈現出多模態的特
性[5]。最常用的描述背景點顏色分布的概率分布是高斯分布（正態分布），下面就單模態和
多模態兩種情形下的背景模型分別加以說明和討論。
為敘述方便，我們用η(x, μ, Σ) 來表示均值為μ 、協方差矩陣為Σ 的高斯分布的概率密
度函數。由于背景模型中對各個圖像點的處理是完全獨立的，所以若不作特殊說明，本文所
有關于背景模型的描述都系針對同一圖像點位置而言。
2.1 單高斯分布背景模型
單高斯分布背景模型[4]適用于單模態背景情形，它為每個圖像點的顏色分布建立了用
單個高斯分布表示的模型η(x,μt , Σt ) ，其中下標t 表示時間。設圖像點的當前顏色度量為
Xt ，若η( Xt ,μt , Σt ) ≤ Tp （這里Tp 為概率閾值），則該點被判定為前景點，否則為背景點
（這時又稱Xt 與η(x,μt , Σt ) 相匹配）。在實際應用中，可以用等價的閾值替代概率閾值。
如記dt = Xt .μt ，則可以根據dtT Σt 
.1dt 的值設置相應的前景檢測閾值。在常見的一維情
形中，以σt 表示均方差，則常根據dt / σt 的取值設置前景檢測閾值：若dt / σt > T ，則該
點被判定為前景點，否則為背景點。
單高斯分布背景模型的更新即指各圖像點高斯分布參數的更新。引入一表示更新快慢的
常數——更新率α ，則該點高斯分布參數的更新可表示為
) .
μ = (1. 
μ
α +α. d (1)
t +1tt 
第2 頁

一種基于背景模型的運動目標檢測與跟蹤算法
α
Σ t + 1= (1.α ) . .+Σ dtdtT (2)
t 
2.2 多高斯分布背景模型
多模態背景的情形則需要用多個分布來共同描述一個圖像點上的顏色分布。Stauffer 等
[5]提出了一種自適應混合高斯模型，對每個圖像點采用了多個高斯模型的混合表示。設用
來描述每個點顏色分布的高斯分布共有K 個，分別記為η (x ,μ ,, Σ it ) ， i = ,...,2,1 K 。各
it , 
. 1/ 2
1 ）和優先級it 
Σ
高斯分布分別具有不同的權值w it（
,
∑ 
i 
w 
,
it
= 
pw
= 
，它們總是按
i 
,
it
, 
照優先級從高到低的次序排序。取定適當的背景權值部分和閾值，只有在此閾值之內的前若
干個分布才被認為是背景分布，其它則是前景分布。在檢測前景點時按照優先級次序將Xt 
與各高斯分布逐一匹配，若沒有表示背景分布的高斯分布與Xt 匹配，則判定該點為前景點， 
否則為背景點。
多高斯分布背景模型的更新較為復雜因為它不但要更新高斯分布自身的參數，還要更
新各分布的權重、優先級等。若檢測時沒有找到任何高斯分布與Xt 匹配，則將優先級最小
的一個高斯分布去除，并根據Xt 引入一個新的高斯分布，并賦予較小的權值和較大的方差， 
然后對所有高斯分布重新進行權值歸一化處理。若第m 個高斯分布與Xt 匹配，則對第i 個
高斯分布的權值更新如下
(1.β) . wt + ,1 i +β. wt + ,1 ii = m 
(3)
=
w 
t + ,1 i 
..
.
(1.β ) . wt + ,1 i otherwise 
其中β 是另一個表示背景更新快慢的常數——權值更新率。（3）表明只有與Xt 相匹配的高
斯分布的權值才得到提高，其它分布的權值都被降低。另外，相匹配的高斯分布的參數也按
照（1）、（2）被更新。在更新完高斯分布的參數和各分布權值后，還要對各個分布重新計算
優先級和排序，并確定背景分布的數目。
2.3 背景模型的更新
背景模型的更新策略是背景模型設計中最關鍵的技術。在模型更新時應當注意如下兩條
原則：
(A) 背景模型對背景變化的響應速度要足夠快。背景的變化可能是①由光照變化等因素
引起的背景本身顏色的變化，也可能是②背景區域的變化如前景和背景的相互轉
化，即某個物體由運動轉為靜止或由靜止轉為運動（如停車場的汽車停下或開走） 
而導致前景物體被“融入”到背景中或背景的一部分“逃逸”而出轉而成為前景。
如果背景模型不能迅速跟上實際背景的變化檢測結果中就會出現大范圍的噪聲或
不合理的長時間靜止前景物體（如圖2-a 中靜止的汽車啟動后留下的“影子”）。
(B) 背景模型對運動目標要有較強的抗干擾能力。因為在背景模型的更新過程中對背
景模型上的每點而言都是受到了一個顏色序列的“訓練”，不論實際場景中該點是
第3 頁

一種基于背景模型的運動目標檢測與跟蹤算法
處于靜止背景上還是在運動目標上。靜止的背景或目標的這種“ 訓練”是我們所希
望的，而運動目標的“訓練”則是不希望看到的。特別是當運動物體尺度較大或運
動較慢時，這種長時間的“訓練”可能會引起錯誤的檢測結果， 如在運動目標的尾
部產生“空洞”，特別是兩個顏色相近的物體交錯而過時更加明顯（圖2-b）。
（a）汽車啟動后留下的“影子（b）行人對汽車的影響
圖2 背景模型更新中的一些問題
在前文描述的單/多高斯分布背景模型中， 更新率α 和權值更新率β 都反應了模型更新
的速度快慢。在單高斯分布背景模型中，較大的α 符合原則（A）卻不符合原則（B）的要
求，較小的α 則剛好相反。實驗表明，很多時候無法找到一個合適的α 能同時滿足兩方面
的要求。一種比較容易想到的改進是賦予背景點較大的更新率，而賦予前景點較小的更新率。
這種更新方式可以符合原則（B）， 但很多時候對（A） 中情形②的效果很差， 因為這時靜止
的前景點會由于更新率過小而很難被“融入”到背景中。為了解決這個問題， 我們將背景模
型更新與后面的跟蹤結果相結合，賦予背景點和靜止的前景點（靜止目標）較大的更新率， 
而賦予運動的前景點（運動目標） 較小的更新率。這實際上是用運動目標跟蹤的結果來指導
更新。經過這種改進可以在保護背景模型不受運動目標影響的同時迅速響應背景的變化。
多高斯分布的背景模型在這些問題上的表現要比單高斯分布背景模型好得多。因為它本
身有多個高斯分布，判定前景/背景并不單單依賴于某個高斯分布，更依賴于各個分布的權
值和優先級。對（A） 中的情形②， 它可以通過引入新的高斯分布解決；對（B）， 由于只有
相匹配的高斯分布的高斯參數才得到更新，所以受運動物體的干擾也不是那么嚴重。但它的
不足依然存在，因為它并沒有對（A）中靜止目標的情況作特別處理，也沒有考慮到（B） 
中的不同“ 訓練” 之間的區別。在測試實驗中， 它對背景變化的響應速度比較慢，大而慢的
運動目標仍然容易帶來“空洞”。我們對它的改進與對單高斯分布背景模型的改進相似，仍
然是對背景點、靜止前景點、運動前景點的更新率區別對待， 只是作用的參數變成了權值更
新率β ，而不是高斯分布參數的更新率α 。
3 運動目標分割
要獲得關于各前景目標的特征描述，就必須先將它們從前景點集中逐一分割出來。前景
目標分割的依據通常是目標的空間連續性和顏色一致性。由于后者很多時候并不可靠，所以