一種用CPLD實(shí)現(xiàn)視頻信號運(yùn)動檢測的方法
摘要:介紹了一種采用CPLD外加SRAM存儲芯片,對ITU601格式數(shù)字視頻信號進(jìn)行運(yùn)動檢測的方法。在此基礎(chǔ)上,給出了一個實(shí)現(xiàn)這種檢測方法的例子。在這個例子中,用Philips公司的視頻處理芯片SAA7113的輸出信號作為數(shù)字視頻源,用Lattice公司的CPLD芯片LC4128V對視頻信號進(jìn)行運(yùn)動檢測。
關(guān)鍵詞:運(yùn)動檢測 CPLD 數(shù)字視頻信號
在數(shù)字錄像、數(shù)字監(jiān)控等領(lǐng)域內(nèi),人們通常只對場景內(nèi)存在的物體運(yùn)動感興趣。在這種情況下,需要對輸入的視頻信號進(jìn)行預(yù)處理,識別場景中是否存在物體運(yùn)動,也就是進(jìn)行運(yùn)動檢測,然后再決定是否做進(jìn)一步的處理,例如錄像、報(bào)警等。對于錄像系統(tǒng),通過運(yùn)動檢測,能夠避免不必要的數(shù)字錄像,有效地減少系統(tǒng)所需存儲空間;同時可以加快檢索速度,提高資料有效性。對于監(jiān)控系統(tǒng),運(yùn)動檢測是一種監(jiān)視場景信息的有效手段。
很多數(shù)字視頻信號處理系統(tǒng)通常會選用DSP芯片作為主處理芯片。由于DSP對數(shù)字信號的處理是通過編程實(shí)現(xiàn)各種算法的,只通過軟件就可以方便地加入某些功能,因此沒有必要添加額外的硬件來完成運(yùn)動檢測。但是有很多系統(tǒng),由于各種原因需要選用其它芯片來完成視頻信號的處理,例如華邦的W9968x系列芯片,由硬件完成信號的處理,其算法已經(jīng)被固化在芯片的內(nèi)部電路中,不能隨意更改。這一類芯片功能比較單一,但速度快、價(jià)格便宜,通??梢宰鳛槟承┫到y(tǒng)的專用芯片。對于這種情況,就需要考慮用另外的方法來實(shí)現(xiàn)運(yùn)動檢測。本文介紹的用CPLD進(jìn)行運(yùn)動檢測的方法就是針對這一類情況的。該方法是通過附加一片CPLD芯片和一片SRAM芯片構(gòu)成一個低成本的運(yùn)動檢測模塊的。
1 運(yùn)動檢測原理
運(yùn)動檢測的實(shí)現(xiàn)方法有硬件實(shí)現(xiàn)的也有軟件實(shí)現(xiàn)的,但基本思想大同小異,都是對相隔一定時間的兩幀視頻數(shù)據(jù)進(jìn)行抽樣,并對抽樣數(shù)據(jù)進(jìn)行比較,如果比較結(jié)果顯示這兩幀數(shù)據(jù)存在比較大的差異,那么就認(rèn)為數(shù)據(jù)輸入場景中存在物體的運(yùn)動,反之就認(rèn)為沒有運(yùn)動存在。
本文介紹的用CPLD實(shí)現(xiàn)運(yùn)動檢測的方法也是基于這種思想,但和一般的實(shí)現(xiàn)方法有所不同,其實(shí)現(xiàn)方法有一定的特色。
通常情況下,在實(shí)現(xiàn)上述思想的過程中,需要兩個緩存區(qū)分別存放兩幀抽樣數(shù)據(jù),然后對這兩幀數(shù)據(jù)進(jìn)行比較并對比較結(jié)果進(jìn)行統(tǒng)計(jì),最后得出比較結(jié)果。這樣做需要較大的SRAM作為緩存,而且往往需要單片機(jī)或者DSP對CPLD進(jìn)行控制,并將其作為兩幀數(shù)據(jù)的比較器。這樣,運(yùn)動檢測模塊的獨(dú)立性會受到限制,而且CPLD的功能只是一個抽樣控制器。
本文提出的方法只對一幀抽樣數(shù)據(jù)進(jìn)行緩存,在對第二幀數(shù)據(jù)進(jìn)行抽樣時讀取第一幀中與此刻抽樣的數(shù)據(jù)相對應(yīng)的緩存數(shù)據(jù),并將兩者進(jìn)行比較,用一個計(jì)數(shù)器記錄比較結(jié)果,如果差值超過閾值,計(jì)數(shù)器加一,否則不加。當(dāng)這個計(jì)數(shù)值超過某一個規(guī)定數(shù)值的時候,就認(rèn)為輸入視頻數(shù)據(jù)中存在著物體運(yùn)動。這樣做的好處是需要的緩存區(qū)較小,而且CPLD可以單獨(dú)對數(shù)據(jù)進(jìn)行處理,提高運(yùn)動檢測模塊的獨(dú)立性,運(yùn)動檢測模塊可以單獨(dú)調(diào)試。
2 用CPLD實(shí)現(xiàn)運(yùn)動檢測
下面通過實(shí)例說明用CPLD實(shí)現(xiàn)運(yùn)動檢測的過程,并給出部分VHDL程序。在這個實(shí)例中,模擬視頻信號從CCD攝像頭輸入,經(jīng)過SAA7113芯片預(yù)處理后,輸出數(shù)字視頻信號。該信號分作兩路:一路輸入到CPLD進(jìn)行運(yùn)動檢測,另一路則輸入到芯片W99682,對信號進(jìn)行JPEG壓縮等進(jìn)一步處理。
示例中用到的CPLD是Lattice公司的LC4128V-75T100C,它具有128個宏單元、7.5ns的延時。SRAM芯片是ISSI公司的63LV1024,其容量為128K×8bit,具有10ns的延時。CPLD檢測到運(yùn)動后,通過中斷,要求W99682對信號做進(jìn)一步處理。其系統(tǒng)結(jié)構(gòu)圖如圖1(省略了部分與運(yùn)動檢測無關(guān)的元件)所示。
2.1 SAA7113的輸出信號
SAA7113是Philips公司推出的一款功能強(qiáng)大的視頻信號預(yù)處理芯片,最基本的功能是模/數(shù)轉(zhuǎn)換,輸出的數(shù)字視頻信號符合ITU601標(biāo)準(zhǔn)。ITU601是長寬比為4?3和16?9的數(shù)字電視信號標(biāo)準(zhǔn),它對數(shù)字電視信號的各項(xiàng)參數(shù)進(jìn)行了詳細(xì)的描述和規(guī)范。在我國,通常采用的都是4?2?2采樣格式、PAL制式、長寬比為4?3的數(shù)字電視信號。SAA7113的輸出信號就是指這一格式的信號。這種格式信號的主要特征是:
(1)有三個正交分量:亮度分量Y、色度分量Cb和Cr。
(2)25幀/秒的幀率,每幀兩場,每幀掃描625行。
(3)對于亮度分量Y,每行抽樣864次,對于色度分量Cr和Cb,每行抽樣432次。
(4)8bit或者10bit的PCM編碼。
(5)量化:0和255用于同步;1到254表示抽樣結(jié)果的PCM碼;對于亮度分量Y,16表示黑色,235表示白色;對于色度分量Cb或者Cr,128表示沒有色度。
(6)有三個信號用于同步輸出數(shù)據(jù):行同步信號SHS(15.6kHz)、場同步信號SVS(50Hz)和象素?cái)?shù)據(jù)同步信號SPCLK(27MHz)。
包括消隱期在內(nèi),每幀數(shù)據(jù)掃描625行,每行抽樣864個象素,因此總的分辨率是864×625。一幀數(shù)據(jù)分作奇偶兩場,從上一幀的624行到本幀的310行是奇場,其中上幀624行到本幀22行是奇場消隱期,從23行到310行是奇場有效行;從本幀311行到623行是偶場,其中311到335行是偶場消隱期,336到623行為偶場有效行。圖2是一幀的示意圖。
對于幀內(nèi)的每一行,共有864個象素,其中從第0個到第719個為有效象素,共計(jì)720個,從720個到863個為消隱期象素。每個象素都抽?。俜至浚績蓚€象素則抽取一個Cr和一個Cb分量。圖3是幀內(nèi)一行以及象素抽樣數(shù)據(jù)排列格式的示意圖。表格第一行是亮度分量Y,第二行是色度分量Cr,第三行是色度分量Cb。
2.2 抽樣
從SAA7113視頻輸出數(shù)據(jù)格式的介紹可以看到,保存完整的一幀數(shù)據(jù)(包括消隱期數(shù)據(jù)在內(nèi))需要864×625×2=1.08×106Byte的SRAM,需要1M以上的存儲空間,這顯然是不可取的,必須對幀數(shù)據(jù)進(jìn)行抽樣。本文介紹的方法的抽樣規(guī)則如下:
(1)抽取一幀數(shù)據(jù)的奇場或者偶場。做比較的兩場抽樣數(shù)據(jù)必須取自相同的場次,或者同為奇場或者同為偶場,否則就沒有可比性。
(2)對連續(xù)的8幀抽取第2幀和第8幀進(jìn)行比較。被抽樣的兩幀之間必須有一定的時間間隔,間隔太短或者太長都會影響檢測的靈敏度。
(3)對一場數(shù)據(jù)抽取有效行中的奇數(shù)行,從場同步信號有效邊沿開始對行同步信號計(jì)數(shù),直到下一個場同步信號為止。從23行到310行是有效行,共144個奇數(shù)行。
(4)對被抽取的行,取其亮度分量Y。根據(jù)圖3中象素?cái)?shù)據(jù)的排列順序,從象素?cái)?shù)據(jù)有效開始,偶數(shù)的象素?cái)?shù)據(jù)脈沖同步的是亮度分量Y。
對于以上的抽樣規(guī)則,有必要說明一下。最終的抽樣數(shù)據(jù)并非全部都是有效數(shù)據(jù),其中還包括了一部分消隱期的數(shù)據(jù)。這樣做是可以理解的,因?yàn)檫\(yùn)動檢測的結(jié)果是根據(jù)兩幀被抽樣數(shù)據(jù)的差值來判定的,雖然消隱期的數(shù)據(jù)是無效的,但是每次消隱期的數(shù)據(jù)是相同的,兩次抽樣數(shù)據(jù)相減結(jié)果是零,并不會影響結(jié)果的判定。之所以對一場的行進(jìn)行抽樣,主要是為了減小抽樣數(shù)據(jù)量,使數(shù)據(jù)總量不超過128K SRAM的容量。
如果要保證抽樣數(shù)據(jù)全部都是有效數(shù)據(jù),那么必須利用輸入的象素?cái)?shù)據(jù)同步脈沖SPCLK、場同步信號SVS和行同步信號SHS對抽樣時刻做嚴(yán)格的同步。這需要消耗額外的CPLD資源,而效果卻不一定好。
根據(jù)以上規(guī)則,實(shí)際抽樣的數(shù)據(jù)量為:864×144=124416Byte,需要的SRAM容量為128K。
2.3 程序
下面給出實(shí)現(xiàn)以上過程的一部分VHDL程序。
sram_write_control?process?store_field?valid?spclk2?line_counter
begin
writing<=valid and spclk2 and spclk and store_field and line_counter?0 ?
end process?
sram_read_control?process?compare_field?valid?spclk2?line_counter
begin
reading<=valid and compare_field and spclk2 and line_counter?0 ?
end process
這兩個進(jìn)程用于控制SRAM的讀寫信號,reading和writing正好和SRAM的讀寫信號反相。Valid變量指示當(dāng)前輸入的行是否為需要采樣的有效行,spclk是象素?cái)?shù)據(jù)同步脈沖,spclk2是它的二分頻,用于指示當(dāng)前輸入數(shù)據(jù)是否為亮度分量Y。line_counter?0?。剑北硎酒鏀?shù)行。store_field和compare_field分別指示本場數(shù)據(jù)是否需要保存或者需要比較。
update_data_bus?process?store_field?valid?ccd_data
begin
if?store_field=‘1’and valid=‘1’?。簦瑁澹?/p>
data_sram<=ccd_data?
else
data_sram<=“ZZZZZZZZ”?
end if?
end process?
在抽樣第一幀數(shù)據(jù)的時候,直接把數(shù)字視頻信號輸入到SRAM的數(shù)據(jù)總線上,寫操作信號由writing控制。其它時候,數(shù)據(jù)總線上輸出高阻。
update_data_reg?process?spclk?ccd_data?spclk2?compare_field?
valid?data_sram
begin
if?spclk'event and spclk=‘0’ then
if?compare_field=‘1’and valid=‘1’and spclk2=‘1’?。簦瑁澹?/p>
data_sram_reg<=data_sram?
if?ccd_data<=threshold?。簦瑁澹?/p>
data_reg1<=“00000000”?
data_reg2<=ccd_data+threshold?
elsif?ccd_data>=255-threshold?。簦瑁澹?/p>
data_reg1<=ccd_data-threshold?
data_reg2<=“11111111”?
else
data_reg1<=ccd_data-threshold?
data_reg2<=ccd_data+threshold?
end if?
end if?
end if?
end process?
SAA7113的象素同步脈沖的下跳邊沿是象素?cái)?shù)據(jù)的有效邊沿,進(jìn)程在compare_field=1時,一方面把抽樣數(shù)據(jù)讀入,用寄存器保存用于比較的數(shù)據(jù)的上限和下限;另一方面從SRAM讀入對應(yīng)數(shù)據(jù)存入寄存器data_sram_reg,這兩個操作為比較數(shù)據(jù)做好準(zhǔn)備。threshold是一個閾值,這里?。保?,當(dāng)前后兩次抽樣差值超過threshold時就認(rèn)為這兩個抽樣數(shù)據(jù)是不等的。在輸入數(shù)據(jù)接近0或者255的時候,需要做特殊處理,避免整型數(shù)溢出,影響比較結(jié)果。
compare_data?process?spclk2?valid?compare_field
begin
if?spclk2'event and spclk2=‘0’?。簦瑁澹?/p>
if?compare_field=‘0’?。簦瑁澹?/p>
pixels<=“0000000000”?
elsif?valid='1'?。簦瑁澹?/p>
if?data_sram_reg<=data_reg1 or data_sram_reg>=data_reg2 then
pixels<=pixels+1?
end if?
end if?
end if?
end process?
compare_data進(jìn)程在抽樣的間隔(輸入為色度分量Cr或者Cb時)對前后兩次抽樣的數(shù)據(jù)進(jìn)行比較,如果比較結(jié)果超過允許值,計(jì)數(shù)器pixels加1,否則不加。
motion_detect?process?pixels
begin
if?pixels>max_pixels then
int0<=‘1’?
else
int0<=‘0’?
end if?
end process?
max_pixels是一個閾值,表示一幀數(shù)據(jù)中允許出現(xiàn)的不相等抽樣數(shù)據(jù)的最大數(shù)目,當(dāng)計(jì)數(shù)器pixels超過max_pixels時,就認(rèn)為檢測到了物體運(yùn)動,CPLD將int0輸出管腳置高,向處理器請求中斷。這里max_pixels?。叮埃?,它可以根據(jù)需要設(shè)置適當(dāng)?shù)闹怠?/p>
當(dāng)CCD攝像頭前有物體晃動時,CPLD的int0管腳會連續(xù)產(chǎn)生高電平脈沖,這說明運(yùn)動檢測模塊已經(jīng)正常工作起來,同時另一路視頻信號經(jīng)過W99682處理后輸送到電視屏幕上,以便觀察運(yùn)動的場景。如果晃動攝像頭本身,只要微小的晃動就可以看到類似的效果,因此用這種CPLD實(shí)現(xiàn)運(yùn)動檢測是可行的。
事實(shí)上,還可以利用同樣的原理對CMOS攝像頭的輸入信號進(jìn)行運(yùn)動檢測。
當(dāng)然這種檢測方法本身也有不足之處,最主要的一點(diǎn)是實(shí)際檢測到的只是攝像頭前光線亮度的變化,不能智能地判斷引起這種變化的原因,也不能判別運(yùn)動物體的形狀。另一方面,從實(shí)驗(yàn)結(jié)果來看,有時候會出現(xiàn)誤判;當(dāng)運(yùn)動物體離攝像頭比較遠(yuǎn)時,檢測的靈敏度也會降低,出現(xiàn)漏判。誤判和漏判是一對矛盾,在實(shí)際應(yīng)用中需要根據(jù)實(shí)際情況反復(fù)調(diào)試,選出最佳的閾值,減少這兩種情況的發(fā)生。