摘要：從硬件結(jié)構(gòu)、曝光策略和模擬結(jié)果入手,在傳統(tǒng)滾筒式曝光基礎(chǔ)上,通過對(duì)用戶設(shè)定區(qū)域像素飽和值的統(tǒng)計(jì)和曝光時(shí)間選擇算法,提出了一種CMOS圖像傳感器大動(dòng)態(tài)范圍自適應(yīng)曝光的設(shè)計(jì)。曝光時(shí)間可從1μs至65ms,探測(cè)光強(qiáng)范圍達(dá)到10-1～106lux,設(shè)計(jì)將充分發(fā)揮現(xiàn)有像素性能,實(shí)現(xiàn)快速實(shí)時(shí)的自適應(yīng)曝光需求。
關(guān)鍵詞：自適應(yīng)曝光;CMOS圖像傳感器(CIS);大動(dòng)態(tài)范圍
引言
CMOS圖像傳感器(CIS)具有集成度高、制做工藝通用、體積小、功耗低、無光暈等特點(diǎn),在非接觸無損測(cè)量及目標(biāo)監(jiān)控等方面,與較為成熟的CCD系統(tǒng)一樣,發(fā)揮著越來越重要的作用。但由于CIS普遍采用光電二極管線性有源像素,動(dòng)態(tài)響應(yīng)范圍較小。當(dāng)前,提高其動(dòng)態(tài)范圍和自適應(yīng)曝光調(diào)節(jié)成為關(guān)鍵問題。為提高CIS的動(dòng)態(tài)范圍和高分辨率,多采用對(duì)數(shù)像素、多次曝光、多次采樣重構(gòu)、像素自調(diào)節(jié)多次曝光等技術(shù)。
鑒于片上反饋系統(tǒng)對(duì)自適應(yīng)調(diào)節(jié)快速實(shí)時(shí)等特點(diǎn),針對(duì)實(shí)際視覺和工控測(cè)量應(yīng)用等要求,本文從CMOS圖傳感器像素陣列的數(shù)字控制和預(yù)處理電路出發(fā),以現(xiàn)有滾筒式曝光為背景,提出了一套通過自適應(yīng)調(diào)節(jié)曝光和用戶預(yù)設(shè)方式曝光的CMOS圖像傳感器系統(tǒng),曝光時(shí)間可從1μs至65ms,在光電響應(yīng)效率為1.0V/lux·s、可調(diào)增益為1和8bit模數(shù)轉(zhuǎn)換器(ADC)情況下,探測(cè)光強(qiáng)范圍可達(dá)到10-1～106lux,大幅提高現(xiàn)有CMOS圖像傳感器線性自適應(yīng)響應(yīng)能力。
2 自適應(yīng)曝光判決算法
采用幀間的自適應(yīng)曝光調(diào)節(jié)方式,即每幀內(nèi)的像素點(diǎn)曝光時(shí)間一致,光照響應(yīng)為線性曲線。根據(jù)幀內(nèi)最大非飽和像素電壓,以最小曝光時(shí)間T的倍數(shù)關(guān)系調(diào)節(jié)下一幀曝光時(shí)間,來適應(yīng)環(huán)境照度及最大分辨率。每幀的曝光時(shí)間將通過接口實(shí)時(shí)傳輸給測(cè)量分析電路。具體判決算法為:
CMOS圖像傳感器以T或用戶設(shè)定時(shí)間開始曝光。當(dāng)?shù)?幀有效圖像采集結(jié)束開始輸出時(shí),曝光控制系統(tǒng)將統(tǒng)計(jì)幀內(nèi)指定區(qū)域的像素飽和數(shù),并記錄幀內(nèi)最大非飽和像素電壓,即當(dāng)前曝光條件下圖像傳感器的最大分辨率。當(dāng)幀內(nèi)像素飽和數(shù)超過統(tǒng)計(jì)閾值,表明曝光過長(zhǎng),將縮短下一幀曝光時(shí)間;相反,判斷最大非飽和像素電壓是超出ADC輸出量程1/2。當(dāng)未超過時(shí),表明曝光不夠,由曝光調(diào)節(jié)表(表1)改變下幀曝光時(shí)間;否則按原有曝光時(shí)間繼續(xù)曝光,曝光判決流程如圖1所示。ADC輸出與光照關(guān)系為
V=As(λ)Et (1)
其中:E為當(dāng)前光照度;S(λ)為像系相對(duì)光譜響應(yīng)率;t當(dāng)前曝光時(shí)間;A為可調(diào)放大器增益。
從表1可看出,當(dāng)光照度驟升或驟降時(shí),只要ADC輸出仍在1/2LSB～255內(nèi),CMOS圖像傳感器可以在下一幀就調(diào)節(jié)到合適的曝光時(shí)間使輸出值達(dá)到ADC半量程之上,實(shí)現(xiàn)28E至E光照度變化的快速跟蹤自適應(yīng)。而在1/2LSB～1/256LSB內(nèi),自適應(yīng)系統(tǒng)將可在2frame內(nèi)達(dá)到跟蹤。
當(dāng)光照度驟升到達(dá)像素飽和時(shí),因無法判斷曝光時(shí)間縮減程度,自適應(yīng)系統(tǒng)將重新搜索從當(dāng)前曝光時(shí)間至最小曝光時(shí)間內(nèi)的最佳曝光時(shí)間,方案設(shè)計(jì)了3種搜索方式:曝光縮短為當(dāng)前曝光時(shí)間t的1/256;曝光縮短為t的t1/2取整;曝光縮短為t的1/2。當(dāng)調(diào)節(jié)曝光后的圖像仍不滿足要求時(shí),將按照上述方式之一或曝光表1繼續(xù)調(diào)整曝光時(shí)間。以曝光時(shí)間224T至23T變化為例(100～106lux),介紹3種方式的搜索速度,方式1需4frame時(shí)間,方式2需3frame時(shí)間,方式3需21frame時(shí)間。由此可知,照度變化不大時(shí),方式1較好;相反,方式2較好。因此針對(duì)不同應(yīng)用情況,曝光系統(tǒng)將根據(jù)不同方式進(jìn)行搜索。
3 自適應(yīng)曝光電路設(shè)計(jì)
自適應(yīng)曝光CMOS圖像傳感器系統(tǒng)在傳統(tǒng)三管有源像素結(jié)構(gòu)、滾筒式曝光和輸出模式背景下,根據(jù)幀內(nèi)最大非飽和像素電壓,動(dòng)態(tài)調(diào)節(jié)幀間曝光時(shí)間,避免了像素自適應(yīng)曝光所需與像素陣列相當(dāng)?shù)腞AM存儲(chǔ)空間及多次曝光造成的響應(yīng)曲線壓縮,芯片控制復(fù)雜度和面積得到大幅降低。此外,該電路允許用戶對(duì)圖像曝光時(shí)間及飽和統(tǒng)計(jì)范圍進(jìn)行直接調(diào)整及控制。系統(tǒng)共包括6部分:像素陣列、8bitADC等模擬電路、飽和像素統(tǒng)計(jì)單元、像素掃描單元、曝光調(diào)節(jié)及時(shí)序控制單元,如圖2示。
3.1 像素飽和統(tǒng)計(jì)單元
像素值超過255稱為飽和(數(shù)據(jù)采集為8bitADC),該部分主要完成對(duì)像素陣列內(nèi)指定區(qū)域飽和像素值的統(tǒng)計(jì)。由于在特定場(chǎng)合(如夜間監(jiān)視系統(tǒng)),零星燈光或反射光將造成圖像部分像素出現(xiàn)飽和,如圖3(a)區(qū)域a示。如果按照此飽和值調(diào)節(jié)曝光,將降低圖像整體分辨率。因此,設(shè)計(jì)采用允許用戶在圖像任意位置設(shè)定任意大小的飽和統(tǒng)計(jì)區(qū)域及閾值的方法來避免上述干擾,如圖3(a)中b為用戶統(tǒng)計(jì)區(qū)域,即關(guān)注區(qū)域。
該單元主要由寄存器組、飽和偵測(cè)及統(tǒng)計(jì)電路組成。寄存器組記錄用戶指定區(qū)域的大小、位置以及統(tǒng)計(jì)閾值,未指定時(shí)使用默認(rèn)值。飽和偵測(cè)電路采用模擬比較器結(jié)構(gòu),降低采用數(shù)字比較器時(shí)的大面積電路和計(jì)算延時(shí),也避免了因反相器偵測(cè)飽和時(shí)的低精度。電路在每行像素?cái)?shù)據(jù)輸出時(shí)判斷進(jìn)入統(tǒng)計(jì)區(qū)域的像素電壓,比較結(jié)果直接作為飽和統(tǒng)計(jì)計(jì)數(shù)器使能端驅(qū)動(dòng)。當(dāng)統(tǒng)計(jì)計(jì)數(shù)超過閾值時(shí),表明被測(cè)圖像光強(qiáng)已不滿足用戶要求,需縮短曝光時(shí)間。此時(shí)該統(tǒng)計(jì)單元將向曝光調(diào)整電路發(fā)出flag信號(hào),開始曝光選擇,電路結(jié)構(gòu)見圖3(b)示。
3.2 像素掃描單元
由8bit輸出寄存器、臨時(shí)寄存器、比較器及暫存控制邏輯組成。主要完成1frame圖像中最大非飽和像素電壓的尋找及存儲(chǔ)。每行像素?cái)?shù)據(jù)輸出時(shí),掃描單元在scanphase階段實(shí)時(shí)完成像素點(diǎn)掃描判斷工作(見圖4示)。當(dāng)完成1frame圖像傳輸后,臨時(shí)寄存器中存儲(chǔ)的最大非飽和像素值將作為下一幀曝光時(shí)間選擇的參考值。
3.3 曝光選擇單元
由8bit最小曝光寄存器、24bit曝光倍數(shù)寄存器、掩碼電路和曝光判決電路組成,主要完成下一幀曝光時(shí)間的提取及選擇。最小曝光寄存器存儲(chǔ)CMOS圖像傳感器最小曝光時(shí)間,當(dāng)系統(tǒng)時(shí)鐘為20M時(shí),最小曝光時(shí)間為1μs,寄存器值為14H;曝光倍數(shù)寄存器存儲(chǔ)當(dāng)前曝光時(shí)間與最小曝光時(shí)間的倍數(shù)值。在每幀Re2selectphase階段(見圖5),掩碼電路將先完成對(duì)掃描單元臨時(shí)寄存器值的分析及曝光時(shí)間提取工作,即根據(jù)非飽和電壓值最高位產(chǎn)生下一幀曝光時(shí)間與最小曝光時(shí)間的倍數(shù)值(見表1第2列),該值將存儲(chǔ)至曝光倍數(shù)寄存器中。隨后,曝光判決電路將根據(jù)飽和統(tǒng)計(jì)單元的flag信號(hào)決定是否更改下一幀曝光時(shí)間。由上可知,曝光時(shí)間實(shí)際為最小曝光時(shí)間的2次冪,雖然這將造成圖像分辨率的一定下降,但可避免為每個(gè)電壓值設(shè)置曝光時(shí)間所需的128×8bit空間,從而降低電路復(fù)雜度。
4 像素復(fù)位曝光控制邏輯設(shè)計(jì)及分析
由于圖像傳感器系統(tǒng)為數(shù)模混合系統(tǒng),而模擬信號(hào)抗噪聲能力較弱,高速交變的數(shù)字信號(hào)將給模擬電路引入不必要的噪聲,直接影響圖像傳感器的采集精度,導(dǎo)致圖像質(zhì)量下降。所以設(shè)計(jì)在像素曝光、采集邏輯以及數(shù)模電路工作時(shí)序上做了一些改進(jìn):1)電路采用格雷編碼,兩相鄰狀態(tài)只有1bit不同,這將降低狀態(tài)轉(zhuǎn)換時(shí)信號(hào)跳變次數(shù),減少數(shù)字噪聲的引入。2)數(shù)字電路的工作時(shí)鐘(workcycle)分為idle和work2個(gè)階段,在像素采集階段不翻轉(zhuǎn),保證模擬、數(shù)字電路分時(shí)工作,如圖5所示。
4.1 像素曝光復(fù)位分析
曝光(積分)時(shí)間為相鄰復(fù)位信號(hào)與采樣信號(hào)的時(shí)間差。由于滾筒式曝光時(shí)序以行為單位,對(duì)像素陣列進(jìn)行信號(hào)采樣、處理和輸出。1行內(nèi)所有像素曝光處理為并行的,各行間像素曝光處理為串行的。因此,處理1行像素所需時(shí)間=曝光時(shí)間+數(shù)據(jù)處理時(shí)間+像素輸出時(shí)間。復(fù)位曝光邏輯如圖5所示,Vout為幀同步信號(hào);Hout為行同步信號(hào);Hrst為曝光復(fù)位信號(hào);H(n)為第n行的行有效信號(hào);Hrst(n)為第n行的曝光復(fù)位信號(hào);Pout為輸出像素時(shí)鐘;P(n)為第n個(gè)像素有效信號(hào)。由圖可知,曝光復(fù)位信號(hào)Hrst為行同步信號(hào)Hout相關(guān)信號(hào),延遲時(shí)間=幀時(shí)間-曝光時(shí)間,即圖5(a)中hold1或hold2部分。所以改變曝光時(shí)間是通過調(diào)節(jié)hold寬度來完成的,曝光寄存器實(shí)際存儲(chǔ)著與曝光時(shí)間相應(yīng)的hold值,1frame時(shí)間=曝光延遲時(shí)間(hold)+曝光時(shí)間(integrating)。
曝光自適應(yīng)時(shí)序圖5(b)所示,第1行像素在完成第N+1幀曝光時(shí)間后(intergating1),將根據(jù)當(dāng)前曝光選擇單元的結(jié)果開始第N+2幀復(fù)位和新曝光長(zhǎng)度(intergating2)的曝光,同時(shí)ADC將處理和輸出第1行的第N+1幀的數(shù)據(jù)。因此,在第N幀光強(qiáng)變化的圖像在第N+3幀才被記錄下。造成該延遲主要有兩種原因:1)曝光固有延時(shí),曝光到采集數(shù)據(jù)最長(zhǎng)需要1frame時(shí)間;2)幀間自適應(yīng)調(diào)節(jié)固有延時(shí),由于采用搜索整幀圖像后確定曝光時(shí)間,當(dāng)圖像第n行采樣電壓時(shí),第1行數(shù)據(jù)實(shí)際已按照原曝光時(shí)間開始采樣,需要再等1frame時(shí)間,第1行才能采用新曝光時(shí)間。所以當(dāng)t1時(shí)刻光強(qiáng)發(fā)生變化時(shí),曝光電路在t2時(shí)刻才能選定新曝光時(shí)間,而以新曝光時(shí)間采集的圖像在t3時(shí)刻才能被記錄,即該系統(tǒng)將存在最大3frame時(shí)間的固有延遲。但隨著輸出幀頻的提高,該固有延時(shí)時(shí)間將能夠相應(yīng)減小。
4.2 像素復(fù)位曝光設(shè)計(jì)
上述曝光切換時(shí)序可看出,當(dāng)2frame曝光時(shí)間改變較大時(shí),不同曝光時(shí)間將存在疊交。如圖5(b),第N+2幀第1行曝光復(fù)位發(fā)生在第N+1幀第n行曝光復(fù)位前(overlap段)。如利用1組復(fù)位曝光邏輯將引起控制混亂,因此設(shè)計(jì)采用2組曝光復(fù)位控制時(shí)序。當(dāng)曝光時(shí)間不變時(shí),復(fù)位計(jì)數(shù)器1將在延遲行同步信號(hào)的hold1時(shí)間被使能,開始從第1行至第n行的曝光復(fù)位,當(dāng)完成1frame后,復(fù)位計(jì)數(shù)器1將停止工作,等待hold1時(shí)間后再次使能。當(dāng)曝光時(shí)間調(diào)節(jié)時(shí),如復(fù)位計(jì)數(shù)器1還未計(jì)滿將繼續(xù)工作,直至計(jì)滿整幀。而此時(shí)hold寄存器將等待hold2時(shí)間后,開始使能復(fù)位計(jì)數(shù)器2。由于2組復(fù)位計(jì)數(shù)器不對(duì)同一行復(fù)位,因此前后2frame可在不同曝光時(shí)間下正常運(yùn)行。如圖4示,曝光調(diào)節(jié)信號(hào)(flag)將更新延遲值并使能另一組閑置曝光復(fù)位寄存器。
5 模擬仿真結(jié)果
根據(jù)上述原理,利用XILINX公司的ISE及Modelsim軟件,對(duì)曝光選擇控制電路進(jìn)行了數(shù)字電路設(shè)計(jì)及模擬。結(jié)合光電二極管光電響應(yīng)實(shí)際測(cè)試結(jié)果,進(jìn)行模數(shù)混合信號(hào)仿真,如圖6(a)所示,在幀頻為100frame/s時(shí)隨光強(qiáng)變化,CMOS圖像傳感器調(diào)節(jié)曝光時(shí)間及輸出信號(hào)值,其中調(diào)節(jié)延時(shí)約為3frame時(shí)間。圖6(b)為光強(qiáng)與輸出的相關(guān)曲線。像素電壓值隨著光強(qiáng)增加,曝光時(shí)間從65ms(216T)調(diào)節(jié)至4ms(212T),多幀響應(yīng)組合后輸出接近指數(shù)曲線。
6 結(jié) 論
設(shè)計(jì)通過用戶預(yù)設(shè)和幀間自適應(yīng)曝光調(diào)節(jié)方式,實(shí)現(xiàn)了CMOS圖像傳感器大動(dòng)態(tài)范圍自適應(yīng)能力。相比傳統(tǒng)滾筒式積分復(fù)位邏輯,該控制結(jié)構(gòu)將能更充分發(fā)揮像素響應(yīng)特性,并達(dá)到光強(qiáng)自適應(yīng)曝光調(diào)節(jié)。由于該結(jié)構(gòu)邏輯簡(jiǎn)單,不改變像素陣列,因而隨著像素陣列不斷增大,仍能在保證速度的前提下,對(duì)光強(qiáng)自適應(yīng)調(diào)節(jié),在對(duì)多幀圖像進(jìn)行數(shù)字重構(gòu)后處理時(shí),也可進(jìn)一步提高成像質(zhì)量,具有很高可靠性和兼容性。
