成像對于許多機(jī)器人應(yīng)用至關(guān)重要，能讓機(jī)器人執(zhí)行基本任務(wù)，躲避障礙物，進(jìn)行導(dǎo)航以及確保基本安全。 顯然，提供成像的方式是采用低成本視頻攝像頭，或者再好點(diǎn)，使用兩個(gè)攝像頭實(shí)現(xiàn)立體視野和深度感知。 但后者存在一些缺點(diǎn)。
使用雙攝像頭實(shí)現(xiàn)三維成像會增加功耗和空間需求，同時(shí)也會使外形尺寸和制造工藝變得復(fù)雜，并且增加成本。 由于三維成像是從基本“協(xié)助”單元到自主駕駛車輛應(yīng)用的主流，因此設(shè)計(jì)人員需要比簡單添加更多攝像頭更好的替代方案。
為此，設(shè)計(jì)人員正在越來越多地使用替代方案，這些方案在封裝、成本、功耗、數(shù)據(jù)縮減和整體性能方面存在優(yōu)勢。 這些替代方案中就有飛行時(shí)間 (ToF) 成像系統(tǒng)（通常又稱為光探測和測距，或稱作 LIDAR）。 這些成像系統(tǒng)可采用紅外 (IR) 成像（通常稱為熱成像）作為輔助手段。
從 IR 談起
紅外電磁波的波長比可見光譜紅端的電磁波更長；IR 波段的波長通常被認(rèn)為在 700 nm (0.7 μm) 到 1 mm (1000 μm) 之間。 簡單的說，這些波長表示物體的熱輻射。 通過恰當(dāng)?shù)?IR 成像系統(tǒng)，此 IR“熱圖”被轉(zhuǎn)換為可見光圖像，通常含有添加的偽色，以突出相對溫度（圖 1）。
圖 1：水從水龍頭進(jìn)入浴缸時(shí)的紅外圖像；注意，為更好地顯示溫差而使用了“偽色”。 （感謝 FLIR Systems, Inc. 提供圖片）
注意，該 IR 成像不同于 IR 傳感。 感測是一種用于檢測，或者甚至是測量熱源的非接觸方法，例如人員經(jīng)過作為報(bào)警系統(tǒng)一部分的被動紅外 (PIR) 傳感器，或者監(jiān)測到管道過熱；沒有類似圖像的細(xì)節(jié)或者圖像分辨率。
為何使用 IR 來替代，或者用于補(bǔ)充傳統(tǒng)的可見光成像？ 有多個(gè)理由：
現(xiàn)在，由于高集成度、高性能元件的出現(xiàn)，并且這些元件具有易于使用的接口，使得實(shí)施 IR 成像子系統(tǒng)大為簡化。 例如，F(xiàn)LIR Systems, Inc. 的 Lepton IR 攝像頭（圖 2）。 該器件的尺寸約為 10 × 12 × 6 mm，集成了定焦鏡頭組、適用于 8 - 14 μm IR 的 80 × 60 像素長波紅外 (LWIR) 微測傳感器陣列、以及信號處理電子元件。
圖 2：FLIR Lepton 成像儀（圖示不含插座）高度集成，包括信號處理和用戶可編程功能。 （感謝 FLIR Systems, Inc. 提供圖片）
通過使用行業(yè)標(biāo)準(zhǔn) MIPI 和 SPI 視頻接口，以及類似雙線 I2 C 的串行控制接口，使得互連大大簡化（圖 3）。 除了尺寸小巧、易于使用，Lepton 單元還具有高性能，成像快（不超過 0.5 秒），且熱靈敏度低于 50 mK。 工作功率也較低，為 150 mW（典型）。
圖 3：這張 Lepton 裝置的簡化框圖顯示了其一體式圖像處理單元、基本傳感器陣列，以及簡單的用戶系統(tǒng)接口。 （感謝 FLIR Systems, Inc. 提供圖片）
這樣的產(chǎn)品得益于用戶的實(shí)踐經(jīng)驗(yàn)，因此 FLIR 為攝像頭模塊提供分線板，它兼容基于 ARM 的評估板和 Raspberry Pi（圖 4）。 這款 25 mm × 24 mm 的電路板需要 3 V 到 5.5 V 單電源供電，帶有 25 MHz 系統(tǒng)時(shí)鐘、用于其他低噪電源軌的內(nèi)部 LDO、標(biāo)準(zhǔn)互連接頭，以及用于 Lepton 模塊自身的 32 引腳 Molex 排針。
(a)
(b)
圖 4：Lepton 分線板 (a)（不含 Lepton 單元）得益于其標(biāo)準(zhǔn)接頭和接口 (b)，允許設(shè)計(jì)人員使用各種評估板對該單元進(jìn)行評估和編程。 （感謝 FLIR Systems, Inc. 提供圖片）
ToF 的興起
熱圖像對于許多應(yīng)用都很有用，但卻不能滿足這些應(yīng)用的全部要求，此時(shí)就需要通常采用 3D 技術(shù)的可見光成像系統(tǒng)。 顯而易見，這就需要采用標(biāo)準(zhǔn)的視頻攝像頭。現(xiàn)在許多廠商都提供這樣的攝像頭，并且提供許多不同的分辨率、光靈敏度、尺寸和接口選擇。 若需要立體成像，則使用一對攝像頭。
盡管熱成像已問世數(shù)十年，但相比如今的成像裝置，其性能欠佳、成本和功率消耗較高，而 ToF 技術(shù)則相對較新。 20 世紀(jì) 90 年代，此項(xiàng)技術(shù)首先作為學(xué)術(shù)概念被提出，然而能讓它切實(shí)可行的基本元件和處理能力直到過去十年才出現(xiàn)。
ToF 通常是許多應(yīng)用的首選成像方法，包括自主駕駛車輛（自動駕駛汽車），并且已經(jīng)進(jìn)行數(shù)百英里的實(shí)際道路測試。 （在架構(gòu)方面，智能或自主車輛屬于輪式機(jī)器人系統(tǒng)，帶有傳感器、算法和定義的動作，只是角度不同。） 相比傳統(tǒng)成像攝像頭，ToF 方法實(shí)際上具有一些明顯優(yōu)勢（討論如下）。
工作方式：傳統(tǒng)攝像頭成像的工作原理通常被工程設(shè)計(jì)人員所理解，比較直觀，而 ToF 則了解的人不多，并且更多依賴于通過方程和感測到的光子實(shí)現(xiàn)。 此項(xiàng)技術(shù)包括兩個(gè)關(guān)鍵元件：一個(gè)精確控制和調(diào)制式光源（固態(tài)激光或 LED，通常在 850 μm 近 IR 范圍下工作，因此肉眼不可見）、一個(gè)用于“查看”由來自成像場景的發(fā)射光線反射的像素陣列。
圖 5：ToF 的原理很簡單：在場景中投射脈沖光，捕捉反射光線脈沖及其時(shí)間；不過實(shí)現(xiàn)起來較為復(fù)雜，但現(xiàn)在已經(jīng)可行。 （感謝 Texas Instruments 提供圖片）
要完全了解 ToF 原理，需要明白定義其工作原理的方程式，且要考慮一些不可避免的錯(cuò)誤來源，然后對其進(jìn)行補(bǔ)償。 整體 ToF 過程可通過兩種方式完成：光源以低占空比脈沖重復(fù)，或者由連續(xù)正弦波或方波源進(jìn)行調(diào)制。 若使用脈沖模式，反射的光能通過兩個(gè)異相窗采樣，這些采樣值用于計(jì)算到目標(biāo)的距離。 若使用連續(xù)模式，傳感器每次測量時(shí)取四個(gè)采樣值，每個(gè)采樣值偏置 90?，這樣便可計(jì)算照射和反射之間的相位角以及距離。
ToF 序列和計(jì)算的輸出是表示成像區(qū)域的點(diǎn)數(shù)據(jù)集合，術(shù)語“點(diǎn)云”由此而來。[1]
相對利弊：使用一個(gè)或兩個(gè)攝像頭的傳統(tǒng)成像，還是使用 ToF 方法，需要根據(jù)應(yīng)用的具體情況進(jìn)行判斷。 對于基本的檢測和缺陷識別，假設(shè)物體已知并且目標(biāo)在照明受控的環(huán)境中經(jīng)過特征提取/對比，那么提供二維圖像的單攝像頭通常是最佳選擇。 但是，若照明發(fā)生變化，ToF 可能會更好，因?yàn)樗艿江h(huán)境光線變化的影響較小。
對于使用兩個(gè)傳統(tǒng)攝像頭的三維成像，需要以機(jī)械和安裝問題為起點(diǎn)從多方面考慮并做出決定。 即使這些都不是問題，處理圖像的系統(tǒng)也必須采用功能強(qiáng)大的算法，以解決“對應(yīng)”問題，即將一個(gè)攝像頭中場景中的點(diǎn)和另一個(gè)攝像頭中場景中的相同點(diǎn)匹配。 這樣做需要大量顏色或灰階變化，深度準(zhǔn)確性通常由于成像場景的不均勻表面而受到限制。 相比之下，ToF 系統(tǒng)受到機(jī)械問題、照明與對比度問題的影響較小，不需要三維結(jié)果的圖像對應(yīng)匹配。
鑒于具有響應(yīng)快、處理大范圍客觀特征的能力，以及生成的點(diǎn)云的本質(zhì)，ToF 系統(tǒng)非常適合于在自主駕駛車輛中將手勢、面部或身體姿勢轉(zhuǎn)換為命令，以及捕捉周圍環(huán)境。 然而，由于許多基礎(chǔ)成像攝像頭已成為市面上的常見設(shè)備，因此使用傳統(tǒng)的單個(gè)或兩個(gè)攝像頭配置的解決方案成本更低。
實(shí)現(xiàn)：ToF 系統(tǒng)有五個(gè)主要的功能塊：
光源：生成精確定時(shí)的光源脈沖的元件
光學(xué)器件：對焦傳感器上的光線對焦鏡頭；可能還帶有光學(xué)帶通濾波器，以降低環(huán)境光線的“噪聲"
圖像傳感器：用于捕捉從被照射場景反射回的光線
管理電子元件：控制發(fā)光單元和圖像傳感器，并使其同步
計(jì)算單元和接口：根據(jù)發(fā)出光線與返回光線的時(shí)間差以及感測到的光子計(jì)算距離
選擇光發(fā)射器和成像傳感器是配置 ToF 系統(tǒng)的第一步。 發(fā)射器選擇包括二極管，如 Vishay VSMY1850x01，這是一種專用于高速運(yùn)行的 850 μm IR 器件。 該器件支持由 100 mA 驅(qū)動的 10 納秒上升和下降時(shí)間，使其適合脈沖模式。
傳感器或像素陣列是 ToF 系統(tǒng)的核心，現(xiàn)在已能作為更大、集成度更高的設(shè)備的一部分提供，如 Texas Instruments OPT8241 飛行時(shí)間傳感器/控制器 IC（圖 6）。 如簡化型框圖（圖 7）所示，該器件包括傳感器源（上述項(xiàng)目 3）、控制電子元件（項(xiàng)目 4），并且可向諸如 OPT9221 飛行時(shí)間控制器等協(xié)同處理器提供數(shù)字化反射數(shù)據(jù)，處理器可利用數(shù)字化傳感器的數(shù)據(jù)計(jì)算深度數(shù)據(jù)。 OPT9221 還具備各種校正功能，包括抗鋸齒、非線性補(bǔ)償和溫度補(bǔ)償。
圖 6：使用 TI OPT8241 搭配 OPT9221 計(jì)算引擎，設(shè)計(jì)人員可以通過適度的硬件工作和相對較新的元件搭建 ToF 系統(tǒng)。
圖 7：OPT8241 的簡化型內(nèi)部框圖表明其用于實(shí)現(xiàn) ToF 前端時(shí)具有一定復(fù)雜性；包括調(diào)制控制和照明 LED 驅(qū)動器。 （感謝 Texas Instruments 提供圖片）
正如設(shè)計(jì)用于不僅能夠捕捉場景，還能以一致、有用的方式進(jìn)行的任何視頻系統(tǒng)一樣，ToF 軟件的設(shè)計(jì)并不繁瑣。 TI 提供詳細(xì)的用戶指南[2]、估算工具，以便設(shè)計(jì)人員評估性能和參數(shù)的相互作用，如深度分辨率、二維分辨率（像素量）、距離范圍、幀率、視場 (FoV)、環(huán)境光和物體的反射率。
結(jié)論
機(jī)器人系統(tǒng)的設(shè)計(jì)人員始終面臨如何提供細(xì)節(jié)清晰的“周圍環(huán)境感測”的挑戰(zhàn)。 幸運(yùn)的是，如今的設(shè)計(jì)人員可以采用高性能、功能強(qiáng)大、相對低成本的技術(shù)，包括紅外成像、傳統(tǒng)視頻攝像頭、甚至基于飛行時(shí)間原理的 LIDAR。 因此，由于它們的整體功耗較低，許多全套設(shè)計(jì)采用這些方法的組合，以克服任何單一技術(shù)的缺陷，從而提供更全面的多維度圖片。
參考文獻(xiàn)：
"Time-of-Flight Camera - An Introduction," Texas Instruments
"Introduction to the Time-of-Flight (ToF) System Design," Texas Instruments
