在智慧視覺領(lǐng)域，面對(duì)橫向路段或特別廣闊的場(chǎng)景，單攝像頭視場(chǎng)角十分有限，故需要多個(gè)攝像頭才能"看到"整個(gè)畫面，同時(shí)，或需要多個(gè)屏幕，或需要不斷切換畫面，給使用者帶來極大不便；如果使用魚眼鏡頭，畫面變形又太過夸張，因此，基于實(shí)際應(yīng)用中的大場(chǎng)景需求，為旌科技海山系列旗艦產(chǎn)品VS839，可提供單芯片“全景拼接”方案，全領(lǐng)域"觀看"，感知無盲區(qū)。
01 全景視野，大場(chǎng)景感知
為旌科技于6月7日正式發(fā)布的為旌海山旗艦產(chǎn)品VS839，內(nèi)置全景拼接算法(Any View Stitching，簡(jiǎn)稱AVS)，可支持2路或4路sensor拼接，其中，2路拼接支持每路3840*2160@30fps輸入，拼接后4320x3840@30fps輸出；4路拼接支持每路2688*1520@30fps輸入，拼接后6080x2688@30fps輸出。（下圖示例有圖像壓縮損失）
4路輸入畫面
拼接后圖像
為旌全景拼接方案可實(shí)現(xiàn)多路視頻數(shù)據(jù)采集、曝光均衡和多幀同步，有效克服視頻拼接重影和錯(cuò)位現(xiàn)象，將多角度采集的視頻數(shù)據(jù)一體化呈現(xiàn)，視場(chǎng)角超過180°，有效解決信息盲區(qū)問題，同時(shí)保證了目標(biāo)對(duì)象數(shù)據(jù)采集的連續(xù)性。
采用支持全景拼接方案的為旌海山VS839，客戶可以完全擯棄“一桿多設(shè)備”的做法，水平方向視角最大可以支持360°，實(shí)現(xiàn)大場(chǎng)景全景感知無盲區(qū)。
為旌全景拼接方案包含圖像標(biāo)定和圖像拼接兩部分，下文將分別闡述。
02 圖像標(biāo)定
AVS可對(duì)多路輸入圖像按照指定模式進(jìn)行拼接輸出。但要保證拼接效果達(dá)到最優(yōu)，拼接前對(duì)鏡頭內(nèi)參、外參進(jìn)行標(biāo)定是最為重要的一步。方案主要針對(duì)以下幾個(gè)方面進(jìn)行圖像標(biāo)定：
LSC(Lens Shade Correction)：由于Lens的光學(xué)特性，Sensor影像區(qū)邊緣區(qū)域接收光強(qiáng)比中心小，會(huì)造成中心亮、四角偏暗的現(xiàn)象，這就是鏡頭暗角。在拼接場(chǎng)景下，圖像的重疊區(qū)一般位于圖像邊緣，而暗角變化相反，導(dǎo)致相鄰兩路圖像在重疊區(qū)的亮度有一定差異。因而完成LSC后，拼接處會(huì)獲取更加自然的圖像效果。
AWB(Automatic White Balance)：在不同色溫光源下，會(huì)對(duì)采集圖像中物體的真實(shí)顏色產(chǎn)生影響，例如：在高色溫光源下，白色物體偏藍(lán)，在低色溫光源下，白色物體偏紅。為了使采集物體的顏色更加接近理想光源下物體的顏色，也更加符合人眼的視覺感知，會(huì)對(duì)圖像進(jìn)行AWB(自動(dòng)白平衡)處理。
一般相機(jī)中的白平衡模式
CCM(Color Correction Matrix)：采集物體的顏色除受光源影響外，還會(huì)受到鏡頭、濾光片、傳感器光譜響應(yīng)等的影響，所以，為了使采集物體顏色信息更接近人眼的期望值，還需要對(duì)圖像進(jìn)行CCM(色彩校正)。
拼接標(biāo)定：完成LSC、AWB、CCM 等處理后，進(jìn)入拼接標(biāo)定環(huán)節(jié)。以下圖4路拼接標(biāo)定為例，1號(hào)標(biāo)定板位于sensor1與sensor2的重疊區(qū)，2號(hào)標(biāo)定板位于sensor2與sensor3的重疊區(qū)，3號(hào)標(biāo)定板位于sensor3與sensor4的重疊區(qū)(一般重疊區(qū)占圖像比例在10%左右)。上述環(huán)境搭建好后，將4路sensor所拍圖像與待拼接機(jī)器參數(shù)一同輸入拼接工具，即可得到此拼接機(jī)器的標(biāo)定查找表。查找表會(huì)在重疊區(qū)域融合時(shí)用到，以保證拼縫處無重影，過渡自然。
4路拼接標(biāo)定示意圖
03 圖像拼接
AVS方案的第二步是圖像拼接，內(nèi)部處理流程由幾何變換(Transform)、相鄰重疊區(qū)融合(Blend)、亮度矯正(Gain correction)三個(gè)部分組成。
幾何變換：AVS 按照展開時(shí)的投影模式來分可以分成三種投影模式，分別為等距柱面投影、柱面投影、直線投影。為旌科技全景拼接方案支持上述三種投影方式，滿足不同應(yīng)用場(chǎng)景需求。另外在幾何變換中完成姿態(tài)角(Yaw、Pitch、Roll)與投影中心點(diǎn)調(diào)節(jié)，可以對(duì)圖像進(jìn)行畸變校正，使得拼接圖像無錯(cuò)位歪斜。
示例：柱面投影
重疊區(qū)融合：經(jīng)過上述變換并且畸變校正之后，根據(jù)標(biāo)定時(shí)的查找表，由硬件對(duì)重疊區(qū)域進(jìn)行融合，在目標(biāo)拼接距離附近，重疊區(qū)域融合之后無重影、無錯(cuò)位，圖像清晰流暢。
亮度調(diào)節(jié)：亮度增益控制分為兩部分，首先會(huì)在為旌瑤光ISP中調(diào)節(jié)AE(自動(dòng)曝光)，完成各路圖像亮度調(diào)節(jié)，保證各路圖像亮度一致。之后，拼接后的圖像亮度會(huì)由ISP再進(jìn)一步調(diào)節(jié)，以滿足不同場(chǎng)景及客戶對(duì)圖像亮度的需求。
