NEC與日本國立大學(xué)法人東京工業(yè)大學(xué)工學(xué)院奧富正敏教授、田中正行特定副教授的研究團隊（以下簡(jiǎn)稱(chēng)東京工業(yè)大學(xué)）共同開(kāi)發(fā)了"多模（注1）圖像融合技術(shù)"，通過(guò)AI技術(shù)將一般攝像頭拍攝的可見(jiàn)光圖像與熱成像相機拍攝的非可見(jiàn)光圖像進(jìn)行自動(dòng)高效合成，且提高了單個(gè)圖像拍攝時(shí)的視覺(jué)識別度。

　　在需要瞬時(shí)視覺(jué)識別的各個(gè)領(lǐng)域中利用此項技術(shù)，即便在惡劣條件下也可以實(shí)現正確判斷。例如，夜間或濃霧等惡劣天氣條件下也可以正常進(jìn)行的設施監控；即便迎面行駛汽車(chē)的刺眼的車(chē)燈及黑暗造成視覺(jué)死角也可以使用的自動(dòng)駕駛支持；不僅可以監測建筑表面的裂縫，還可以監測其內部異常的基礎設施點(diǎn)檢等。

　　以往想要合成不同種類(lèi)攝像頭拍攝的圖像需要專(zhuān)家進(jìn)行復雜的手動(dòng)合成作業(yè)。而此技術(shù)則將各種攝像頭采集的圖像通過(guò)AI技術(shù)自動(dòng)高效合成，無(wú)需手工操作。并且充分利用可見(jiàn)光圖像和非可見(jiàn)光圖像各自的優(yōu)勢，即便是以往人眼難以看清的場(chǎng)景也可以獲得較高的視覺(jué)識別度。

　　NEC與東京工業(yè)大學(xué)今后也將繼續通過(guò)產(chǎn)學(xué)合作形式共同研發(fā)支撐各項社會(huì )基礎設施安心安全運轉的圖像處理以及AI相關(guān)技術(shù)。

　　近年來(lái)，在圖像傳感器的不斷升級及成本持續下降的背景下，將熱成像攝像頭及可捕捉物體內部構造的X光・太赫茲波・毫米波攝像頭等非可見(jiàn)光攝像頭應用到夜間、濃霧等惡劣天氣、逆光、遮蔽等不利條件下的監控及診斷的情況越來(lái)越普及。但是這些非可見(jiàn)光攝像頭比可見(jiàn)光攝像頭的分辨率和畫(huà)質(zhì)都要低，視覺(jué)識別起來(lái)很困難，因此需要將可見(jiàn)光攝像頭與之配合在一起使用，通過(guò)對比雙方的圖像進(jìn)行監視和診斷。因此，想要快速精準地判斷對象物體的狀況是比較困難的。為解決這個(gè)課題，最好的辦法就是將兩種圖像合成一個(gè)圖像，但是過(guò)去的合成辦法需要精通攝像頭和攝影環(huán)境的專(zhuān)家親自手動(dòng)調整，從各自單獨的圖像中抽取出適于合成的部分，一邊注意防止過(guò)度曝光和曝光不足以及噪點(diǎn)增強破壞圖像等問(wèn)題，一邊進(jìn)行復雜的圖像合成作業(yè)。另外，在非可見(jiàn)光中包含的用于判斷異常及危險物的特征很可能因為合成造成丟失，這也是一個(gè)重要課題。

　　NEC與東京工業(yè)大學(xué)通過(guò)學(xué)習了專(zhuān)家的變換技能的AI技術(shù)，將可見(jiàn)光攝像頭與非可見(jiàn)光攝像頭拍攝的圖像自動(dòng)高效統合，提高對象物・狀況的視覺(jué)識別度，共同開(kāi)發(fā)了即便在惡劣環(huán)境下也可以快速判斷是否存在異常或危險物的"多模圖像融合技術(shù)"。

圖1：本技術(shù)適用例(注2)

　　AI技術(shù)自動(dòng)從多個(gè)圖像中選擇出視覺(jué)識別度高的圖像，并在強調非可見(jiàn)光中包含的細小特征的同時(shí)進(jìn)行圖像合成，從而實(shí)現打破以往局限性的高度視覺(jué)識別。

　　AI技術(shù)會(huì )根據熱成像攝像頭、太赫茲攝像頭等攝像頭種類(lèi)、環(huán)境特征（亮度、光線(xiàn)方向、有無(wú)障礙物）等不同條件，對圖像內各部分的視覺(jué)識別度的高低進(jìn)行評價(jià)，從而從各個(gè)圖像中自動(dòng)抽取出最適宜的部分。

　　此外，AI技術(shù)在處理非可見(jiàn)光攝像頭拍攝的圖像時(shí)，會(huì )針對異常及危險物的細小特征進(jìn)行解析，進(jìn)行適當的強弱調整以避免因過(guò)度曝光及曝光不足而破壞圖像，從而自動(dòng)生成以往無(wú)法實(shí)現的高視覺(jué)識別度的多模（可見(jiàn)光-非可見(jiàn)光）融合圖像。

　　(注1) Multimodal（多模）

　　多種模式、形態(tài)。本文中提到的多模是指可見(jiàn)光攝像頭拍攝的圖像和紅外線(xiàn)攝像頭等非可見(jiàn)光攝像頭拍攝的圖像。

　　(注2) 獲得創(chuàng )新研發(fā)推進(jìn)項目（ImPACT）Tough Robotics Challenge關(guān)于惡劣環(huán)境模擬設備的許可并使用。