央廣網(wǎng)上海9月21日消息（記者傅聞捷 通訊員龔凡）“從上海中心的合適位置，整個外灘的人流細(xì)節(jié)都能看得一清二楚。”讓復(fù)旦大學(xué)微電子學(xué)院/工程與應(yīng)用技術(shù)研究院教授曾曉洋“夸下海口”的不是望遠(yuǎn)鏡，不是攝像頭，而是由其領(lǐng)導(dǎo)的團隊自主研發(fā)的五億級像素云相機系統(tǒng)。基于這一系統(tǒng)研發(fā)的五億像素智能視頻瞭望相機亮相2019年中國國際工業(yè)博覽會。
這一團隊由復(fù)旦大學(xué)微電子學(xué)院副教授范益波作為圖像、智能與電子系統(tǒng)技術(shù)負(fù)責(zé)人，長春光機所研究員黃瑋作為光機系統(tǒng)技術(shù)負(fù)責(zé)人，復(fù)旦大學(xué)微電子學(xué)院副研究員荊明娥作為圖像算法技術(shù)負(fù)責(zé)人。
目前，先進的單反相機分辨率可達千萬像素級別，對圖像的刻畫已經(jīng)非常細(xì)致。五億級像素相機拍出照片會是什么樣？人眼能分辨的極限像素是1.2億，五億級的超高像素意味著相機能捕獲極其細(xì)致入微的圖像細(xì)節(jié)，即便在能容納幾萬人的偌大體育場，拍攝一副全景照片也可以獲得每張人臉的清晰圖像。如果加上人工智能的助力，這款相機還能進行海量數(shù)據(jù)人臉等目標(biāo)的檢測與識別，瞬間發(fā)現(xiàn)特定目標(biāo)。
拍得廣，看得清，找得準(zhǔn)，這款不一般的“高能”相機，或?qū)⑺⑿氯藗儗鹘y(tǒng)相機的認(rèn)知。
打破定式，不對焦也能看得清
要使被拍攝物成像清晰，傳統(tǒng)相機的聚焦操作是必不可少的關(guān)鍵環(huán)節(jié)。“看得清和看得廣對傳統(tǒng)相機來說是一對矛盾，如兩千萬像素全部分配到一萬個人身上，每個人像就只有20個像素，一定無法看清楚人體目標(biāo)了。”曾曉洋說，既想看得清，又想看得遠(yuǎn)，還要看得廣，在現(xiàn)有的相機條件下，根本就是一個悖論。“但如果相機的像素能達到兩億、五億或者十億呢？那么即使是十萬個人也能拍得清楚了。”
當(dāng)下，覆蓋地域廣、涵蓋目標(biāo)多的高像素照片是怎樣產(chǎn)出的呢？后期處理是現(xiàn)行的唯一途徑：針對目標(biāo)物體進行多次拍攝，再依靠后期圖像處理與拼接技術(shù)將這些單幅圖像逐一拼接，合“多”為“一”。但這種方法的劣勢顯而易見，既費時間（幾小時到幾天時間），也要消耗大量能量。“比如從高空進行拍攝，現(xiàn)在普遍使用無人機，但無人機的續(xù)航時間有限，按照現(xiàn)在的拍攝方式，人們獲取超高清晰圖像非常困難。”曾曉洋介紹，目前使用的衛(wèi)星實時導(dǎo)航所依據(jù)的路況地圖都是靠后期“P”出來的，難度很大，成本極高。
“超遠(yuǎn)距離拍攝”“超高清細(xì)節(jié)”“超快速成像”，這三個條件要想同時“成立”，還得從大幅提高相機像素入手。不對焦也能拍得清楚，五億級像素云相機系統(tǒng)的出現(xiàn)，從技術(shù)層面打破了傳統(tǒng)拍照的定式規(guī)則，實現(xiàn)了“不可能”。
硬件升級，芯片創(chuàng)新實現(xiàn)顛覆性改變
幾年前，在軍方的資助下，美國研發(fā)出世界上第一臺億級像素相機，其運用的“陣列外拼接成像原理”將千萬級像素照片進行軟件拼接，CMOS圖像傳感器呈陣列式分布，相互錯開、互補排列，最終通過后續(xù)軟件圖像拼接得到完整的大視場超高分辨率視頻和圖像。但高像素光學(xué)鏡頭的陣列排布大大增加了相機體積。“順著這個思路，當(dāng)像素提升到五億級時，尤其是需要視頻圖像時，相機系統(tǒng)體積會變得非常大，并且實時視頻拼接基本上不可能實現(xiàn)。”曾曉洋認(rèn)為，這個方案潛力有限，“走不遠(yuǎn)”。
什么才是“有后勁”“能發(fā)展”的思路？經(jīng)過長時間的研究，曾曉洋團隊實現(xiàn)了一種創(chuàng)新性的億極像素成像技術(shù)。“同樣還是拼接成像原理，但我們使用了創(chuàng)新的共心復(fù)合尺度的光學(xué)成像方案，將陣列式的光學(xué)成像鏡頭大幅縮減為‘一’，采用兩級分光成像來進行多路CMOS圖像傳感器成像。”這樣，也對分光系統(tǒng)的精度提出了很高要求，不同光路對目標(biāo)進行成像，如果精度 “差之毫厘”，拼接后圖像則“謬以千里”。
除了超高分辨率的照片，對這款高性能的云相機來說，拍同樣分辨率的實時視頻也“不在話下”。實時視頻對相機的計算速度和運行效率都提出了更高的要求：每次成像都是上百張千萬級像素的照片高精度無縫拼接而成，而連續(xù)視頻應(yīng)該在每秒25幀畫面，這相當(dāng)于在一秒鐘之內(nèi)把拼接成像過程重復(fù)至少25次。顯然，這種情況下，相機系統(tǒng)的計算量大到人們難以想象的程度。目前，曾曉洋團隊研發(fā)的三/五億像素的云相機系統(tǒng)實現(xiàn)了“共心復(fù)合尺度光學(xué)成像”和“硬件億級像素實時視頻圖像拼接”，十億級及以上像素的云相機系統(tǒng)關(guān)鍵技術(shù)也處于攻關(guān)狀態(tài)。
“平時在APP上追劇，視頻分辨率一般是1080P，超級會員能看到4K高清，再高分辨率也看不了了，網(wǎng)絡(luò)帶寬跟不上。而我們云相機的像素分辨率是五億，這可是4K的百倍。”
“超高的分辨率同時意味著超大的數(shù)據(jù)量，但目前無線傳輸系統(tǒng)的數(shù)據(jù)帶寬成為瓶頸問題。解決這一問題的辦法就是及時找到超高清圖像中的感興趣目標(biāo)部分。”曾曉洋說，要把需要傳輸?shù)臄?shù)據(jù)量降下來，傳輸效率提上去，就得提高相機系統(tǒng)實時識別目標(biāo)的能力，針對特定目標(biāo)智能地進行尋找、鎖定和識別。“而這就像在一倉庫的糧食里面，有一粒是壞的，我們想把那粒壞的找出來，這太不容易了，所以要有智能化的方法。”將范圍縮小，再將特定區(qū)域特定目標(biāo)的相關(guān)影像進行傳輸就容易得多了。“既能遠(yuǎn)視，也得有準(zhǔn)頭。”
“世界首款海量數(shù)據(jù)視頻圖像硬件拼接專用芯片”、“人工智能處理硬件加速引擎專用芯片”，這兩款自主創(chuàng)新的芯片正是曾曉洋團隊讓五億級像素云相機系統(tǒng)能拍照、拍視頻，能“有準(zhǔn)頭”的“獨門武器”。“功耗降下來、體積小下來全靠芯片技術(shù)，把上述兩款芯片做出來是實現(xiàn)我們整個系統(tǒng)技術(shù)突破的核心。”曾曉洋說，這也是復(fù)旦大學(xué)承接該項目的主要原因，是我們專用集成電路與系統(tǒng)國家重點實驗室的使命所在。
工業(yè)量產(chǎn)，“神奇盒子”大有所為
將億級像素相機系統(tǒng)獲取到的海量視頻圖像數(shù)據(jù)都放在“云端”統(tǒng)一的數(shù)據(jù)中心，全世界的人們都有機會登陸來獲得超高清晰的圖像視頻數(shù)據(jù)，這也就是曾曉洋團隊“云相機”概念的出發(fā)點。
五億級像素云相機的出現(xiàn)，將會給人們的生活帶來哪些便利？曾曉洋介紹，這款相機系統(tǒng)在國防、安防和民用等領(lǐng)域都具有廣泛的應(yīng)用前景。
就大城市安防應(yīng)用而言，傳統(tǒng)的安防監(jiān)控系統(tǒng)把城市區(qū)域分割成了一個又一個的小方塊，遍布大街小巷的攝像頭對每一個小區(qū)域進行實時監(jiān)控，就是因為一個個“小炮筒”的分散，傳統(tǒng)安防監(jiān)控系統(tǒng)很難對街道、機場、地鐵等視域?qū)掗煹墓矆鏊械能嚵鳌⑷肆鞯冗M行整體性的評估和預(yù)判。而五億級像素云相機系統(tǒng)的加入可有效解決這個傳統(tǒng)安防監(jiān)控方案的痛點。“假如在上海中心合適位置布置我們的五億級像素云相機系統(tǒng)，可以實時掌握整個外灘的大人流分布情況，從而極大助力在特殊時期警力更有針對性的安排，更有效地防范意外事件的發(fā)生。”
與此同時，曾曉洋提到，因為“超遠(yuǎn)距離”“高清成像”的特性，出于保護個人隱私的考慮，超高像素云相機的出現(xiàn)也對相關(guān)法律法規(guī)的跟進提出了要求。“海量視頻圖像數(shù)據(jù)的獲取都得有監(jiān)管，畢竟強有力的安防和個人隱私的保護得有平衡。”
國產(chǎn)自主創(chuàng)新的五億級像素云相機系統(tǒng)是復(fù)旦大學(xué)和中國科學(xué)院長春光學(xué)精密機械與物理研究所協(xié)同創(chuàng)新的最新科研成果，也是兩個單位、兩個國家重點實驗室團隊緊密合作的結(jié)果。2017年10月，億級像素的云相機系統(tǒng)研發(fā)成功，獲取了超過三億像素的超高清視頻圖像。這款相機外形類似和日常使用的投影儀，“盒子”樣的“軀干”上探出了一個“鏡頭”的“腦袋”。目前，三/五億級像素云相機已投入工業(yè)量產(chǎn)，它們作為五億級像素相機的“探路者”和“試驗田”，率先在各個相關(guān)領(lǐng)域發(fā)揮作用。
