快刀依莊防,博士,泰伯網海外特約專欄作者。傣族,出生于西雙版納,目前就職于Dev錢妹elopment Seed(美國華盛頓特區),是一南白位機器(qì)學習算法工程師(shī)。
作者: 依莊防
人工智能不可(kě)阻擋地向各行業(y近現è)滲透。這一現象,恰巧撞上了“商(shāng)業(y木線è)遙感衛星發射潮”。這似乎預示了某種潛流。此刻,從事衛師從星遙感影像解譯和(hé)大數據提取的專業費如(yè)人士、科研人員、政府部門和(hé)企業(yè)都躍躍欲試:恨不得在錯聽獲取數據的同時,一股腦兒在衛星上直接解譯、處理和(hé)打包,地秒船面接收站(zhàn)再根據用戶需求分發。
顯然,這種願景目前還無法實現。商(shāng)業(yè)衛星影像厭嗎本身數據量龐大,有很多難點尚未攻關(guān爸道)。不過,在高分辨率影像應用領域,市場和(hé)科研都有一些亮(liàn術些g)眼的成果——它們讓高分遙感從獲取、解譯到數據分配的一條龍服務的願景中弟成為可(kě)能。
(注:目前熱議的人工智能,其實包括了很購們多領域和(hé)應用。講真,所有可(kě)以用機坐東器(qì)代替人工來做,特别是重複性強的,在媒體報道中(zhōn中間g)都統稱人工智能。本文(wén)所指的人工智能,具體指用機器校拿(qì)學習、深度學習等計算機視覺技術(shù)去小子分析、解譯高分遙感數據。)
所以,隻有充分了解高分辨率遙感影像的直接道和應用難度,才能為人工智能與遙感的結合,構建合理的想像。
高分遙感應用難度
難度1. 數據大
高分遙感影像的分辨率越大,其數據就越大。
30米分辨率指的是遙感影像上每一個(gè)像素對應的地物門習是30米x30米。比如(rú)地面120米 x 120米的件低地塊,在分辨率為30米的衛星影像圖上是16個(g了道è)像元,但是在3米x 3米的衛星影像上就是公水1600個(gè)像元,到了30厘米 x 3森長0厘米的衛星影像圖中(zhōng)則變成了160000個(gè)姐水像元。
分辨率越高記錄的數據信息越詳細,不僅冷術僅是像元随着高分影像增大,其每個(gè)像元的信息複雜性也在增加很機,因此高分遙感影像分辨率的提高和(hé)其更低分辨率影像之間的文(wén睡志)件大小不是線性關(guān)系。
難度2. 分析難
分辨率越高,信息量越大,數據提取就越難。
同一個(gè)地點,高分辨率遙感影像随着分辨率越高獲取的地山森面數據越多,信息越複雜,就越難提取有用的信息。
如(rú)果在一二十年前用Landsat衛星影像(30米分辨率個身)做一個(gè)縣市級别的土(tǔ)地利用分類工作,直接把數據導入地理信息和煙錢(hé)圖像解譯工作平台(ERDAS,ENVI和(hé)ArcGIS等等)大概他事都可(kě)以作出個(gè)産品來。但是如(rú)果衛星影弟答像分辨率達到了30厘米(相當于30m分辨率高出100倍的精度):雜為30米分辨率時隻能看到大概的形狀,30厘米物暗就可(kě)以看到路(lù)上行駛的車(chē)輛了——遙感影像哥相分辨率越高,精度越高,可(kě)以觀察到的地物就越多,那麼在衆多繁雜的信息拿哥中(zhōng)分辨出有用信息的難度就越大。
普通(tōng)影像處理軟件處理分辨率越高的影像就越困難,小火此時人工智能的作用就凸顯了。高性能超級計算機,可(kě)以不知多線疲倦地實時處理人工和(hé)普通(tōng)影像處理軟件無法完成的工作。
Digital GlobeWorldView-3影像兩個(gè)分辨請師率對比圖,左圖是分辨率為1.24米(文(wén)件大小為1.7M),右圖土上分辨率是0.31米(圖片大小是10.2M)
難度3. 可(kě)用性不确定
解譯數據的可(kě)用性。
這時,可(kě)能會有遙感專業(yè玩舞)的同事說,信息量大,正是高分辨率遙感的魅力所在。這話是沒有錯的。
下(xià)面咱們還要講怎麼使用人工智能遙感從高分辨率遙感影像中(zhō話不ng)提取有用的信息。但是在實現這一步之前,有一個(gè)不可(相雜kě)忽視的細節難度——分辨率越高的影像解譯和(hé)提取的信還快息越多,處理不好,反倒可(kě)能使得結果沒辦法用。
我們從高分辨率影像中(zhōng)提取的數據,最終目的是希望可(k聽樂ě)以放在地圖上,供專業(yè)人士或者普快西通(tōng)市民使用。基本上很多計算機視覺裡面使畫妹用到機器(qì)學習和(hé)深度學習(比如(rú城小)圖像分割、對象檢測和(hé)圖像分類)都可(化人kě)以在高分辨率遙感中(zhōng)應用。
無人駕駛汽車(chē)使用的機器(qì)學習算法是圖像分割,即該車(間子chē)在街道上行駛時不斷的拍照和(hé)解讀,學就哪裡是道路(lù)、道路(lù)邊界、行道樹(sh北城ù)和(hé)行人。從高分辨率遙感解譯信息其實也是這麼一回事,從圖像分割舞這中(zhōng)知道哪裡是樓房(fáng)、道路(lù好近)、橋梁、樹(shù)林、機場等等。
和(hé)一般計算機視覺不同的是,高分遙匠裡感提取的數據需要放在地圖上,就是說這數據不僅要在機器(qì)學計跳習(人工智能)模型中(zhōng)達到好的精度,還要有準确的地理信息上體(比如(rú)經緯度等等)——這最終才有可(kě)用和不性。
比如(rú)咱們用圖像分割中(zhōng)解譯出來的道路(lù)秒我在地圖上向右平移了5米,或者解譯出來的樓房(fá商務ng)缺了三分之一等等。那麼數據要用到現實生活,如(rú)導航或者計算建築河日面積,就沒啥用了。
難度4.其他
高分辨率遙感影像本身特點帶來的問(w可煙èn)題。
除了以上高分辨率遙感影像文(wén)件大、信息複雜、信息提取難度高、以及人務司工智能模型結果的可(kě)用性不确定等因素之外,高分辨率遙感影像本身還就國存在以下(xià)問(wèn)題:
①雲層覆蓋。大家擡眼看天空,雲層千變萬化。不同的季節和(業都hé)地區雲層覆蓋不一。一旦衛星影像研究區域路草的雲覆蓋率到了10%以上就很難從中(zhōng)提取好的數據。當但讀然這個(gè)問(wèn)題在商(shāng)業(yè)小衛星覆蓋率高的地體員區,衛星可(kě)以在短(duǎn)時間内重複性數爸的訪問(wèn)一個(gè)地點,或者在天氣晴朗的時候使用無人機獲取數據坐民等,是可(kě)以解決這個(gè)問(wèn)題的。
②時空分辨率的取舍。空間分辨率,是到目前一直強調的高會照分辨率。而時間分辨率指的是遙感影像以多高的頻率獲取,比如嗎章(rú)是一天拍一次上海,還是一個(gè)月草森(yuè)一次,還是一年一次。
高分辨率衛星影像不僅僅處理和(hé)兵數解譯難,獲取的費用也是不菲的。因此沒有長期的快白研究、資(zī)金支持和(hé)投入,沒有市身為場需求,同時開發的高分遙感産品不能在時間或空間分辨率中(zhōng城又)占得優勢的話,企業(yè)很難在市場上存活。比如(rú)美海外國Digital Globe,它的衛星影像是根據客戶需要去采集數據,門窗它最好的數據産品WorldView-3和(hé)4的分辨愛森率可(kě)達0.31米。Planet Lab的商(微地shāng)業(yè)模式則不同,它是通(tōng)如能過提高時間分辨率但(部分)放棄空間分辨率(他們的最高分辨率的衛星影像他這産品是1米空間分辨率),以實現每周生成覆蓋全球的遙感影像愛務。當然,Planet同時也在提高衛星影像的空間分辨率來搶占市場。
③波段多,難以取舍。和(hé)計算機視覺的機器(qì)學習、人工智能窗不模型中(zhōng)大部分隻是用紅綠藍三個(gè)色相通(tōng)道(就是普開是通(tōng)的照片)不同,高分辨率遙感影像可(kě)以有十幾到上百個(g農喝è)波段,不同的地物解譯和(hé)圖像分割可(kě)選取不通(tōng)費術的波段組合。但是選擇多了也很痛苦,因為目前高分算一率波段組合和(hé)選擇在機器(qì)學習(人工智能)上的應用還沒有足夠路線積累。
人工智能和(hé)高分遙感的結合
人工智能和(hé)高分辨率遙感可(kě)以說是天作之合。
高分辨率遙感影像的存在是為了能讓我們實時監測地面發生的變化。比黃拍如(rú)一個(gè)城市哪裡新建了房(fáng)屋,哪裡新建了道路(相秒lù)橋梁;農業(yè)上哪一個(gè)作物得了病蟲害章相;或者哪一個(gè)地區發生旱災澇害,要怎樣疏導災車電民,如(rú)何重建。也有保險公司在實時監測用戶的屋頂材料和(hé村是)冰雹雪(xuě)災之間的聯系,從而為拓展房(fáng)屋保險業(yè綠討)務提供服務。人工智能可(kě)以讓我們大影車規模、智能化、實時性的實現數據提取。
前面說了那麼多困難,那麼,人工智能和(hé)高分辨率站報遙感影像解譯能結合嗎?能有未來嗎?答案是肯定的。訊藍下(xià)面待我給大家一一解讀。
傳統計算機視覺的新玩法
01.啥是機器(qì)學習(深度學習)
機器(qì)學習可(kě)以分為監督學習,非監督學習和多謝(hé)強化學習。
顧名思義,監督學習指的是告訴模型你(nǐ)認秒信為圖像裡哪是房(fáng)子(zǐ)哪是路(lù),人工多木智能就會建立原始衛星影像和(hé)你(nǐ)給的标簽(媽林房(fáng)子(zǐ),道路(lù))之間的數學關(guān)系。非監督內嗎學習就是不告訴模型哪是房(fáng)子(zǐ)哪是道路歌志(lù),模型根據衛星影像裡面的像元值對答農圖像進行分類。強化學習則是啥也不告訴模型,讓模型自花議己學習,并不斷強化。當然我這是往簡單裡說,具體的解身放釋大家可(kě)以參考其他機器(qì)學習的資(zī)料。
高分辨率遙感影像解譯用的最多的是監督學習。
第一排的兩張圖是監督學習中(zhōng)的圖像分割訓練數據(左圖是衛星理火影像圖,右圖是标簽數據——房(fáng)子呢制(zǐ)和(hé)道路(lù))。這個(gè)訓練圖集的關個音(guān)系就如(rú)同解方程式:其中(zhō生低ng)衛星影像圖就相當于X,标簽數據就是y,人工可輛智能模型就是在X和(hé)y中(zhōn得相g)找數學關(guān)系。然後我們可(kě)以通(tōng間關)過這個(gè)關(guān)系從未被人工智能模型訓練過的衛星影像圖中(農明zhōng)提取房(fáng)子(zǐ)和(hé)做媽道路(lù)的信息。
第二排的兩張圖是監督學不一習中(zhōng)的對象檢測訓練數據(左圖是衛星影像圖錢呢,右圖是房(fáng)子(zǐ)的對象檢測框)。
在第一排訓練數據訓練的圖像分割模型,就可(kě)以從高分辨率遙感影像都腦中(zhōng)找出衛星影像中(zhōng)哪一個(g頻長è)像元是房(fáng)子(zǐ)或者道路(lù)。第二排訓練數件歌據集訓練的模型則可(kě)以用來“找房(fáng)子(zǐ)”,中現這個(gè)方法一般可(kě)以用來數房(fáng)子(zǐ),即訊又可(kě)以用通(tōng)過新房(fáng)子(zǐ信司)在一段時間的建設數量來衡量區域經濟發展的速度。比如樂北(rú)第一排的訓練數據集可(kě)以通(t些公ōng)過在高分辨率遙感影像和(hé)标簽數據之間建立數學那做關(guān)系(這裡通(tōng)常通(tōng)過深度學習的方法)雪影,進而預測未知影像中(zhōng)的檢測朋關對象。
人工智能模型通(tōng)過輸入的高分辨率遙感影像和(hé)标簽數據謝如來預測檢測對象。圖中(zhōng)第一排是房(fáng)屋建築面積的預測章空模型,第二排是道路(lù)系統檢測模型。
02.高分影像和(hé)開放街道地圖(O間弟pen Street Map)為機器(qì)學習新歌弟玩法雪(xuě)中(zhōng)送炭
高分遙感影像數據量大,傳統的分析方法是下(xià)載一整片衛星影像,導入了不到可(kě)以用來分析這個(gè)影像的友得地理信息軟件中(zhōng)來分析。這項工作繁瑣、緩慢、不讨好,而且話街受各種不可(kě)知因素影響。沒有大量的人工投入很難用于應急,比如(錯唱rú)洪澇災害來了,隻能依靠過往的地圖和(多拿hé)模型信息積累來開展工作。
通(tōng)過區塊地圖服務(Tile Map Servic樂拍e)實現高分遙感的實時分享,以及開放街道地圖的存在,它們是未來人工智能去村在高分辨率遙感影像解譯方面長足發展的兩個(gè)重要基礎。要做到以上實時預測道時我路(lù)網絡,離(lí)不開這兩個(gè)基石。
03.區塊地圖服務(Tile Map Service多頻)
大家肯定熟悉百度地圖、高德地圖、必應衛星影像圖。照理來說機看,全球或整個(gè)中(zhōng)國的地圖數據那麼大,儲存了那麼低冷多數據,比如(rú)你(nǐ)喜歡的餐館、書店筆術、咖啡館、電影院等等,以及你(nǐ)上學、上班和(hé)回家的每一條路(l要制ù),還有千千萬萬同學的同學、朋友的朋友的住宅小區等等。數據會到那麼大,可(kě)是并不妨礙你(nǐ)一打開綠水手機就可(kě)以浏覽。
這得益于區塊地圖服務(當然還有其他的我見技術(shù),咱們先往簡單裡說),這個(gè)技術遠道(shù)可(kě)以使我們從全球地圖開始,點擊放大地圖20次就可(kě)以看空藍到世界上任何一個(gè)地區的街景。地圖在每一次放大過程中(zhōng森農)的信息量不一樣,在全球水平上是非常粗糙的國家級數據,放大20次在手機屏幕上玩術展示的信息就是你(nǐ)感興趣的街景圖。
在放大地圖的過程中(zhōng)越來越多的信睡生息被展現,在縮小的過程你(nǐ)會發現經常走的那條街不見了,慢慢的學校(xià村民o)在地圖上消失了,然後在全國地圖上你(nǐ)隻看到你(nǐ)的省我理會城市。
這和(hé)高分遙感影像實時分享有啥關(guān)山通系?說白了就是同一個(gè)道理。高分遙感簡單的說是你(n銀雪ǐ)可(kě)以放到最大看到的衛星影像圖,精謝錢細、信息量大。可(kě)以想像,這些塊狀的動視衛星影像就像地闆磚一樣(英文(wén)用詞是tile,很形象服到),分辨率為1米的塊狀衛星影像要覆蓋(鋪滿)整個(gè)中(zhōng)國大概亮行需要千萬億塊(960萬平方公裡)。可(kě)想而知要在這個(gè)分辨率尺度區務上解譯國家級别的數據,這個(gè)工作量和(hé)人工需求有多大,就更些民不要說比1米分辨率更高的高分辨率影像了。
商(shāng)業(yè)衛星影像公司可(kě)以通(tōng)過生信什成不同分辨率影像,來滿足不同的用戶需求。比如(rú)要做建築物占地面那藍積或者道路(lù)系統的人工智能模型,就會希望用到最高空關年間分辨率的影像(下(xià)圖提到的放大次數我們希望用到zo樂數om level 17以上的影像數據),但是家物做農業(yè)相關(guān)的土(tǔ)地利用圖就不很對需要高分辨率的影像。
區塊地圖服務可(kě)以從全球低分辨率的衛星影像放大的哥到高尺度的衛星影像。
04.開放街道地圖
開放街道地圖是以人人都可(kě)以編輯的世界地圖為其宗旨。全球有幾百萬會場呢員每天都在世界不同的國家和(hé)地區編輯和(hé)要商錄入數據。其中(zhōng)人道主義援助的貢獻特别突出,比如(r鄉關ú)海地和(hé)尼泊爾地震期間就有全球的志願者通(tōng)過高清衛說吧星影像編輯地圖,比如(rú)勾畫出哪個(gè)地段的道路(lù)和(女城hé)房(fáng)子(zǐ)被毀了,哪裡是最近的救援點和錢冷(hé)醫院等等。
開放街景地圖可(kě)以作為機器(qì)學習的她靜訓練數據集,特别是訓練數據中(zhōng)的标簽數據。我拿畫們最近開發了一個(gè)開放的python明吃數據包,叫做Label Maker。該數據包可(kě)以從開放街道地圖的AP信哥I匹配同個(gè)地區的Mapbox衛星空司影像來生成包括TensorFlow、MXNet、Pytorch、The媽銀ano和(hé)Keras框架下(xià)的科章深度學習訓練數據集。
我們在Label Maker的上面放了幾個(gè)亮數機器(qì)學習的案例,包括圖像分類和(hé)對象檢測我劇,大家可(kě)以去看看(我的中(zhōng)文(到哥wén)博客介紹)。
高分影像、開放街景地圖和(hé)Label M湖通aker,加上雲計算,可(kě)以實現很多以往傳統的中(zhōng)低他門分辨率遙感影像和(hé)傳統的衛星影像解譯無法做到的。SkyNet是我們做圖像來雜分割的一個(gè)機器(qì)學習方法,開放的,大家可(kě)以去玩玩。
我們用SkyNet可(kě)以實時從高分遙感影像中(zhōng鐵老)解譯道路(lù)系統。當然SkyNet她身的背後是劍橋大學在前幾年開發的SegNet技術(shù)家山。機器(qì)學習中(zhōng)的圖像分割(也是Sk說兵yNet)背後的技術(shù)是目前無人駕駛汽車(chē)中(zhōng)主要山從使用的計算機視覺技術(shù)之一。 我們又一現在還在開發更多、更新、運算更快的算法。北美和(hé)全球頻物都有很多類似的公司和(hé)機構,開發各議土種深度學習、傳統機器(qì)學習在高分辨率遙感影像解譯中(跳數zhōng)的應用軟件包和(hé)工具。希望未來可(kě)以給內子大家多多介紹。
高分遙慢謝感影像的出現和(hé)人工智能可(kě)以幫我們雨筆做很多事情。作為這個(gè)領域的專業(yè)人士,著電我們該從應用的角度出發,挖掘人工智能和(hé)高藍木分影像的應用。比如(rú)對于智能城市的建設,第一道數據冷數關(guān)口是我們的城市裡道路(lù)建設和(hé)房(fáng得多)屋狀況是怎麼樣的?哪裡發展最快,哪裡比較慢,為去讀什麼?洪澇災害來了哪裡會受災比較嚴重?醫院學近金校(xiào)都建在哪裡,其他的公共設施都建在哪裡?
高分遙感的實時更新以及人工智能的快速運算,司秒需要能夠回答智能城市建設的最基本問(wè紙都n)題。比如(rú)下(xià)圖,通(tōng生現)過對比人工智能模型的建築占地面積預測結果和(hé)已經在地圖上标記的建錢費築占地面積,就可(kě)以找出一個(gè)城市兒友哪些建築是新的、還沒有标記在地圖上的。開放街景地圖的制圖任務管理人員可月老(kě)以号召制圖志願者到這些地方添加沒有地圖标舊嗎記的建築物。同樣的道理,人工智能和(hé)高分辨率遙感影像的結合,火雪除了可(kě)以幫城市規劃機構标記城市化的進程外,遙感的多光譜朋很波段還可(kě)以“看見”城市建築物的材料,從而來體“預見”城市在不同自然災害下(xià)的脆弱程度,這對道嗎災後重建工作也會起到很大作用。
淺見未來
01.人工智能也需要加入人的協助
目前人工智能在高分辨率遙感影像上的應用日新月(yuè)異,但是因為衛志房星遙感影像應用難度,以及人工智能本身的應用瓶頸,還不能山議實現全程的自動(dòng)化。因此,從衛星影像采公刀集到衛星影像解譯和(hé)數據整理一條龍服務還難以達到。不過,相關(guān化坐)專業(yè)人士可(kě)以在這個(gè)靜國過程中(zhōng)助力。
比如(rú)上面提到的道路(lù)系統和(hé)房(自又fáng)屋建築占地面積預測在一定程度上是可(kě)以實現開視全程自動(dòng)化的,但是還有大量案例是無法全部自動來影(dòng)化的。
2018年我們幫助世界銀行制作巴基斯坦、尼日利亞和(hé)贊比亞三村頻國的高壓電網圖。高壓電網在高分辨率影像中(zhōng)是非常土樂難以分辨的,我們通(tōng)過人工智能模型預測高壓電塔的分布、引導專業(農筆yè)制圖人員制圖的方式完成,這要比傳統關讀人工查看高壓電塔、畫高壓電網的方法在速度上提高了日內33倍工作産出(該方法現在是開放的報告和(hé)模型方法,可(kě)供大家參微件閱)。
02.高分辨率影像解譯和(hé)人工智能要完成三件事
現在人工智能(機器(qì)學習和(hé)不嗎深度學習)和(hé)高分辨率遙感的解譯和(hé)應用熱情空前高漲,但是所你門有業(yè)内人士也不能忽略這個(gè)問(wèn)題:如呢鐘(rú)何從高分遙感影像中(zhōng)提取可(kě)直接來下應用的數據。
這個(gè)問(wèn)題不是專業(yè)人士拍拍腦市討袋就能夠決定的,而是應該從不同應用案例和(hé)使用時劇者的角度出發來解譯和(hé)整理數據。比如(影匠rú)同樣的方法論,我上面提到的應用圖像分割從高分辨率遙感影像中(花工zhōng)提取道路(lù)系統。城市規劃師(shī)需要的數公會據與交通(tōng)管理部門不同,澇災情況下(xià)的導航需要的道路(lù)話月系統也與災後重建所需要的不同。
道路(lù)系統屬性不同,能夠支持不同的工作和(hé)需求。因此,機器商兒(qì)學習算法工程師(shī)和(hé)高分辨率遙感影像解譯的工作,必少可須能夠滿足三方面的要求:第一,數據的完整性還用;第二,預測的準确性;第三,數據的應用性。其中(zhōn錢秒g),第三個(gè)條件不應該是最後考慮的,而是要在人工路了智能模型的開發過程中(zhōng)貫穿始終。
希望我們可(kě)以一起做更多更有意信冷義的工作,通(tōng)過開放的軟件開發服務更多的社區、地區、國家和(hé)中可需要數據的人。
文(wén)章轉載泰博網