新智元報道

編輯：桃子

【新智元導讀】谷歌DeepMind開啟「上帝視角」，全新力作AlphaEarth Foundations震撼上線，10米級分辨率，打造出前所未有的地球數(shù)字畫像。網(wǎng)友直呼：這不就是「地球版ChatGPT」？

剛剛，Alpha家族又上新了！

這一次，谷歌DeepMind幫人類打開了「上帝視角」——全新AlphaEarth Foundations正以驚人的細節(jié)繪制出整個地球。

它集成了PB級地球觀測數(shù)據(jù)，可生成統(tǒng)一的數(shù)據(jù)表示。

具體來說，AlphaEarth Foundations將地球每10x10米網(wǎng)格的信息，濃縮成高效數(shù)據(jù)，一共有64個維度。

10米級分辨率，足以讓你看清地球每個角落。

谷歌將一年的多源衛(wèi)星數(shù)據(jù)的精華，濃縮在每個10米見方的像素之中

AlphaEarth Foundations獨特之處，便在于其強大的「特征學習」的能力。

通過復雜的嵌入技術(shù)，模型能從光學、雷達、3D數(shù)據(jù)中提取關(guān)鍵特征，輕松區(qū)分沙灘與沙漠、森林與農(nóng)田。

這種能力，讓它在性能上超越了其他AI和傳統(tǒng)方法，錯誤率降低了24%。

同在今天，谷歌團隊還放出了63頁超全技術(shù)報告。

論文地址：https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaearth-foundations-helps-map-our-planet-in-unprecedented-detail/alphaearth-foundations.pdf

AlphaEarth Foundations就如同一顆「虛擬衛(wèi)星」，為人類提供了一扇窺探地球脈動的窗口。

它能讓科學家更快速、更高效分析地球動態(tài)，監(jiān)測作物健康、追蹤森林砍伐，應對氣候變化等全球性問題。

一位網(wǎng)友盛贊，谷歌在構(gòu)建「地球版ChatGPT」的路上，邁出了重要一步。

問題來了，我們?yōu)槭裁葱枰粋€，AI版地球模型？

AI版「虛擬衛(wèi)星」登場

64維超高精度

每天，衛(wèi)星從太空捕捉地球的每一寸變化，生成海量的圖像和觀測數(shù)據(jù)。

這些數(shù)據(jù)為科學家、決策者們，提供了近乎實時的地球全景。

過去15年，Earth Engine平臺開放的地球觀測影像和地理空間數(shù)據(jù)，徹底改變了我們對地球的認知方式。

但因其復雜性、多模態(tài)、刷新率也催生了一項新挑戰(zhàn)：如何連接異構(gòu)的數(shù)據(jù)集，并對其進行高效利用？

AlphaEarth Foundations的誕生，就成為這一難題破解的制勝法器。

這是一款堪稱「虛擬衛(wèi)星」的AI模型，能將海量球觀測數(shù)據(jù)，整合到一個計算機系統(tǒng)，并輕松處理的統(tǒng)一數(shù)字表示（即「嵌入」）。

最終，它以前所未有的精細度，繪制出地球上所有的陸地和沿海水域。

AlphaEarth Foundations不僅為科學家提供了更完整、一致的地球演變圖景，還助力他們在糧食安全、森林砍伐、城市擴展、水資源管理等領(lǐng)域，做出更明智的決策。

工作原理

通過解決「數(shù)據(jù)過載」和「信息不一致」這兩大挑戰(zhàn)，AlphaEarth Foundations為我們理解地球提供了全新的視角。

首先，它整合了來自數(shù)十個不同公共來源的海量信息，包括光學衛(wèi)星圖像、雷達、3D激光測繪、氣候模擬等。

它將所有信息融會貫通后，再以清晰的10x10米的超高精度分析全球陸地和沿海水域，追蹤地球隨時間的變化。

其次，它使這些數(shù)據(jù)變得易于使用。

該系統(tǒng)的關(guān)鍵創(chuàng)新在于，能為每個方塊區(qū)域創(chuàng)建一個高度緊湊的數(shù)字摘要。

與其他AI系統(tǒng)相比，這些摘要的存儲空間減少了16倍，顯著降低了行星尺度分析的成本。

這一突破使科學家們能夠做到一件迄今為止無法實現(xiàn)的事情：按需創(chuàng)建詳細、一致的世界地圖。

AlphaEarth Foundations工作原理：從視頻序列中提取非均勻采樣的幀，以索引任意時間點的位置。這有助于模型構(gòu)建該地點的連續(xù)視圖，同時解釋大量測量數(shù)據(jù)。

無論是在監(jiān)測作物健康、追蹤森林砍伐，還是觀察新建筑，他們都不再需要僅僅依賴一顆飛過頭頂?shù)男l(wèi)星。

如今，他們擁有了一種新型的「地理空間數(shù)據(jù)基礎」。

經(jīng)過嚴格測試，AlphaEarth Foundations還展現(xiàn)了無與倫比的準確性。

它在不同時間段的各種任務中都表現(xiàn)卓越，包括識別土地用途和估算地表屬性。

至關(guān)重要的是，即便在標記數(shù)據(jù)稀缺的情況下，其錯誤率比其他模型平均低24%，展現(xiàn)了卓越的學習效率。

全局嵌入場被分解為單個嵌入的過程（從左至右）。每個嵌入包含64個分量，這些分量映射到64維球面上的坐標點

如下生成的地圖數(shù)據(jù)中，AlphaEarth Foundations嵌入維度的64個維度中，三個分別賦予紅、綠、藍三色，即可將我們世界的豐富細節(jié)可視化。

在厄瓜多爾，該模型能穿透持續(xù)的云層，詳細呈現(xiàn)處于不同發(fā)展階段的農(nóng)田。

在其他地方，它清晰地繪制出南極洲的復雜地表——該地區(qū)因衛(wèi)星成像不規(guī)律而極難成像。

此外，它還揭示了加拿大農(nóng)業(yè)土地利用中肉眼不可見的差異。

左右滑動查看

接下來，我們詳細拆解AlphaEarth Foundations生成數(shù)據(jù)集的強大之處。

10x10像素，濃縮一年數(shù)據(jù)

谷歌團隊利用AlphaEarth Foundations，生成了覆蓋2017年至今、每年10米分辨率的全球預計算嵌入數(shù)據(jù)集。

這些「嵌入」影像看似普通的Earth Engine影像集合，卻將AI賦能的特征提取能力融入到每個像素。

「嵌入」向量中究竟包含了哪些信息？

· 多源測量數(shù)據(jù)

嵌入向量從多種數(shù)據(jù)源中學習，捕捉地表屬性的語義信息。

比如，一個像素的嵌入不僅反映其光譜特性，還包含周邊環(huán)境、季節(jié)性變化（如植被物候、積雪）以及地形和氣候特征。

· 時空背景

AlphaEarth Foundations在全球超500萬個地點采樣、總計超過30億個獨立影像幀上進行了訓練。

模型將一個地點隨時間變化的衛(wèi)星影像視為視頻中的連續(xù)幀。

從而能夠跨越空間、時間和測量模式進行學習，生成既能捕捉空間背景又能保留時間軌跡的嵌入。

這意味著，衛(wèi)星嵌入數(shù)據(jù)集中的每個嵌入向量，都為地球陸地表面上每塊10米像素（100 平方米）的區(qū)域狀況，提供了一種高度緊湊且語義豐富的表示。

每個10米像素的嵌入還捕捉了其周邊區(qū)域的信息。

因此，即使某些區(qū)域（比如停車場的瀝青路面和高速公路）在孤立來看時非常相似，它們的嵌入向量也會有很大差異。

· 64維看地球：坐標與波段

衛(wèi)星嵌入數(shù)據(jù)集中的影像有64個波段——但它們不同于經(jīng)典的光學反射率或雷達回波。

恰恰相反，AlphaEarth Foundations嵌入中單個像素的64個「波段」，代表了在一個64維「球面」上的一個64維坐標。

這些坐標通過DL生成，數(shù)學上可解釋性強，但并非直接的物理測量值，而是對高維測量空間的緊湊表示。

「衛(wèi)星嵌入」本質(zhì)上是64維「球面」表面的一個坐標點

有了衛(wèi)星嵌入數(shù)據(jù)集，科學家能夠進行「相似性搜索」。

只需選擇一個目標像素，嵌入向量即可通過簡單的點積計算，快速在全球范圍內(nèi)定位相似地表和環(huán)境條件的區(qū)域。

紐約市中心的嵌入向量，能輕松匹配其他高度城市化的區(qū)域。

對坐標——73.9812, 40.7628（美國紐約市中城區(qū)曼哈頓）進行的相似性搜索

此外，基于相似性的比較同樣適用于時間維度，可用于由嵌入驅(qū)動的變化檢測和穩(wěn)定性監(jiān)測。

AlphaEarth Foundations嵌入空間被設計為在時間上保持一致。

通過比較同一像素在不同年份的嵌入向量，可以輕松監(jiān)測城市擴張、野火恢復、水庫水位變化等。

下圖顯示了，2020年——2024年間在嵌入空間中觀測到的一些變化，每行最后一張圖顯示了每個像素與自身的相似度（值越亮表示差異越大），分別對應以下幾種變化類型：

• 郊區(qū)擴張

• 野火燎原后的土地，其中夾雜著火災前就已被砍伐的區(qū)域

• 人工水庫從干旱期到水量緩解期的變化

• 不同年份間農(nóng)田的差異，展示了嵌入如何捕捉作物周期和休耕等年內(nèi)動態(tài)

除此以外，無需預先標簽，嵌入向量結(jié)合Earth Engine的ee.Clusterer算法，可自動將像素聚類為不同地表類型（如森林、土壤、城市區(qū)域）。

這能揭示隱藏的地貌模式，助力研究地形、水文和物候特征。

地球版ChatGPT，按需創(chuàng)建地圖

目前，由AlphaEarth Foundations驅(qū)動的Satellite Embedding數(shù)據(jù)集，是Earth Engine中規(guī)模最大的數(shù)據(jù)集之一。

它每年包含了超1.4萬億個「嵌入」足跡。

全球眾多組織，包括聯(lián)合國糧食及農(nóng)業(yè)組織、哈佛森林、地球觀測組織、MapBiomas、俄勒岡州立大學等，已利用這一數(shù)據(jù)集創(chuàng)建自定義地圖，深入洞察現(xiàn)實世界。

在實際應用中，AlphaEarth Foundations已取得了初步的成果。

「全球生態(tài)系統(tǒng)地圖集」 (Global Ecosystems Atlas) 計劃，利用數(shù)據(jù)集將未測繪的生態(tài)系統(tǒng)，分類為海灌木叢、極度干旱沙漠等類別。

這一首創(chuàng)的資源，為各國優(yōu)化保護區(qū)優(yōu)先級、推動生態(tài)恢復和遏制生物多樣性喪失提供關(guān)鍵支持。

還有巴西「MapBiomas」項目，通過測試該數(shù)據(jù)集，更深入了解了農(nóng)業(yè)和環(huán)境變化，為亞馬遜雨林等關(guān)鍵生態(tài)系統(tǒng)的保護戰(zhàn)略和可持續(xù)發(fā)展倡議提供了信息。

AlphaEarth Foundations，代表著人類理解地球動態(tài)的重要一步。

接下來，谷歌團隊正使用其來生成年度嵌入（annual embeddings），并聯(lián)合強大Gemini一同發(fā)揮最大效用。

作為Google Earth AI的一部分，他們還將繼續(xù)探索應用模型時序能力的最佳方式。

參考資料：

https://x.com/bilawalsidhu/status/1950580970907648234

https://deepmind.google/discover/blog/alphaearth-foundations-helps-map-our-planet-in-unprecedented-detail/

https://medium.com/google-earth/ai-powered-pixels-introducing-googles-satellite-embedding-dataset-31744c1f4650