cnBeta 發表於 2021年11月04日 20:00 2021-11-04
|
 |
在圍棋和《星海爭霸》等遊戲領域贏到膩了之後，DeepMind即將挑戰一個全新的項目—預測天氣。
在過去的幾年裡，DeepMind一直在悄悄地與英國氣象局合作，而最近一篇發表於《自然》雜誌上的論文則展示了這一項成果。簡而言之，DeepMind設計了一個全新的機器學習模型，可以預測未來幾小時內是否會下雨。
結果顯示，DeepMind的深度產生模型可以提供更好的預測品質、預測一致性和預測價值。模組在1,536公里×1,280公里的區域內產生了逼真且時空一致的預測，提前期為5-90分鐘。
透過50多位氣象專家的系統評估，與其他兩種競爭方法相比，DeepMind的產生模型以89%的絕對優勢在準確性和實用性兩方面均排名第一。
|
|
下方繼續閱讀
繼續閱讀keyboard_double_arrow_down
|
即時的天氣預測
目前的天氣預測是由強大的數值天氣預報（NWP）系統驅動的透過解決物理方程式，數值天氣預報系統可以提前數天得到地球規模大小的預測。然而，它們卻很難在兩小時內產生高解析度的預測。
即時預報填補了這一關鍵時間區間的性能空白。氣象傳感的進步使高解析度雷達可以高頻地（在1公里解析度下每5分鐘）提供測量出的地面降水量數據。
|
 |
目前已有的短期預測方法，如STEPS和PySTEPS，是沿用NWP的方法來解決不確定性，以及按照帶有雷達訊息的平流方程來對降水進行建模。
在這些模型中，場地由光流來估計，平滑度懲罰被用來近似於平流預報，隨機擾動被添加到場地和強度模型中。這些隨機模擬可以得出機率性和確定性的預報，並且在多種空間尺度（從公里尺度到集水區的大小）上都適用。
基於深度學習的方法則不需要對平流方程的依賴。透過大量的雷達觀測數據訓練這些模型，可以更好地模擬非線性降水現象，如對流啟動和強降水。這類方法直接預測每個網格位置的降水率，模型已被開發用於確定性和機率性預報。
目前的深度學習系統所發布的預報，在降水場越來越模糊的情況下表現出了不確定性，而且不包括小尺度天氣模式。此外，現有方法側重於特定地點的預測，而不是對整個降水場的機率預測，這使其無法在多個空間和時間集合中同時提供一致的預測結果，限制了實用性。
為此，DeepMind使用深度產生模型（DGMR）為機率預報開發了一種觀測驅動的方法。DGMR是學習數據機率分布的統計模型，可以從學習到的分布中輕鬆產生樣本。由於產生模型從根本上是機率性的，可以從給定的歷史雷達的條件分布中模擬許多樣本，產生預測集合。此外，DGMR既能從觀測數據中學習，又能表示多個空間和時間尺度上的不確定性。
即時預報的產生模型
DeepMind使用產生模型的方法，根據過去的雷達，對未來的雷達進行詳細和可信的預測。有了這樣的方法，既可以準確地捕捉大規模的事件，同時也可以產生許多備選的降雨情景（稱為集合預測），使降雨的不確定性得到探索。
DeepMind的模型也十分擅長中到大雨事件的預測，與其他競爭方法相比有著明顯的改進。DeepMind表示，在經過英國國家氣象局（Met Office）的50多名專家氣象學家進行了認知任務評估之後，與廣泛使用的預測方法相比，在89%的情況下專家們會把DeepMind的方法評為首選。
|
 |
產生法（DGMR）比平流法（PySTEPS）更好地捕捉了環流、強度和結構，更準確地預測了東北地區的降雨和運動。與確定性的深度學習方法（UNet）不同，DGMR還產生了尖銳的預測。
|
 |
產生法（DGMR）與平流法（PySTEPS）相比，平衡了降水的強度和範圍，平流法的強度往往太高，而且不像確定性的深度學習方法（UNet）那樣模糊不清。
在固定的時間點T，使用基於雷達的地表降水估計值XT，在固定的M個過去的雷達場，預測N個未來的雷達場，潛在的隨機向量Z和參數θ，方程為：
|
 |
對潛在變量的整合確保了模型做出的預測在空間上具有依賴性。學習是在用於降水預測的條件產生對抗網路（GAN）的算法框架內進行的。四個連續的雷達觀測數據（之前的20分鐘）被用作發生器的背景，對未來降水的多個實現進行採樣，每個實現為18格（90分鐘）。
|
 |
DGMR能更好地預測較長時段的空間覆蓋和對流，同時不會高估強度。a. 模型結構示意圖；b. 預測的地理背景；c. 不同模型在T+30、T+60和T+90分鐘提前量的單一預測。
學習由兩個損失函數和一個正則化項驅動，透過比較真實的雷達觀測數據和模型產生的數據來指導參數調整。
第一個損失是由空間判別器定義的，它是一個卷積神經網路，用於區分單個觀察到的雷達場和產生的雷達場，確保空間一致性並阻止模糊的預測。第二個損失是由時間判別器定義的，它是一個三維（3D）卷積神經網路，用於區分觀察到的和產生的雷達序列，施加時間上的一致性並懲罰跳躍的預測。為了提高準確性，DeepMind引入了一個正則法項，從而懲罰真實雷達序列和模型預測平均值（用多個樣本計算）之間的網格單元解析度的偏差。
最後，DeepMind為產生器引入了一個潛在模組，允許對大於訓練大小的降水場進行預測，同時保持時空一致性。
DeepMind在2016至2018年間英國雷達記錄的降水事件的大型數據集上訓練其DGM。訓練完成後，它可以在一秒鐘內提供預報，並在單個NVIDIA V100 GPU上運行。
與其他流行的預報方法（包括機器學習模型）相比，DeepMind的DGM在長達1,536公里乘1,280公里的區域產生了更真實和一致的預測，提前期為5至90分鐘。
結果評估
在使用CSI進行比較時，所有三個深度學習系統產生的預測都比PySTEPS的基線明顯更準確。使用交替的星期作為獨立單位的配對置換測試來評估統計學意義，發現DGMR與PySTEPS相比，在所有的降水閾值上都具有更好的效果（n=26，P
|
 |
a. 20個樣本的CSI，降水閾值為1毫米/小時（左）、4毫米/小時（中）和8毫米/小時（右）；b. 所有模式在T + 30分鐘（左）和T + 90分鐘（中和右）的2019年預測的徑向平均功率譜密度。
從上圖中的b可以看到，DGMR和PySTEPS的光譜特徵都與觀測結果相吻合，但軸向注意力和UNet模式產生的預報具有中、小尺度的降水變化，並隨著提前期的增加而減少。
由於它們產生了模糊的預測，軸向注意力和UNet nowcasts的有效解析度遠遠低於數據的1公里×1公里解析度。在T+90分鐘時，UNet的有效解析度為32公里，軸向注意力的有效解析度為16公里，降低了這些預報對氣象學家的價值。
對於機率驗證來說，下圖中b顯示了平均和最大降水率聚集在越來越大的區域的CRPS。當解析度測量時，DGMR、PySTEPS和軸向注意力的表現相似。
隨著空間聚集的增加，DGMR和PySTEPS提供了持續的強大性能，其中DGMR在最大降水上表現更好。軸向注意力模型對於較大的聚集區來說明顯較差，在規模為4以上的情況下，其性能低於所有其他方法。使用交替的星期作為獨立單位，成對的置換檢驗表明，DGMR和軸向注意力溫度選擇之間的性能差異是顯著的。
|
 |
網格解析度（左）、4公里集合（中）和16公里集合（右）的CRPS得分：a. 使用平均雨量的集合CRPS；b. 使用最大雨量的集合CRPS。
與其他方法相比，此產生方法優於在CSI上現有的STEPS預測方法，提供的機率預測更加準確，並且在空間和時間尺度上保留了降水的統計特性，而其他深度學習方法是以它們為代價的。
此外，DeepMind還在經濟和認知方面進行了分析，結果表明DGMR可以讓決策價值得到提高。
|
 |
虛線表示Clopper-Pearson的95%置信區間。氣象學家明顯傾向於DGMR而不是其他方法。
學界似乎並不買帳
然而，除了這50位專家以外，其他科學家並沒有被這些結果說服。
雷丁大學的氣象學家Peter Clark說：「我沒有看到預測方面的任何革命。依靠主觀評價來證明模型的有效性只能使讓人感到困惑。」此外，他還表示：「我仍然驚訝於他們沒有選擇使用一個客觀的分數。關於如何進行評估，甚至是實際評估的內容，幾乎沒有詳細說明。」
在論文中，DeepMind也並沒有給出新模型與現有模型的準確性相比具體提升的數據。對此，DeepMind的高級科學家和論文作者Shakir Mohamed表示，「我們想採取更加謹慎的方法，而不是報告一個數字。」
同樣是來自雷丁大學的氣象學家Rob Thompson則說：「與其說DeepMind的研究完全顛覆了我們所知道的雨水預報，不如說它只是提供了一種不同的方法。它的表現與當前其他尖端類型的模型類似，可能稍微好一點，但並沒有領先很多，」
DeepMind的成員說，目前還沒有任何立即投入使用的計劃，但團隊希望最終能夠利用模型為今後的天氣報告提供真實的訊息。
話說回來，天氣預報員會不會就此消失？
這倒不用擔心，DeepMind的研究科學家，同時也是論文的作者Suman Ravuri表示，人工智慧不會在這個領域取代人類：「天氣預測需要專家和人類參與其中，以確保在預測方面的理解是合理的，然後將其傳達給公眾。」
|
本文相關： 智能管家 智能喇叭 智能音箱 Assistant Google語音助理 Google助理 Google 助理 智慧家庭 AI語音助理 語音助理 AI服飾助理 LaMDA Bard Open AI ChatGPT 機器學習 Gemini AI AI Vertex LLM Transformer LaMDA 人工智 語言模型 ML 深度學習 gpt GPT Google Assistant 智能 智慧 谷歌音箱 谷歌助理 LM |
