0800-000-964

核能救 AI？》生成式 AI 超級吃電，究竟消耗多少電力？

取自：TechNews

聯播：吉傳媒

贊助廣告 jAD Ads 內容比對

您好，我們是傑愛得資訊，歡迎來到我們的媒體聯播網

AI 研究室 | 智庫

作者陳冠榮 | 發布日期 2024 年 04 月 22 日 11:12 | 分類 AI 人工智慧 , 伺服器 , 能源科技

AI 正在深入社會各個領域，但訓練和使用 AI 需要消耗大量電力，讓核能發電再度受到關注。在討論核電能否解救 AI 用電瓶頸前，我們得先了解 AI 究竟要吃掉多少電。

AI 運算的能源需求分成兩大階段，荷蘭央行資料科學家 Alex de Vries 指出，先是大型語言模型的訓練階段（training phase），然後還有推論階段（inference phase），將訓練到一定程度的模型應用在實際場景，透過提示（prompt）讓模型產生回應，這兩個階段皆有高度能源需求，但具體需要多大規模外界無從得知。學術界投入研究，希望將其量化成具體數據。

訓練模型的用電量極大，比傳統資料中心運作需要更多電力。長期研究 AI 耗能的 Hugging Face 研究員 Sasha Luccioni 提出論文，訓練 OpenAI GPT-3 這種大型語言模型消耗不到 1,300 MWh 電力，相當於 130 個美國家庭每年用電量。相比之下，串流平台 Netflix 播放 1 小時大約需要 0.8 KWh（0.0008 MWh）電力，意味著觀看 Netflix 162.5 萬小時才會消耗與訓練 GPT-3 相同的電力。

這些年來 AI 模型規模不斷增大，更大的模型需要消耗更多的能源，可以想見開發 GPT-4 需要更多能源。與此同時，AI 公司使用一些經過驗證的方法提升能源效率，以降低耗能成本。

下方繼續閱讀

jAD Ads 聯播廣告

曝光6,789/日成本100/月

下文請點廣告解鎖

投放Google多媒體聯播網廣告(點此)arrow_downward，包含轉換代碼安裝

※ 如果看到投資類型廣告，請再三評估風險！

繼續閱讀keyboard_double_arrow_down

回到數年前，OpenAI 還會公開他們訓練模型的相關資訊，包括使用什麼硬體設備、訓練長達多少時間，但到了 ChatGPT、GPT-4、Sora 等便不再對外揭露，外界難以探究訓練最新模型需要消耗多少能源。Sasha Luccioni 認為，這種保密做法與不同公司競爭有關，同時轉移批評聲浪。

訓練完模型、建立 AI 系統後進入推論階段，對消費者提供應用服務，運用 AI 生成內容。Sasha Luccioni 去年 12 月與研究夥伴發表另一篇論文，針對 88 個模型測試執行千次運算並估算耗能成本，得出如文字生成消耗 0.047 KWh，圖像生成消耗 2.907 KWh 遠高於文字生成。

論文更提到，效率最低的圖像生成模型需要消耗 11.49 KWh。換個說法，若與智慧手機電力相比，充飽一次電需要 0.012 KWh，執行圖像生成模型換算下來可充飽超過 950 支手機，相當驚人。

資料中心用電量攀升
訓練模型需要如 NVIDIA GPU 這類高階晶片，尤其業界現正採用 H100。特斯拉、xAI 執行長馬斯克（Elon Musk）日前透露，訓練下一代 Grok 3 等模型需要 100,000 顆 H100。

當 H100 充分利用下功耗約 700W，因此 100,000 顆 H100 用於 AI 和 HPC 工作負載，消耗高達 70 MW。這些 GPU 同時需要伺服器和冷卻系統來運行，因此具備 100,000 顆 H100 GPU 的資料中心恐怕需要約 100 MW 電力，相當於一座小城市用電量。

2010 至 2018 年間，全球資料中心能源使用量呈現穩定。國際能源總署（International Energy Agency，IEA）今年初報告顯示，由於 AI 和加密貨幣需求攀升，不久的將來資料中心用電量不斷攀升。

資料中心的電力消耗在 2022 年約 460 TWh，僅占全球電力需求 2% 左右，其中加密貨幣挖礦達到 110 TWh。現今 AI 熱潮推動下，到了 2026 年，資料中心用電上看 620~1,050 TWh，這種增加趨勢相當於增加一整個國家的電力需求，例如瑞典或德國。

▲ 科技大廠紛紛投資資料中心，必須考慮是否有充足電力供應。（Source：shutterstock）

儘管世界各國積極發展能源計畫、擁抱綠能，不少著眼 AI 發展的產業人士高聲疾呼 AI 耗電問題必須解決，否則恐怕拖慢 AI 技術進展。馬斯克直言去年 AI 發展受到晶片短缺，新瓶頸卻是電力供應。亞馬遜執行長賈西（Andy Jassy）也曾警告，目前沒有足夠能源推動新的生成式 AI 服務，解決缺電問題是當務之急。

Booming AI demand threatens global electricity supply

How much electricity does AI consume?

A.I. Could Soon Need as Much Electricity as an Entire Country

（首圖來源：pixabay）

點此投放Google多媒體聯播網廣告

※ 如果看到投資類型廣告，請再三評估風險！

點 AI 專欄推薦

post_add 資料來源：TechNews

回智庫 apartment | 超玩媒

Ads by jAD

網站+主機+網域+廣告，找我們一次解決

親民黨青年團的AI實力

點AI》用 Google AI 打選戰，落實政黨數位轉型

Google Gemini AI：傑愛得資訊（jumpAD）的 AI 創新度

核能公投結果臺灣該如何?

Google與亞馬遜2大增資案共95.9億元經部核准通過

ChatGPT 4o 圖像生成放寬審核限制，公眾人物、身體特徵不再拒絕描繪生成

傑愛得資訊領先業界

國際認證獎項報導

我們是業界少數同時具備數位行銷、系統開發、雲端服務的數位整合專業團隊

─ 2021.05

【2024年亞太區年度AI人工智慧廣告科技公司】封面人物
榮獲 MarTech Outlook 美國期刊評選

【2023年亞太區20大傑出AI人工智慧解決方案服務商】
榮獲 APAC CIO Outlook 美國矽谷期刊評選

【2024年值得關注的30大領先企業】
榮獲 CIO Bulletin 美國期刊評選

取得AI廣告追蹤技術國家發明專利

ISO/IEC 27001:2022 Lead Auditor 資安管理系統主導稽核員

explore 發展趨勢

bookmark_star 查看資歷

【2024年亞太區年度AI廣告科技公司 AI Advertising Technology Company of the Year in APAC 2024】封面人物，榮獲MarTech Outlook期刊評選
【2024年全球十大最具影響力的領導人 Top 10 Best Global Influential Leaders of 2024】榮獲Business Frontier雜誌評選
【2024年值得關注的30大領先企業 30 Leading Companies to Watch 2024】榮獲CIO Bulletin期刊評選
【2023年最具啟發性的企業領袖總裁】榮獲CXO Outlook美國期刊評選
【2023年亞太區20大傑出AI人工智慧供應商】榮獲《APAC CIO Outlook》矽谷科技期刊評選
Google Ads 全台灣第一個金融業智慧出價2.0成功案例。
多年數位行銷經驗，為Google Partners徽章認證經銷，代理Google, Facebook, Dcard, Microsoft, Yahoo apollo，並提供旗下jAD Ads聯播網廣告。
擁有AI數位廣告技術專利。全台灣第一家擁有專利的廣告代理商。
全台獨家推出 Google語音助理專用廣告。
2018年台灣地區Google Ads帳戶優化品質第一。
每月代客操盤數位廣告投放金額達800萬台幣。Google Ads代理累計超過4億台幣+。
回饋Google官方協助Google Ads廣告系統優化與無效點擊分析。
參與過多次台灣地區選舉網路廣告，2018年為候選人輔選衝出第一高票，當選率100%。
曾為某家無品牌客戶三年內在網路上陌生開發一億業績。
曾為企業旗下三網站在Yahoo!奇摩搜尋引擎優化SEO，自然搜尋關鍵字排名前三名(第一名~三)。
旗下經營自媒體與電商。
曾研發Yahoo!關鍵字廣告惡意點擊反擊程式。
曾為客戶品牌行銷，透過搜尋行銷SEM讓關鍵字在產業TA形成Google熱搜。
領先業界研發網站人潮之網頁定點閱讀率分析。
領先業界研發網站全通路人潮分析系統，直接於訂單中分析客戶來訪的廣告來源(搜尋/FB/LINE/WeChat)、客戶搜尋的關鍵字、客戶點閱的廣告文案。
為全端網站設計團隊，並具有多年網路行銷經驗。
擔任企業網路行銷顧問講師，專門破解同業暗黑行銷術。提供網醫數位行銷診斷服務

立即聯絡

Google數位行銷服務關鍵字搜尋聯播網廣告 GDN 多媒體聯播網廣告 YouTube 影片聯播網廣告 Performance Max PMax最高成效廣告購物廣告智慧型廣告探索廣告應用程式廣告 motion_sensor_active 轉換追蹤規劃設定服務類別 AI 網路廣告 AI 網站系統 AI 雲端主機 AI 人工智慧 AI SEO優化站內搜尋 medication 網醫診斷 AI客服 LINE id: @vhp8681s [email protected] 傑愛得資訊 Jump AD 聯絡： 0800-000-964 WeChat id: godzilla1128
			聯絡我們