許湘琴 組長

財團法人中技社

---

自從2022年底ChatGPT問世以來，以大型語言模型為核心的生成式AI大幅改善人機介面，使人類能輕鬆運用此工具完成過往難以實現的任務。例如，不會畫畫的人只需下達指令即可生成想要的圖片，不懂樂理的人也能快速作出一首曲子。不僅如此，藉由更有效率的演算法，生成式AI已在各產業應用中展現出巨大的潛力。國際知名研究機構也預測生成式AI（Gen AI）在各產業應用將帶來龐大的經濟效益。例如，Gartner預估，製造業在2024年有40%的企業將開始應用Gen AI，而到2027年，30%的企業將藉此提升產品開發效率；Precedence Research的報告指出，2024年全球Gen AI客戶服務市場規模為4.8億美元，預計到2034年將增至45億美元，年均複合成長率達25.11%。此外，麥肯錫估計，Gen AI在欺詐檢測、交易預測和風險因素建模中的應用，每年可創造2,000~3,400億美元的經濟價值。然而，在這些應用背後，隱藏一個問題，也就是需要多少電力來支撐電腦長期運行？

談到Gen AI系統的電力消耗，主要集中於訓練階段的大量計算需求及推理階段的大規模使用。在訓練階段，電力消耗來自處理與優化模型參數所需的大量計算需求，包括使用高效能GPU (如NVIDIA A100 )或TPU 進行大規模矩陣運算，以及存儲數據與模型權重所需的記憶體(如HBM 或DRAM )，這些硬體運作本身都會消耗大量電力。根據長期評估人工智慧模型產生碳排放量研究的Sasha Luccioni 博士，在2022年與研究夥伴發表的研究結果，以訓練一個含有1,750億個參數的GPT-3大語言模型，進行初步推算，需耗費約 1,300 MWh 電能，相當於台灣325個家戶一年的用電量 ，而這個耗電量是傳統搜尋引擎的30倍，如訓練更先進的 GPT-4 ，預計消耗高達50 倍的電力。

而另一部分是推理階段，電力消耗主要發生於用戶輸入指令後，系統生成輸出的過程。即便是使用相同的大語言模型，但針對不同類型的生成任務，其所需電力也各有差異，所以在2024年，Sasha Luccioni 進一步與研究夥伴發表另一篇論文，此篇論文是針對 30個數據集的88 個模型，分析10種不同任務，測試執行1,000次推理的平均能耗及其標準差，如表一所示，可以看出圖像和文本的分類任務能源消耗最低，每1,000次推理耗能約0.002至0.007 kWh，而生成類任務(如文本生成和摘要)耗能平均超過10倍(約0.05 kWh)，而多模態任務(如圖像描述和圖像生成)的能耗則最高(每1,000次推理約0.06至2.9 kWh)。

或許大家初步看起來，覺得單次推理的能耗都很小，但由於用戶規模龐大，累計起來的耗電量也相當驚人。以今(2024)年8月 Chat-GPT的有效用戶數已突破2億來做計算基礎，當每個用戶每天請Chat-GPT生成一次文本內容，就會耗能9.4萬MWh，如再產生一張圖像，則又會消耗581.4萬MWh，也就是說，單就Chat-GPT的2億用戶，只要每天藉由Chat-GPT生成一段文本內容和產生一張圖像，耗電量就會高達590萬MWh，相當於台灣59萬個家戶一年的用電量，非常可觀。而隨著Gen AI技術越發成熟落地應用，不管是在訓練或是推理過程的用電需求確實不容小覷，且隨著應用普及頻繁使用下，對電力的消耗只會有增無減。

加以，科技巨頭如微軟、Google、Meta、AWS等，為搶佔Gen AI市場最上層商機，紛紛興建AI資料中心，促使全球資料中心快速成長，已從2015年3,600座至今日8,000座以上，透過MIC的彙整，如圖一所示，在Gen AI的助長下，全球資料中心的用電需求大增，根據國際能源總署(IEA)提及，儘管資料中心目前占全球耗電量1~1.3%，然隨著全球算力需求增加，資料中心用電規模也將在2026年達0.6-1兆度，占全球2%電力使用量，2030年可能達全球耗電量4%。所以如何解決AI驚人耗電量是首要任務，且若沒有足夠潔淨能源的供應，讓AI所產生的碳排放量受到控制的話，在還沒有享受到AI帶來便利生活前，就得先付出極大的環境污染代價。

而為了讓資料中心朝永續方向發展，國際雲端服務大廠除了積極對內提升資料中心機房能效，對外更多元採購綠色能源或參與開發，如2023年太陽能、風能的前十大買家，就包含了AWS、微軟、Meta、Google，也紛紛布局氫能、地熱、核電、生質能等乾淨能源，更進一步簽署「氣候中和資料中心公約 (Climate Neutral Data Centre Pact, CNDC)」，自我規範於2030年實現100%無碳電力承諾。

資料中心是Gen AI的核心之一，更是AI時代下的重要資產，而綠色永續發展是必要條件，如何在AI與永續發展之間取得平衡，成為不可迴避的挑戰，希望大家在享受AI應用帶來的便利生活下，也不要再為環境帶來災難性破壞。

 

表1、不同任務的每 1,000 次推理能源消耗的平均值及標準差。

                                                                                                                            推理能源消耗 (千瓦時, kWh)