本書是一本通用GPU芯片為基礎實現芯片設計的專業書籍。介紹了GPU的基礎理論，GPGPU的軟硬件架構，相關工具以及優化技術。以通用GPGPU芯片為基礎平臺進行展開，重點深入了芯片的架構設計原理，架構設計理念和程序優化技術，同時以結合AI應用展現性能優勢和特有價值。通過本書，使讀者能系統了解體系結構理論，促進GPGPU芯片架構設計的興趣與學習，不斷了解GPGPU芯片技術的新發展，新技術。本書是國內首部關于GPGPU芯片架構設計系統性介紹的教材，兼顧理論基礎及實現應用，廣采而精取，層層揭開GPGPU芯片原理。本書可作為高等院校、科研機構等相關單位從事理論教學或者計算機學科進行科學研究的科學家、工程師的參考書籍，也可作為高年級本科生和研究生的學習參考書籍。

隨著人工智能的飛速發展，現代信息社會中數據就是生產要素，算力就是生產力。如何構筑未來大算力的基礎設施，滿足人們對通用大算力無止境的追求，成為促進人工智能和信息產業持續健康發展的重要因素。
在當前眾多算力芯片的不同形態中，源于圖形處理器的通用圖形處理器(General Purpose Graphics Processing Unit，GPGPU)脫穎而出，在眾多行業和多個領域中得到了充分的驗證，廣泛賦能圖形/游戲、高性能計算、人工智能、數字貨幣及多種行業應用的大數據處理。得益于其大算力和高度可編程特性，GPGPU作為一種通用加速器已經成為未來算力建設的基礎性器件。正值本書撰稿之時，在人工智能、算力基建和中美博弈等多種因素的推動下，國內GPGPU行業發展和創業熱潮也正呈現出前所未有的熱度。
然而，相比于利用GPGPU進行應用開發在國內的普及程度，GPGPU的體系結構和芯片設計等核心關鍵技術仍然壟斷在國外少數芯片廠商手中，我們與國外相比仍然存在較大差距。這依然是我國高端通用處理器芯片產業發展必須突破的短板。
遺憾的是，截至目前，國內還沒有一本合適的教材能夠幫助體系結構設計人員、芯片設計人員及GPGPU編程人員深入理解GPGPU體系結構的內涵和硬件設計的奧秘。即便在國際范圍內，相關的專業書籍也并不多見。而且，GPGPU的歷史并不長。人們對GPGPU的了解并沒有像通用處理器CPU那樣深入，也沒有達到深度學習專用加速器近年來高漲的熱度。這導致無論GPGPU的產業發展還是學術研究都面臨著較高的門檻。
不積跬步，無以至千里。我們嘗試著去填補這個空白，邁出深入GPGPU體系結構的一小步。本書并不是一本GPGPU應用開發指南，也不是一本GPGPU編程語法手冊，更不是特有產品的推廣或是復雜芯片的工程實現，因為在這些方面已經有了大量很好的教材和參考書可以提供豐富翔實的案例與完整準確的說明。
我們希望的是讓讀者以架構的視角，去理解GPGPU體系結構的特點，去思考GPGPU芯片設計的方式。我們更希望通過本書能夠啟發更多的讀者去理解芯片設計的特點，思索計算的本質，進而能夠把握未來高性能通用計算架構的發展方向。我們也希望通過本書與國內同行一起探討和分享GPGPU架構和芯片設計的研究成果，推動我國高端通用處理器芯片和人工智能產業的進一步發展。
本書共分為7章，內容涵蓋GPGPU概述、編程模型、控制核心架構、存儲架構、運算單元架構、張量核心架構及總結與展望。其中，第1章GPGPU概述，著重介紹GPGPU與CPU體系結構上的差異和現代GPGPU產品的特點。第2章GPGPU編程模型，介紹GPGPU編程模型的核心概念，勾勒出GPGPU異構計算的設計要點。第3章GPGPU控制核心架構，對GPGPU指令流水線和關鍵控制部件的原理進行分析和介紹，并深入探討GPGPU架構的瓶頸問題和優化方法。第4章GPGPU存儲架構，對GPGPU多樣的層次化存儲器進行介紹，重點探討片上存儲器的設計和優化方法。第5章GPGPU運算單元架構，介紹數值表示和通用運算核心的設計。第6章GPGPU張量核心架構，對專門為人工智能加速而設計的張量核心架構展開分析與介紹，揭示GPGPU對深度學習進行硬件加速的基本原理。在上述架構原理、設計方法的探討中，本書還著重介紹國際前沿的研究成果，力圖解釋設計背后的挑戰，促使讀者更深入地思考GPGPU架構設計的核心要素問題。第7章總結與展望，對全書內容進行總結，并對GPGPU發展進行展望。
這本書的出版，凝聚了許多老師、同學和業界同行的努力和心血。
感謝上海交通大學的博士研究生李興、劉學淵、王旭航及碩士研究生官惠澤、王雅潔、王玨在本書資料搜集、整理工作中做出的巨大貢獻。
感謝上海交通大學的領導和同事在本書寫作過程中給予的支持。
感謝壁仞科技董事長張文在本書寫作過程中提供的支持，也特別感謝壁仞科技王海川、陳龍、唐衫博士等對本書內容的建議和補充。
感謝清華大學出版社盛東亮和崔彤等在本書的編校工作中所做出的貢獻。
雖然我們在本書編撰過程中精益求精，但由于時間倉促和編者水平有限，書中難免有疏漏和不足之處，懇請讀者批評指正！
編者
2022年3月