四、架構(gòu)解析之Tensor核心、AI加速

NVIDIA在伏特架構(gòu)上引入了全新的專用處理模塊Tensor Core，也就是張量計(jì)算核心，重點(diǎn)用來支持深度學(xué)習(xí)、高性能計(jì)算(也是晶體管大戶)。

圖靈架構(gòu)則是在游戲卡上引入Tensor Core，同時針對游戲圖形應(yīng)用做了大量的調(diào)整優(yōu)化，尤其是浮點(diǎn)精度方面。

Tensor的意思是張量，不同于我們常見的標(biāo)量(零維)、矢量(一維)、矩陣(三維)，擁有三維或者更高維度，簡單地說就是一個數(shù)據(jù)容器，可以包含多個維度的數(shù)據(jù)。

現(xiàn)在火熱的深度學(xué)習(xí)，就運(yùn)用了超大規(guī)模的數(shù)據(jù)運(yùn)算，其中就經(jīng)常會用到矩陣融合乘加(FMA)運(yùn)算，Tensor核心就是為這種矩陣數(shù)學(xué)運(yùn)算專門服務(wù)的。

它可以對兩個4×4 FP16浮點(diǎn)矩陣進(jìn)行相乘操作，然后將結(jié)果加入到另一個4×4 FP16/FP32浮點(diǎn)矩陣中，最終輸出新的4×4 FP16/FP32矩陣，這叫做混合精度數(shù)學(xué)運(yùn)算，因?yàn)檩斎刖仃囀前刖?，結(jié)果則可以達(dá)到全精度。

每個時鐘周期內(nèi)，圖靈架構(gòu)的Tensor核心可以執(zhí)行64個FMA運(yùn)算，從而大大加速矩陣運(yùn)算，可用于新的神經(jīng)實(shí)時圖形渲染、深度學(xué)習(xí)訓(xùn)練和推理。

圖靈架構(gòu)每個SM陣列里有8個Tenor核心，總計(jì)576個，完整支持114TFlops FP16浮點(diǎn)運(yùn)算(每秒114萬億次)，同時支持228TOPS INT8、455TOPS INT4整數(shù)運(yùn)算(每秒228億次、455億次)，后者是伏特架構(gòu)里沒有的。

NVIDIA把看起來高深莫測的Tensor核心放到游戲卡里，顯然不是做專業(yè)運(yùn)算的，其深度學(xué)習(xí)能力也是為游戲服務(wù)的，結(jié)合新的神經(jīng)圖形框架(Neural Graphics Framework)，簡稱NGX，可以在游戲中實(shí)現(xiàn)DLSS深度學(xué)習(xí)超采樣抗鋸齒、AI Super Rez超級分辨率、AI Slow-Mo慢動作、AI InPainting等等。

這些計(jì)算繁瑣、資源消耗巨大的操作，在以往也可以實(shí)現(xiàn)，但會付出很大的代價，效果也不盡如人意，如今有了新的Tensor核心，就可以建立屬于GPU核心自己的DNN深度神經(jīng)網(wǎng)絡(luò)，將AI融入游戲。

NVIDIA已經(jīng)向游戲引擎開放NGX API，將其融入其中，實(shí)現(xiàn)底層加速。

另外和很多AI應(yīng)用類似，NVIDIA GeForce Experience軟件的作用也非常重要，它會自動匹配顯卡型號，從云端訓(xùn)練的AI模型哪里下載相應(yīng)的NGX軟件包，并定期更新，達(dá)到越用越好、甚至是因人而異的效果。

AI Super Rez：有點(diǎn)類似高清視頻中常見的Up Scaling，但是引入了人工智能和深度學(xué)習(xí)之后，可以實(shí)現(xiàn)近乎“無損放大”，原來的畫面分辨率放大2倍、4倍乃至8倍，仍然清晰銳利。

AI Slow-Mo：超級慢動作我們并不陌生，現(xiàn)在不少高端手機(jī)都支持240FPS、480FPS乃至是960FPS的慢動作視頻錄制。圖靈架構(gòu)可以對普通的30FPS視頻進(jìn)行智能插幀運(yùn)算，得到240FPS/480FPS的慢動作視頻，也就是說你不需要專門的高幀率攝像頭，就可以獲得很流暢的慢動作視頻。

AI InPainting：可以抹掉畫面中不需要的內(nèi)容，也可以智能補(bǔ)全缺失的內(nèi)容，完全超越PS摳圖的存在。它同樣來自現(xiàn)實(shí)中大量真實(shí)世界圖片的訓(xùn)練推理。

其實(shí)，慢動作和修圖這兩項(xiàng)在之前就曾有相關(guān)報(bào)道，顯然NVIDIA在硬件、算法兩個方面都實(shí)現(xiàn)了真正的突破。

接下來就是重中之重的DLSS(深度學(xué)習(xí)超采樣抗鋸齒)。

我們知道，傳統(tǒng)的光柵化圖形渲染畫面會存在各總各樣的鋸齒(狗牙)，所以GPU廠商都會在后期處理中加入各種各樣的AA抗鋸齒技術(shù)，但傳統(tǒng)抗鋸齒都是由GPU去運(yùn)算的，效果參差不齊不說，最關(guān)鍵的是會消耗大量的GPU資源，開啟之后讓游戲卡得沒法玩再正常不過了。

DLSS深度采樣超采樣抗鋸齒則和傳統(tǒng)抗鋸齒技術(shù)走了一條完全不同的路，它是在NVIDIA超級計(jì)算機(jī)上進(jìn)行訓(xùn)練，而不再消耗GPU本身的資源。

針對每一款游戲，NVIDIA會在運(yùn)算建立對應(yīng)的訓(xùn)練神經(jīng)網(wǎng)絡(luò)，收集大量的64x超采樣數(shù)據(jù)，對像素點(diǎn)進(jìn)行64次偏移著色合成輸出，理論上可以獲得近乎完美的抗鋸齒平滑效果，同時還會對比和普通渲染畫面之間的差異，調(diào)整網(wǎng)絡(luò)權(quán)重，反復(fù)迭代，最后獲得更合理的抗鋸齒畫面效果，還可以避免傳統(tǒng)TAA時間抗鋸齒的運(yùn)動模糊等問題。

云端訓(xùn)練完成后，NVIDIA會通過GFE軟件將成果分發(fā)給玩家，再用到游戲中，而且隨著游戲運(yùn)行得越多，DLSS學(xué)習(xí)效果就會越來越優(yōu)化，甚至每個玩家都可以得到屬于自己的不同效果。

當(dāng)然了，這也意味著NVIDIA需要和每一款游戲或者每一個游戲引擎合作，去進(jìn)行專門的優(yōu)化，還是相當(dāng)費(fèi)時費(fèi)力的，不過考慮到NVIDIA在游戲行業(yè)廣泛深入的合作關(guān)系，這方面倒不必?fù)?dān)心。

尤其是隨著合作優(yōu)化的深入，NVIDIA完全可以建立起屬于自己的技術(shù)壁壘，讓對手望塵莫及，進(jìn)一步帶動大量玩家忠實(shí)地跟隨NVIDIA。

更神奇的是，DLSS因?yàn)榛静恍枰腉PU本地資源，因此可以大大釋放GPU性能，讓其專心渲染游戲，提升性能。

比如根據(jù)官方數(shù)據(jù)，Epic的《滲透者》(Infiltrator)游戲里，4K分辨率下1080 Ti開啟TAA平均幀率還不到40FPS，2080 Ti開啟DLSS則能達(dá)到80FPS，提升了整整一倍！

游戲支持方面也不是啥大事兒，RTX 20系列發(fā)布之初就有16款游戲(PPT上寫錯了)，現(xiàn)在產(chǎn)品還沒完全上市就已經(jīng)增加到25款。

首發(fā)名單如下：

－ 《方舟：生存進(jìn)化》 (Ark: Survival Evolved)

－ 《原子之心》 (Atomic Heart)

－ 《無畏》 (Dauntless)

－ 《最終幻想XV》 (Final Fantasy XV)

－ 《破碎之地》 (Fractured Lands)

－ 《殺手2》 (Hitman 2)

－ 《奈恩群島》 (Islands of Nyne)

－ 《逆水寒》 (Justice)

－ 《劍網(wǎng)3》 (JX3)

－ 《機(jī)甲戰(zhàn)士5：雇傭兵》 (Mechwarrior 5:Mercenaries)

－ 《絕地求生》 (PlayerUnknown’s Battlegrounds)

－ 《遺跡：灰燼重生》 (Remnant: From the Ashes)

－ 《英雄薩姆4：星球惡棍》 (Serious Sam 4: PlanetBadass)

－ 《古墓麗影：暗影》 (Shadow of the Tomb Raider)

－ 《鍛造競技場》 (The Forge Arena)

－ 《少數(shù)幸運(yùn)兒》 (We Happy Few)

新增名單如下：

－ 《暗黑血統(tǒng)3》(Darksiders 3)

－ 《飛向月球：財(cái)富》(Deliver Us The Moon: Fortuna)

－ 《恐懼群狼》(Fear the Wolves)

－ 《地獄之刃：塞娜的獻(xiàn)祭》(Hellblade: Senua's Sacrifice)

－ 《KINETIK》

－ 《前哨零》(Outpost Zero)

－ 《超殺：行尸走肉》(Overkill's The Walking Dead)

－ 《人渣》(SCUM)

－ 《風(fēng)暴奇兵》(Stormdivers)

這其中有5款游戲同時支持RTX光線追蹤和DLSS抗鋸齒技術(shù)，分別是《原子之心》、《逆水寒》、《劍網(wǎng)3》、《機(jī)甲戰(zhàn)士5：雇傭兵》、《古墓麗影：暗影》。