如果你覺得這是一個(gè)非常簡(jiǎn)單的問題，那么你真應(yīng)該好好讀讀本文，我敢保證這個(gè)問題絕沒有你想象的那么簡(jiǎn)單。注意，一定要完本文，否則可能會(huì)得出錯(cuò)誤的結(jié)論。

閑話少說，讓我們來看看CPU在讀寫內(nèi)存時(shí)底層究竟發(fā)生了什么。

誰來告訴CPU讀寫內(nèi)存

我們第一個(gè)要搞清楚的問題是：誰來告訴CPU去讀寫內(nèi)存？答案很明顯，是程序員，更具體的是編譯器。

CPU只是按照指令按部就班的執(zhí)行，機(jī)器指令從哪里來的呢？是編譯器生成的，程序員通過高級(jí)語言編寫程序，編譯器將其翻譯為機(jī)器指令，機(jī)器指令來告訴CPU去讀寫內(nèi)存。

在精簡(jiǎn)指令集架構(gòu)下會(huì)有特定的機(jī)器指令，Load/Store指令來讀寫內(nèi)存，以x86為代表的復(fù)雜指令集架構(gòu)下沒有特定的訪存指令。

精簡(jiǎn)指令集下，一條機(jī)器指令操作的數(shù)據(jù)必須來存放在寄存器中，不能直接操作內(nèi)存數(shù)據(jù)，因此RISC下，數(shù)據(jù)必須先從內(nèi)存搬運(yùn)到寄存器，這就是為什么RISC下會(huì)有特定的Load/Store訪存指令，明白了吧。

而x86下無此限制，一條機(jī)器指令操作的數(shù)據(jù)可以來自于寄存器也可以來自內(nèi)存，因此這樣一條機(jī)器指令在執(zhí)行過程中會(huì)首先從內(nèi)存中讀取數(shù)據(jù)。

兩種內(nèi)存讀寫

現(xiàn)在我們知道了，是特定的機(jī)器指令告訴CPU要去訪問內(nèi)存。不過，值得注意的是，不管是RISC下特定的Load/Store指令還是x86下包含在一條指令內(nèi)部的訪存操作，這里讀寫的都是內(nèi)存中的數(shù)據(jù)，除此之外還要意識(shí)到，CPU除了從內(nèi)存中讀寫數(shù)據(jù)外，還要從內(nèi)存中讀取下一條要執(zhí)行的機(jī)器指令。

畢竟，我們的計(jì)算設(shè)備都遵從馮諾依曼架構(gòu)：程序和數(shù)據(jù)一視同仁，都可以存放在內(nèi)存中。

現(xiàn)在，我們清楚了CPU讀寫內(nèi)存其實(shí)是由兩個(gè)因素來驅(qū)動(dòng)的：

• 程序執(zhí)行過程中需要讀寫來自內(nèi)存中的數(shù)據(jù)

• CPU需要訪問內(nèi)存讀取下一條要執(zhí)行的機(jī)器指令

然后CPU根據(jù)機(jī)器指令中包含的內(nèi)存地址或者PC寄存器中下一條機(jī)器指令的地址訪問內(nèi)存。

這不就完了嗎？有了內(nèi)存地址，CPU利用硬件通路直接讀內(nèi)存就好了，你可能也是這樣的想的。

真的是這樣嗎？別著急，我們接著往下看，這兩節(jié)只是開胃菜，正餐才剛剛開始。

急性子吃貨 VS 慢性子廚師

假設(shè)你是一個(gè)整天無所事事的吃貨，整天無所事事，唯一的愛好就是找一家餐廳吃吃喝喝，由于你是職業(yè)吃貨，因此吃起來非常職業(yè)，1分鐘就能吃完一道菜，但這里的廚師就沒有那么職業(yè)了，炒一道菜速度非常慢，大概需要1小時(shí)40分鐘才能炒出一道菜，速度比你慢了100倍，如果你是這個(gè)吃貨，大概率會(huì)瘋掉的。

而CPU恰好就是這樣一個(gè)吃貨，內(nèi)存就是這樣一個(gè)慢吞吞的廚師，而且隨著時(shí)間的推移這兩者的速度差異正在越來越大：

在這種速度差異下，CPU執(zhí)行一條涉及內(nèi)存讀寫指令時(shí)需要等“很長(zhǎng)一段時(shí)間”數(shù)據(jù)才能“緩緩的”從內(nèi)存讀取到CPU中，在這種情況你還認(rèn)為CPU應(yīng)該直接讀寫內(nèi)存嗎？

無處不在的28定律

CPU執(zhí)行指令符合28定律，大部分時(shí)間都在執(zhí)行那一少部分指令，這一現(xiàn)象的發(fā)現(xiàn)奠定了精簡(jiǎn)指令集設(shè)計(jì)的基礎(chǔ)。

而程序操作的數(shù)據(jù)也符合類似的定律，只不過不叫28定律，而是叫principle of locality，程序局部性原理。

如果我們?cè)L問內(nèi)存中的一個(gè)數(shù)據(jù)A，那么很有可能接下來再次訪問到，同時(shí)還很有可能訪問與數(shù)據(jù)A相鄰的數(shù)據(jù)B，這分別叫做時(shí)間局部性和空間局部性。

如圖所示，該程序占據(jù)的內(nèi)存空間只有一少部分在程序執(zhí)行過程經(jīng)常用到。

有了這個(gè)發(fā)現(xiàn)重點(diǎn)就來了，既然只用到很少一部分，那么我們能不能把它們集中起來呢？就像這樣：

集中起來然后呢？放到哪里呢？當(dāng)然是放到一種比內(nèi)存速度更快的存儲(chǔ)介質(zhì)上，這種介質(zhì)就是我們熟悉的SRAM，普通內(nèi)存一般是DRAM，這種讀寫速度更快的介質(zhì)充當(dāng)CPU和內(nèi)存之間的Cache，這就是所謂的緩存。

四兩撥千斤

我們把經(jīng)常用到的數(shù)據(jù)放到cache中存儲(chǔ)，CPU訪問內(nèi)存時(shí)首先查找cache，如果能找到，也就是命中，那么就賺到了，直接返回即可，找不到再去查找內(nèi)存并更新cache。

我們可以看到，有了cache，CPU不再直接與內(nèi)存打交道了。

但cache的快速讀寫能力是有代價(jià)的，代價(jià)就是Money，造價(jià)不菲，因此我們不能把內(nèi)存完全替換成cache的SRAM，那樣的計(jì)算機(jī)你我都是買不起的。

因此cache的容量不會(huì)很大，但由于程序局部性原理，因此很小的cache也能有很高的命中率，從而帶來性能的極大提升，有個(gè)詞叫四兩撥千斤，用到cache這里再合適不過。

天下沒有免費(fèi)的午餐

雖然小小的cache能帶來性能的極大提升，但，這也是有代價(jià)的。這個(gè)代價(jià)出現(xiàn)在寫內(nèi)存時(shí)。當(dāng)CPU需要寫內(nèi)存時(shí)該怎么辦呢？

現(xiàn)在有了cache，CPU不再直接與內(nèi)存打交道，因此CPU直接寫cache，但此時(shí)就會(huì)有一個(gè)問題，那就是cache中的值更新了，但內(nèi)存中的值還是舊的，這就是所謂的不一致問題，inconsistent。

就像下圖這樣，cache中變量的值是4，但內(nèi)存中的值是2。

同步緩存更新

常用 redis 的同學(xué)應(yīng)該很熟悉這個(gè)問題，可是你知道嗎？這個(gè)問題早就在你讀這篇文章用的計(jì)算設(shè)備其包含的CPU中已經(jīng)遇到并已經(jīng)解決了。

最簡(jiǎn)單的方法是這樣的，當(dāng)我們更新cache時(shí)一并把內(nèi)存也更新了，這種方法被稱為 write-through，很形象吧。

可是如果當(dāng)CPU寫cache時(shí)，cache中沒有相應(yīng)的內(nèi)存數(shù)據(jù)該怎么呢？這就有點(diǎn)麻煩了，首先我們需要把該數(shù)據(jù)從內(nèi)存加載到cache中，然后更新cache，再然后更新內(nèi)存。

這種實(shí)現(xiàn)方法雖然簡(jiǎn)單，但有一個(gè)問題，那就是性能問題，在這種方案下寫內(nèi)存就不得不訪問內(nèi)存，上文也提到過CPU和內(nèi)存可是有很大的速度差異哦，因此這種方案性能比較差。有辦法解決嗎？答案是肯定的。

異步更新緩存

這種方法性能差不是因?yàn)閷憙?nèi)存慢，寫內(nèi)存確實(shí)是慢，更重要的原因是CPU在同步等待，因此很自然的，這類問題的統(tǒng)一解法就是把同步改為異步。

異步的這種方法是這樣的，當(dāng)CPU寫內(nèi)存時(shí)，直接更新cache，然后，注意，更新完cache后CPU就可以認(rèn)為寫內(nèi)存的操作已經(jīng)完成了，盡管此時(shí)內(nèi)存中保存的還是舊數(shù)據(jù)。

當(dāng)包含該數(shù)據(jù)的cache塊被剔除時(shí)再更新到內(nèi)存中，這樣CPU更新cache與更新內(nèi)存就解耦了，也就是說，CPU更新cache后不再等待內(nèi)存更新，這就是異步，這種方案也被稱之為write-back，這種方案相比write-through來說更復(fù)雜，但很顯然，性能會(huì)更好。

現(xiàn)在你應(yīng)該能看到，添加cache后會(huì)帶來一系列問題，更不用說cache的替換算法，畢竟cache的容量有限，當(dāng)cache已滿時(shí)，增加一項(xiàng)新的數(shù)據(jù)就要剔除一項(xiàng)舊的數(shù)據(jù)，那么該剔除誰就是一個(gè)非常關(guān)鍵的問題，限于篇幅就不在這里詳細(xì)講述了。

多級(jí)cache

現(xiàn)代CPU為了增加CPU讀寫內(nèi)存性能，已經(jīng)在CPU和內(nèi)存之間增加了多級(jí)cache，典型的有三級(jí)，L1、L2和L3，CPU讀內(nèi)存時(shí)首先從L1 cache找起，能找到直接返回，否則就要在L2 cache中找，L2 cache中找不到就要到L3 cache中找，還找不到就不得不訪問內(nèi)存了。

因此我們可以看到，現(xiàn)代計(jì)算機(jī)系統(tǒng)CPU和內(nèi)存之間其實(shí)是有一個(gè)cache的層級(jí)結(jié)構(gòu)的。

越往上，存儲(chǔ)介質(zhì)速度越快，造價(jià)越高容量也越??；越往下，存儲(chǔ)介質(zhì)速度越慢，造價(jià)越低但容量也越大。

現(xiàn)代操作系統(tǒng)巧妙的利用cache，以最小的代價(jià)獲得了最大的性能。但是，注意這里的但是，要想獲得極致性能是有前提的，那就是程序員寫的程序必須具有良好的局部性，充分利用緩存。

鑒于cache的重要性，現(xiàn)在增大cache已經(jīng)成為提升CPU性能的重要因素，因此你去看當(dāng)今的CPU布局，其很大一部分面積都用在了cache上。

你以為這就完了嗎？哈哈，哪有這么容易的，否則也不會(huì)是終面題目了。那么當(dāng)CPU讀寫內(nèi)存時(shí)除了面臨上述問題外還需要處理哪些問題呢？

多核，多問題

當(dāng)摩爾定律漸漸失效后雞賊的人類換了另一種提高CPU性能的方法，既然單個(gè)CPU性能不好提升了，我們還可以堆數(shù)量啊，這樣，CPU進(jìn)入多核時(shí)代，程序員開始進(jìn)入苦逼時(shí)代。

擁有一堆核心的CPU其實(shí)是沒什么用的，關(guān)鍵需要有配套的多線程程序才能真正發(fā)揮多核的威力，但寫過多線程程序的程序員都知道，能寫出來不容易，能寫出來并且能正確運(yùn)行更不容易 。

CPU開始擁有多個(gè)核心后不但苦逼了軟件工程師，硬件工程師也不能幸免。

前文提到過，為提高CPU訪存性能，CPU和內(nèi)存之間會(huì)有一個(gè)層cache，但當(dāng)CPU有多個(gè)核心后新的問題來了：

現(xiàn)在假設(shè)內(nèi)存中有一變量X，初始值為2。

系統(tǒng)中有兩個(gè)CPU核心C1和C2，現(xiàn)在C1和C2要分別讀取內(nèi)存中X的值，根據(jù)cache的工作原理，首次讀取X不能命中cache，因此從內(nèi)存中讀取到X后更新相應(yīng)的cache，現(xiàn)在C1 cache和C2 cache中都有變量X了，其值都是2。

接下來C 1需要對(duì)X執(zhí)行+2操作，同樣根據(jù)cache的工作原理，C1從cache中拿到X的值+2后更新cache，在然后更新內(nèi)存，此時(shí)C1 cache和內(nèi)存中的X值都變?yōu)榱?。

然后C2也許需要對(duì)X執(zhí)行加法操作，假設(shè)需要+4，同樣根據(jù)cache的工作原理，C2從cache中拿到X的值+4后更新cache，此時(shí)cache中的值變?yōu)榱?（2+4），再更新內(nèi)存，此時(shí)C2 cache和內(nèi)存中的X值都變?yōu)榱?。

看出問題在哪里了嗎？一個(gè)初始值為2的變量，在分別+2和+4后正確的結(jié)果應(yīng)該是2+2+4=8，但從上圖可以看出內(nèi)存中X的值卻為6，問題出在哪了呢？

多核cache一致性

有的同學(xué)可能已經(jīng)發(fā)現(xiàn)了，問題出在了內(nèi)存中一個(gè)X變量在C1和C2的cache中有共計(jì)兩個(gè)副本，當(dāng)C1更新cache時(shí)沒有同步修改C2 cache中X的值。

解決方法是什么呢？顯然，如果一個(gè)cache中待更新的變量同樣存在于其它核心的cache，那么你需要一并將其它c(diǎn)ache也更新好。

現(xiàn)在你應(yīng)該看到，CPU更新變量時(shí)不再簡(jiǎn)單的只關(guān)心自己的cache和內(nèi)存，你還需要知道這個(gè)變量是不是同樣存在于其它核心中的cache，如果存在需要一并更新。

當(dāng)然，這還只是簡(jiǎn)單的讀，寫就更加復(fù)雜了，實(shí)際上，現(xiàn)代CPU中有一套協(xié)議來專門維護(hù)緩存的一致性，比較經(jīng)典的包括MESI協(xié)議等。

為什么程序員需要關(guān)心這個(gè)問題呢？原因很簡(jiǎn)單，你最好寫出對(duì)cache一致性協(xié)議友好的程序，因?yàn)閏ache頻繁維護(hù)一致性也是有性能代價(jià)的。

作者：小風(fēng)哥

來源：碼農(nóng)的荒島求生

編輯：endlesscliff

轉(zhuǎn)載內(nèi)容僅代表作者觀點(diǎn)

不代表中科院物理所立場(chǎng)

如需轉(zhuǎn)載請(qǐng)聯(lián)系原公眾號(hào)