Linux 調(diào)度器

BFS 是一個進(jìn)程調(diào)度器，可以解釋為"腦殘調(diào)度器"。這古怪的名字有多重含義，比較容易被接受的一個說法為:它如此簡單，卻如此出色，這會讓人對自己的思維能力產(chǎn)生懷疑。

BFS 不會被合并進(jìn)入 Linus 維護(hù)的 Linux mainline，BFS 本身也不打算這么做。但 BFS 擁有眾多的擁躉，這只有一個原因:BFS 非常出色，它讓用戶的桌面環(huán)境達(dá)到了前所未有的流暢。在硬件越來越先進(jìn)，系統(tǒng)卻依然常顯得遲鈍的時代，這實(shí)在讓人興奮。

進(jìn)入 2010 年，Android 開發(fā)一個分支使用 BFS 作為其操作系統(tǒng)的標(biāo)準(zhǔn)調(diào)度器，這也證明了 BFS 的價值。后來放棄。

調(diào)度器是非常復(fù)雜的話題，尤其是 CFS 調(diào)度器，想要描述清楚，需要一支非凡的筆，我還沒有找到。但 BFS 非常簡單，所以我才有勇氣在這里寫點(diǎn)兒 BFS 的實(shí)現(xiàn)原理什么的。首先介紹幾個關(guān)鍵概念。

虛擬 Deadline ( Virtual Deadline )

當(dāng)一個進(jìn)程被創(chuàng)建時，它被賦予一個固定的時間片，和一個虛擬 Deadline。該虛擬 deadline 的計算公式非常簡單:

其中 jiffies 是當(dāng)前時間 , user_priority 是進(jìn)程的優(yōu)先級，rr_interval 代表 round-robin interval，近似于一個進(jìn)程必須被調(diào)度的最后期限，所謂 Deadline 么。不過在這個 Deadline 之前還有一個形容詞為 Virtual，因此這個 Deadline 只是表達(dá)一種愿望而已，并非很多領(lǐng)導(dǎo)們常說的那種 deadline。

虛擬 Deadline 將用于調(diào)度器的 picknext 決策，這將在后續(xù)章節(jié)詳細(xì)描述。

進(jìn)程隊(duì)列的表示方法和調(diào)度策略

在操作系統(tǒng)內(nèi)部，所有的 Ready 進(jìn)程都被存放在進(jìn)程隊(duì)列中，調(diào)度器從進(jìn)程隊(duì)列中選取下一個被調(diào)度的進(jìn)程。因此如何設(shè)計進(jìn)程隊(duì)列是我們研究調(diào)度器的一個重要話題。BFS 采用了非常傳統(tǒng)的進(jìn)程隊(duì)列表示方法，即 bitmap 加 queue。

BFS 將所有進(jìn)程分成 4 類，分別表示不同的調(diào)度策略 :

Realtime，實(shí)時進(jìn)程 SCHED_ISO，isochronous 進(jìn)程，用于交互式任務(wù) SCHED_NORMAL，普通進(jìn)程 SCHED_IDELPRO，低優(yōu)先級任務(wù) 實(shí)時進(jìn)程總能獲得 CPU，采用 Round Robin 或者 FIFO 的方法來選擇同樣優(yōu)先級的實(shí)時進(jìn)程。他們需要 superuser 的權(quán)限，通常限于那些占用 CPU 時間不多卻非常在乎 Latency 的進(jìn)程。

SCHED_ISO 在主流內(nèi)核中至今仍未實(shí)現(xiàn)，Con 早在 2003 年就提出了這個 patch，但一直無法進(jìn)入主流內(nèi)核，這種調(diào)度策略是為了那些 near-realtime 的進(jìn)程設(shè)計的。如前所述，實(shí)時進(jìn)程需要用戶有 superuser 的權(quán)限，這類進(jìn)程能夠獨(dú)占 CPU，因此只有很少的進(jìn)程可以被配置為實(shí)時進(jìn)程。對于那些對交互性要求比較高的，又無法成為實(shí)時進(jìn)程的進(jìn)程，BFS 將采用 SCHED_ISO，這些進(jìn)程能夠搶占 SCHED_NORMAL 進(jìn)程。他們的優(yōu)先級比 SCHED_NORMAL 高，但又低于實(shí)時進(jìn)程。此外當(dāng) SCHED_ISO 進(jìn)程占用 CPU 時間達(dá)到一定限度后，會被降級為 SCHED_NORMAL，防止其獨(dú)占整個系統(tǒng)資源。

SCHED_NORMAL 類似于主流調(diào)度器 CFS 中的 SCHED_OTHER，是基本的分時調(diào)度策略。

SCHED_IDELPRO 類似于 CFS 中的 SCHED_IDLE，即只有當(dāng) CPU 即將處于 IDLE 狀態(tài)時才被調(diào)度的進(jìn)程。

在這些不同的調(diào)度策略中，實(shí)時進(jìn)程分成 100 個不同的優(yōu)先級，加上其他三個調(diào)度策略，一共有 103 個不 同的進(jìn)程類型。對于每個進(jìn)程類型，系統(tǒng)中都有可能有多個進(jìn)程同時 Ready，比如很可能有兩個優(yōu)先級為 10 的 RT 進(jìn)程同時 Ready，所以對于每個類型，還需要一個隊(duì)列來存儲屬于該類型的 ready 進(jìn)程。

BFS 用 103 個 bitmap 來表示是否有相應(yīng)類型的進(jìn)程準(zhǔn)備進(jìn)行調(diào)度。如圖所示:

當(dāng)任何一種類型的進(jìn)程隊(duì)列非空時，即存在 Ready 進(jìn)程時，相應(yīng)的 bitmap 位被設(shè)置為 1。

調(diào)度器如何在這樣一個 bitmap 加 queue 的復(fù)雜結(jié)構(gòu)中選擇下一個被調(diào)度的進(jìn)程的問題被稱為 Task Selection 或者 pick next。

Task Selection i.e. Pick Next

當(dāng)調(diào)度器決定進(jìn)行進(jìn)程調(diào)度的時候，BFS 將按照下面的原則來進(jìn)行任務(wù)的選擇:

首先查看 bitmap 是否有置位的比特。比如上圖，對應(yīng)于 SCHED_NORMAL 的 bit 被置位，表明有類型為 SCHED_NORMAL 的進(jìn)程 ready。如果有 SCHED_ISO 或者 RT task 的比特被置位，則優(yōu)先處理他們。

選定了相應(yīng)的 bit 位之后，便需要遍歷其相應(yīng)的子隊(duì)列。假如是一個 RT 進(jìn)程的子隊(duì)列，則選取其中的第一個進(jìn)程。如果是其他的隊(duì)列，那么就采用 EEVDF 算法來選取合適的進(jìn)程。

EEVDF，即 earliest eligible virtual deadline first。BFS 將遍歷該子隊(duì)列，一個雙向列表，比較隊(duì)列中的每一個進(jìn)程的 Virtual Deadline 值，找到最小的那個。最壞情況下，這是一個 O(n) 的算法，即需要遍歷整個雙向列表，假如其中有 n 個進(jìn)程，就需要進(jìn)行 n 此讀取和比較。

但實(shí)際上，往往不需要遍歷整個 n 個進(jìn)程，這是因?yàn)?BFS 還有這樣一個搜索條件:

當(dāng)某個進(jìn)程的 Virtual Deadline 小于當(dāng)前的 jiffies 值時，直接返回該進(jìn)程。并將其從就緒隊(duì)列中刪除，下次再 insert 時會放到隊(duì)列的尾部，從而保證每個進(jìn)程都有可能被選中，而不會出現(xiàn)饑餓現(xiàn)象。

這條規(guī)則對應(yīng)于這樣一種情況，即進(jìn)程已經(jīng)睡眠了比較長的時間，以至于已經(jīng)睡過了它的 Virtual Deadline，

T1 本來的 virtual deadline 為 t1，它 sleep 之后，其他的進(jìn)程比如 T2 開始運(yùn)行，等到 T1 再次 wakeup 的時候，當(dāng)時的 jiffies 已經(jīng)大于 t1，在這種情況下，T1 無需和其他進(jìn)程的 virtual deadline 相比較，而直接被 BFS 調(diào)度器選取。

三個基本的 scenario 可以概括多數(shù)的調(diào)度情景。系統(tǒng)中發(fā)生的每一次調(diào)度都屬于以下三種情景之一。

進(jìn)程wakeup:TaskInsertion

睡眠進(jìn)程 wakeup 時，調(diào)度器需要執(zhí)行 task insertion 的操作，將該進(jìn)程插入到 run queue 中。BFS 將進(jìn)程插入相應(yīng)隊(duì)列的操作就是執(zhí)行一個雙向隊(duì)列的插入操作，計算機(jī)常用算法結(jié)構(gòu)告訴我們，這個操作是 O(1) 的。不過，BFS 在執(zhí)行插入操作之前需要首先查看當(dāng)前進(jìn)程是否可以搶占當(dāng)前正在系統(tǒng)中運(yùn)行的進(jìn)程。因此它會用新進(jìn)程的 virtual deadline 值和當(dāng)前在每個 CPU 上正在運(yùn)行的進(jìn)程的 virtual deadline 值進(jìn)行比較，如果新進(jìn)程的值小，則直接搶占該 CPU 上正在運(yùn)行的進(jìn)程。這個算法是 O(m) 的，其中 m 是 CPU 的個數(shù)，假如系統(tǒng)中有 16 個 CPU，那么每次都需要進(jìn)行 16 次比較。但這個設(shè)計卻保證了非常好的 low-latency 特性。

進(jìn)程Sleep

當(dāng)前正在運(yùn)行的進(jìn)程有可能主動睡眠，此時，調(diào)度器需要將該進(jìn)程從 run queue 中移除，并選擇另外一個進(jìn)程運(yùn)行。但該進(jìn)程的 virtual deadline 的值保持不變。

這樣該進(jìn)程 wakeup 時，其 virtual deadline 將相對較小，因?yàn)?jiffies 隨著時間流逝而不斷增加。較小的 Virtual Deadline 可以保證該進(jìn)程能更快得到調(diào)度。

仍然以圖 8 為例，系統(tǒng)中有兩個進(jìn)程，T1 和 T2，T1 進(jìn)入 sleep 狀態(tài)后其 virtual deadline 仍然為 t1。T2 此時被調(diào)度，根據(jù)公式一，計算得出其 virtual deadline 為 t2。此后，T1 進(jìn)程 wakeup 了，此時雖然 T2 的時間片尚未用完，但由于 T1 的 virtual deadline 小于 T2 的，(t1<t2)，因此 T1 立即得到調(diào)度。

進(jìn)程用完自己的時間片

每個進(jìn)程都擁有自己的時間片，即使不被其他進(jìn)程搶占，假如屬于自己的時間片用完時，當(dāng)前進(jìn)程也一定會被剝奪 CPU 時間，以便讓別的進(jìn)程有機(jī)會執(zhí)行。

當(dāng)前進(jìn)程的時間片用完后就必須讓出 CPU, 此時將它的 virtual deadline 按照公式一重新計算。

這保證了一個特性:只有其他就緒進(jìn)程都獲得 CPU 之后，用完當(dāng)前時間片的進(jìn)程才可以再次得到運(yùn)行，這避免了饑餓。

linux調(diào)度器(BFS )是一款專門為 Linux 桌面環(huán)境所設(shè)計的內(nèi)核調(diào)度器，它基于 Staircase Deadline和 EEVDF 算法，支持 Linux 2.6.31之后的內(nèi)核。它提供了前所未有的流暢桌面性能，不僅得到了用戶的認(rèn)可，也為一些商業(yè)系統(tǒng)所采用。

BFS vs CFS，設(shè)計上的不同 白天 Con Kolivas 在醫(yī)院里當(dāng)麻醉師，為人們解除痛苦，業(yè)余的時候借 Linux 解除自己的痛苦。額，Kolivas 學(xué)習(xí) Linux 并不是為了解決痛苦，我臆測而已。但據(jù) Kolivas 自述，他接觸 Linux 內(nèi)核時連 C 語言也沒有學(xué)習(xí)過。。。這個事實(shí)證明，語言只是一項(xiàng)工具，對問題本質(zhì)的深入理解才是寫程序的關(guān)鍵。可能還有執(zhí)著，CFS 和 RSDL 之爭導(dǎo)致 Kolivas 離開 Linux 社區(qū)，此去經(jīng)年，當(dāng) Kolivas 再次開始看內(nèi)核代碼的時候，他立即發(fā)現(xiàn) CFS 存在以下幾個設(shè)計上的問題:

CFS 的目標(biāo)是支持從桌面到高端服務(wù)器的所有應(yīng)用場景，這種大而全的設(shè)計思路導(dǎo)致其必須做一些實(shí)現(xiàn)上的折中，此外，那些只有在高端機(jī)器中才需要的特性將引入不必要的復(fù)雜代碼。

其次，為了維護(hù)多 CPU 上的公平性，CFS 采用了負(fù)載平衡機(jī)制，Kolivas 認(rèn)為，這些復(fù)雜代碼抵消了 per cpu queue 曾帶來的好處。

最后，主流內(nèi)核的 CFS 還是對睡眠進(jìn)程存在一些偏好，這意味著"不公平"。

在現(xiàn)實(shí)中，調(diào)度算法類似一個處境尷尬的主婦，滿足孩子對晚餐的要求便有可能傷害到老人的食欲。Linux 內(nèi)核一直試圖做出一道讓全家老少都喜歡的菜，在這方面，CFS 已經(jīng)做的很好。但一道能被所有人接受的菜，或許就意味著稍許平淡。而 BFS 只打算滿足一種口味，以便將這種口味發(fā)展到極限。

根據(jù) Linux Magazine的說法，Con Kolivas是看到了下面這則來自 xkcd 的漫畫而開始思考 BFS 的。

事情源于一些 Linux 用戶，他們發(fā)現(xiàn) Linux 雖然號稱能夠充分發(fā)揮 4096 顆 CPU 系統(tǒng)的計算能力，但在普通的 laptop 上卻無法流暢地播放 Youtube 視頻。

這讓人們開始思考，對于 Desktop 環(huán)境來講，CFS 哪些復(fù)雜的特性究竟是否還有意義?人們是否有必要在自己的個人電腦中使用一個支持 4096 個 CPU 的調(diào)度器?

BFS 正是對這種質(zhì)疑的自然反應(yīng)。它不打算支持 4096 個 CPU 的龐然大物，BFS 的目標(biāo)是普通人使用的桌面電腦。此外，BFS 還刪除了那些只有在服務(wù)器上才需要的特性。比如，BFS 拋棄了 CFS 的組調(diào)度特性，類似 CGROUP 這樣的特性對于普通的桌面用戶是多余的技術(shù)。

這很容易理解:在只有一個 CPU 的系統(tǒng)中，誰還會設(shè)計多個 CGroup，哪里還能用到 NUMA domain等概念呢?

此外 BFS 使用單一的 run queue，不再需要復(fù)雜的負(fù)載均衡機(jī)制。由于不再有 CGROUP 概念，也不再需要 Group 間的負(fù)載均衡。

這些簡單的裁剪使得 BFS 的代碼極大地簡化，簡化的代碼意味著執(zhí)行一次調(diào)度所需要的指令數(shù)減少了，相應(yīng)的 footprint 自然也減少了。

當(dāng)然簡化代碼只是一個顯而易見的方面，更重要的是，這種理念的不同會對最終的調(diào)度器實(shí)現(xiàn)產(chǎn)生更加深遠(yuǎn)的影響，這實(shí)在是難以盡述。

多隊(duì)列 vs 單一隊(duì)列

?在 Linux 內(nèi)核進(jìn)入 2.6 時，調(diào)度器采用 per cpu run queue 從而克服了單一 run queue 的局限。在多 CPU 系統(tǒng)中，單一 run queue 意味著 run queue 成為了系統(tǒng)的瓶頸，因?yàn)樵谕粫r刻，一個 CPU 訪問 run queue 時，其他的 CPU 即使空閑也必須等待。當(dāng)使用 per CPU 的 run queue 之后，每個 CPU 不必再使用大鎖，從而能夠并行地處理調(diào)度。

但很多事情都不像第一眼看上去那樣簡單。

Kolivas 發(fā)現(xiàn)，采用 per cpu run queue 所帶來的好處會被追求公平性的 load balance 代碼所抵消。在目前的 CFS 調(diào)度器中，每顆 CPU 只維護(hù)本地 run queue 中所有進(jìn)程的公平性，為了實(shí)現(xiàn)跨 CPU 的調(diào)度公平性，CFS 必須定時進(jìn)行 load balance，將一些進(jìn)程從繁忙的 CPU 的 run queue 中移到其他空閑的 run queue 中。

這個 load balance 的過程需要獲得其他 run queue 的鎖，這種操作降低了多運(yùn)行隊(duì)列帶來的并行性。

并且在復(fù)雜情況下，這種因 load balance 而引入的 footprint 將非?？捎^。

當(dāng)然，load balance 引入的加鎖操作依然比全局鎖的代價要低，這種代價差異隨著 CPU 個數(shù)的增加而更加顯著。但請您注意，BFS 并不打算為那些擁有 1024 個 CPU 的系統(tǒng)工作，假若系統(tǒng)中的 CPU 個數(shù)有限時，多 run queue 的優(yōu)勢便不明顯了。

而 BFS 采用單一隊(duì)列之后，每一個需要調(diào)度的新進(jìn)程都可以在全局范圍內(nèi)查找最合適的 CPU，而無需 CFS 那樣等待 load balance 代碼來決定，這減少了多 CPU 之間裁決的延遲，最終的結(jié)果是更小的調(diào)度延遲。

向前看還是向后看?

多年來 Kolivas 一直關(guān)注著 Linux 在 desktop 上的表現(xiàn)。對于 desktop 的用戶，最注重的不是系統(tǒng)的吞吐量，而是交互性程序的流暢體驗(yàn)。從 SD 開始，Kolivas 就告訴內(nèi)核黑客們，完全公平能夠從根本上保證交互性。他始終堅(jiān)持一個基本觀點(diǎn):調(diào)度器應(yīng)該 forward look only。決不要去考慮一個進(jìn)程的過去。

CFS 卻偏偏要考慮進(jìn)程的過去。2.6.23 的時候，CFS 記錄并使用 sleep time。之后不久，在 2.6.24 發(fā)布的時候，CFS 合并了"Real Fair Scheduler"，刪除了 sleep time。因此在 2.6.24 之后的內(nèi)核中，CFS 終于也不再考慮進(jìn)程過去的睡眠時間。

但 CFS 還是保留了 sleeper fairness 的思想，當(dāng)進(jìn)程 wakeup 的時候，在 place_entity() 函數(shù)中，CFS 將對 sleeper 進(jìn)行獎勵，以便其能盡快得到 CPU。這個策略是非常微妙的，我們在 2.1 節(jié)中詳細(xì)介紹了 sleeper fairness 的演進(jìn)過程。假如您花些時間回頭再看看，就會發(fā)現(xiàn) sleeper fairness 曾造成怎樣嚴(yán)重的延遲問題。雖然 Ingo 自稱 Gentle fairness 解決了延遲問題，但從代碼上看，Gentle Fairness 只是對 sleeper 的獎勵減半而已。因此我們可以說，CFS 依然對 Sleeper 進(jìn)程進(jìn)行獎勵，這代表著一種偏好，一種"不公平"。而這，正是 BFS 所反對的。

BFS 中，當(dāng)一個進(jìn)程 wakeup 時，調(diào)度器將根據(jù)進(jìn)程的 deadline 來進(jìn)行選擇(關(guān)于 deadline 本文將在第 4 章中詳細(xì)描述)，其結(jié)果是，更早睡眠的進(jìn)程能更快地得到調(diào)度;CFS 的 sleeper fairness 則意味著要根據(jù) wakeup 的時間來選擇下一個被調(diào)度的進(jìn)程，更早 wakeup 的進(jìn)程會更快得到調(diào)度。

這種不同究竟會對桌面應(yīng)用造成何種影響尚沒有理論依據(jù)可以參考。但我個人認(rèn)為，BFS 的策略更加合理。

您現(xiàn)在可能已經(jīng)讀得有些煩躁了 ( 這些英文加中文的說些啥啊 )，所以我還是盡快介紹一下 BFS 的實(shí)現(xiàn)細(xì)節(jié)吧。然后或許您會理解我，有些詞還是不翻譯更好。