Linux遭遇擴(kuò)展性問題

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

使用真正大型機(jī)器的樂趣，一方面在于能夠比別人更早在可擴(kuò)展性方面發(fā)現(xiàn)新的驚奇，所以使用SGI高性能計(jì)算機(jī)的人常常比我們?cè)S多人享有更多的樂趣。他們最近的發(fā)現(xiàn)與內(nèi)核線程的數(shù)量有關(guān): 在4096路系統(tǒng)上，Linux內(nèi)核線程的數(shù)量導(dǎo)致內(nèi)核出現(xiàn)了令人關(guān)注的一些行為。

發(fā)現(xiàn)問題

首先他們發(fā)現(xiàn)：即使使用默認(rèn)的配置，也啟動(dòng)不了內(nèi)核。Linux系統(tǒng)在任何一個(gè)特定的時(shí)間，活動(dòng)進(jìn)程通常限制在32768個(gè)。運(yùn)行過ps命令的人都會(huì)注意到: 內(nèi)核線程在占用數(shù)量越來越多的內(nèi)存插槽。單處理器桌面系統(tǒng)可能在運(yùn)行其中的39個(gè)活動(dòng)進(jìn)程。實(shí)際上，如今一個(gè)典型的系統(tǒng)上有足夠多的內(nèi)核線程，以至這些線程會(huì)占滿4096路機(jī)器上的全部空間，甚至更多。這個(gè)問題比較容易得到解決，只要提高處理器數(shù)量的限額。不過，這樣一來情況變得比較有意思了。

對(duì)系統(tǒng)上的其他每個(gè)進(jìn)程（包括內(nèi)核線程）來說，init進(jìn)程是最終的父進(jìn)程。所以在大型系統(tǒng)上，init有許多子進(jìn)程。這些子進(jìn)程位于一個(gè)很大的鏈表（linked list）上。該鏈表由諸多函數(shù)來搜索，其中包括wait()的變種版本。如果正在搜索中的進(jìn)程接近鏈表末端，那么這個(gè)搜索需要花費(fèi)很長(zhǎng)時(shí)間。一是因?yàn)榇蠖鄶?shù)內(nèi)核線程是長(zhǎng)期線程，二是因?yàn)樾逻M(jìn)程被放在鏈表末端，所以某次搜索很可能確實(shí)會(huì)尋找末端的某個(gè)進(jìn)程。

然后把某個(gè)模塊裝入內(nèi)核。當(dāng)新模塊進(jìn)行鏈接時(shí)，模塊裝入過程就會(huì)調(diào)用stop_machine_run()，該函數(shù)會(huì)為系統(tǒng)上的每個(gè)進(jìn)程創(chuàng)建高優(yōu)先級(jí)的內(nèi)核線程。該線程就會(huì)獲取分配給它的CPU，然后只是閑置在那里，直到被告知退出；盡管所有CPU以這種方式被擱置起來，但鏈接過程照常執(zhí)行。即便在最好的時(shí)候（即線程數(shù)量不多的時(shí)候），調(diào)用stop_machine_run()這樣的函數(shù)也是有點(diǎn)不合常理，更何況對(duì)一個(gè)擁有4096路處理器的系統(tǒng)而言，stop_machine_run()會(huì)創(chuàng)建4096個(gè)線程，每個(gè)線程都會(huì)進(jìn)入到init的子鏈表的末端；每個(gè)線程等到需要清理時(shí)，都必須進(jìn)行搜索。結(jié)果就是，系統(tǒng)在很長(zhǎng)一段時(shí)間過后才會(huì)停機(jī)。

解決辦法

有人可能認(rèn)為，擁有這么大系統(tǒng)的人根本不應(yīng)該裝入模塊，但可能會(huì)受到來自用戶社區(qū)的反對(duì)。所以需要找到其他的解決方案。有關(guān)報(bào)告提供了一種簡(jiǎn)單的補(bǔ)丁，可以把現(xiàn)有的進(jìn)程轉(zhuǎn)移到子鏈表的始端。這種變化解決了眼前的問題，因?yàn)樗梢酝ㄟ^搜索這些子進(jìn)程就能找到它們，不必遍歷不會(huì)去任何地方的所有長(zhǎng)期進(jìn)程。

Linus有幾個(gè)變通辦法。辦法之一就是為僵尸進(jìn)程（zombie process）建立不同的鏈表，從而完全不需要這種搜索。另一個(gè)辦法就是停止讓內(nèi)核線程成為init進(jìn)程的子進(jìn)程，因?yàn)樵谌魏吻闆r下，它們與用戶空間都沒有多大關(guān)系。但一些開發(fā)人員認(rèn)為，真正的解決方案也許在于開始減少內(nèi)核線程的數(shù)量。

導(dǎo)致內(nèi)核線程大量創(chuàng)建的最主要原因無(wú)疑是工作隊(duì)列。默認(rèn)情況下，工作隊(duì)列會(huì)為系統(tǒng)上的每個(gè)CPU創(chuàng)建一個(gè)線程。有些情況能夠得益于多個(gè)線程和CPU局部性（CPU locality），但毫無(wú)疑問也有許多情況下不需要所有這些線程。清除這些線程有助于解決部分?jǐn)U展性問題; 另一個(gè)好處就是，這可以讓ps列表顯得整潔一些。

在許多情況下，工作隊(duì)列可能根本沒有必要。相反，內(nèi)核子系統(tǒng)可能完全使用“一般的”keventd工作隊(duì)列（作為events/n線程來運(yùn)行）。使用keventd內(nèi)核線程存在一些問題，包括無(wú)限制延遲以及可能性很小的死鎖，不過在許多情況下，它的工作效果足夠好。

在其他情況下，使用線程很有必要。涉及長(zhǎng)時(shí)間延遲的任務(wù)是一個(gè)例子; 使用kevented運(yùn)行延遲時(shí)間好幾秒的函數(shù)被認(rèn)為是不恰當(dāng)?shù)?。需要?fù)雜上下文的工作也會(huì)得益于其自己的線程。不過在許多情況下，這些線程在一些工作實(shí)際完成之前并不需要?jiǎng)?chuàng)建。大多數(shù)系統(tǒng)上迅速運(yùn)行ps命令可以顯示與錯(cuò)誤處理、異步I/O、藍(lán)牙及更多方面有關(guān)的線程。按照當(dāng)前方式，這些線程在啟動(dòng)時(shí)（或者模塊裝入時(shí)）創(chuàng)建，其中許多線程在系統(tǒng)關(guān)閉之前可能根本不做任何實(shí)際工作。創(chuàng)建線程的成本很低，所以許多這些線程可以在需要時(shí)創(chuàng)建而成。

這方面恐怕需要進(jìn)行一些真正的改進(jìn)。需要的只是有人、有時(shí)間、有動(dòng)力來做這項(xiàng)工作。與此同時(shí)，使用4096路處理器系統(tǒng)的人可能需要打上一兩個(gè)補(bǔ)丁。

鏈接:進(jìn)程與線程

可執(zhí)行文件由指令和數(shù)據(jù)組成。進(jìn)程就是在計(jì)算機(jī)上運(yùn)行的可執(zhí)行文件針對(duì)特定的輸入數(shù)據(jù)的一個(gè)實(shí)例，同一個(gè)可執(zhí)行程序文件如果操作不同的輸入數(shù)據(jù)就是兩個(gè)不同的進(jìn)程。

線程是進(jìn)程的一條執(zhí)行路徑，它包含獨(dú)立的堆棧和CPU寄存器狀態(tài)，每個(gè)線程共享其所附屬的進(jìn)程的所有的資源，包括打開的文件、頁(yè)表（因此也就共享整個(gè)用戶態(tài)地址空間）、信號(hào)標(biāo)識(shí)及動(dòng)態(tài)分配的內(nèi)存等等。線程和進(jìn)程的關(guān)系是：線程是屬于進(jìn)程的，線程運(yùn)行在進(jìn)程空間內(nèi)，同一進(jìn)程所產(chǎn)生的線程共享同一物理內(nèi)存空間，當(dāng)進(jìn)程退出時(shí)該進(jìn)程所產(chǎn)生的線程都會(huì)被強(qiáng)制退出并清除。

Linux內(nèi)核只提供了輕量進(jìn)程的支持，限制了更高效的線程模型的實(shí)現(xiàn)，但Linux著重優(yōu)化了進(jìn)程的調(diào)度開銷，一定程度上也彌補(bǔ)了這一缺陷。目前最流行的線程機(jī)制LinuxThreads所采用的就是線程-進(jìn)程“一對(duì)一”模型，調(diào)度交給核心，而在用戶級(jí)實(shí)現(xiàn)一個(gè)包括信號(hào)處理在內(nèi)的線程管理機(jī)制。

在Linux的“一對(duì)一”模型中，用一個(gè)核心進(jìn)程（輕量進(jìn)程）對(duì)應(yīng)一個(gè)線程，將線程調(diào)度等同于進(jìn)程調(diào)度，交給核心完成，而其他諸如線程取消、線程間的同步等工作，都是在核外線程庫(kù)中完成的。因此可以把進(jìn)程看作一組線程，這組線程擁有相同的線程組號(hào)（TGID），這個(gè)TGID就是這組線程序所附屬的進(jìn)程的ID號(hào)，每個(gè)線程的ID號(hào)就是我們用ps命令所看到的LWP號(hào)。(ccw)