本博文主要討論I/O在底層是如何工作的。本文服務(wù)的讀者，迫切希望了解Java I/O操作是在機(jī)器層面如何進(jìn)行映射，以及應(yīng)用運(yùn)行時(shí)硬件都做了什么。假定你熟悉基本的I/O操作，比如通過Java I/O API讀寫文件。這些內(nèi)容不在本文的討論范圍。

　緩存處理和內(nèi)核vs用戶空間

　　緩沖與緩沖的處理方式,是所有I/O操作的基礎(chǔ)。術(shù)語“輸入、輸出”只對(duì)數(shù)據(jù)移入和移出緩存有意義。任何時(shí)候都要把它記在心中。通常，進(jìn)程執(zhí)行操作系統(tǒng)的I/O請求包括數(shù)據(jù)從緩沖區(qū)排出（寫操作）和數(shù)據(jù)填充緩沖區(qū)（讀操作）。這就是I/O的整體概念。在操作系統(tǒng)內(nèi)部執(zhí)行這些傳輸操作的機(jī)制可以非常復(fù)雜，但從概念上講非常簡單。我們將在文中用一小部分來討論它。

 

　　上圖顯示了一個(gè)簡化的“邏輯”圖，它表示塊數(shù)據(jù)如何從外部源，例如一個(gè)磁盤，移動(dòng)到進(jìn)程的存儲(chǔ)區(qū)域（例如RAM）中。首先，進(jìn)程要求其緩沖通過read()系統(tǒng)調(diào)用填滿。這個(gè)系統(tǒng)調(diào)用導(dǎo)致內(nèi)核向磁盤控 制硬件發(fā)出一條命令要從磁盤獲取數(shù)據(jù)。磁盤控制器通過DMA直接將數(shù)據(jù)寫入內(nèi)核的內(nèi)存緩沖區(qū)，不需要主CPU進(jìn)一步幫助。當(dāng)請求read()操作時(shí)，一旦磁盤控制器完成了緩存的填 寫，內(nèi)核從內(nèi)核空間的臨時(shí)緩存拷貝數(shù)據(jù)到進(jìn)程指定的緩存中。

　　有一點(diǎn)需要注意，在內(nèi)核試圖緩存及預(yù)取數(shù)據(jù)時(shí)，內(nèi)核空間中進(jìn)程請求的數(shù)據(jù)可能已經(jīng)就緒了。如果這樣，進(jìn)程請求的數(shù)據(jù)會(huì)被拷貝出來。如果數(shù)據(jù)不可用，則進(jìn)程被掛起。內(nèi)核將把數(shù)據(jù)讀入內(nèi)存。

　虛擬內(nèi)存

　　你可能已經(jīng)多次聽說過虛擬內(nèi)存了。讓我再介紹一下。

　　所有現(xiàn)代操作系統(tǒng)都使用虛擬內(nèi)存。虛擬內(nèi)存意味著人工或者虛擬地址代替物理（硬件RAM）內(nèi)存地址。虛擬地址有兩個(gè)重要優(yōu)勢：

1. 多個(gè)虛擬地址可以映射到相同的物理地址。
2. 一個(gè)虛擬地址空間可以大于實(shí)際可用硬件內(nèi)存。

　　在上面介紹中，從內(nèi)核空間拷貝到最終用戶緩存看起來增加了額外的工作。為什么不告訴磁盤控制器直接發(fā)送數(shù)據(jù)到用戶空間的緩存呢？好吧，這是由虛擬內(nèi)存實(shí)現(xiàn)的。用到了上面的優(yōu)勢1。

　　通過將內(nèi)核空間地址映射到相同的物理地址作為一個(gè)用戶空間的虛擬地址，DMA硬件（只能方位物理內(nèi)存地址）可以填充緩存。這個(gè)緩存同時(shí)對(duì)內(nèi)核和用戶空間進(jìn)程可見。

 

　　這就消除了內(nèi)核和用戶空間之間的拷貝，但是需要內(nèi)核和用戶緩沖區(qū)使用相同的頁面對(duì)齊方式。緩沖區(qū)必須使用的塊大小的倍數(shù)磁盤控制器（通常是512字節(jié)的磁盤扇區(qū)）。操作系統(tǒng)將其內(nèi)存地址空間劃分為頁面，這是固定大小的字節(jié)組。這些內(nèi)存頁總是磁盤塊大小的倍數(shù)和通常為2倍（簡化尋址）。典型的內(nèi)存頁面大小是1024、2048和4096字節(jié)。虛擬和物理內(nèi)存頁面大小總是相同的。

　內(nèi)存分頁

　　為了支持虛擬內(nèi)存的第2個(gè)優(yōu)勢（擁有大于物理內(nèi) 存的可尋址空間）需要進(jìn)行虛擬內(nèi)存分頁（通常稱為頁交換）。這種機(jī)制憑借虛擬內(nèi)存空間的頁可以持久保存在外部磁盤存儲(chǔ)，從而為其他虛擬頁放入物理內(nèi)存提供了空間。本質(zhì)上講，物理內(nèi)存擔(dān)當(dāng)了分頁區(qū)域的緩存。分頁區(qū)是磁盤上的空間，內(nèi)存頁的內(nèi)容被強(qiáng)迫交換出物理內(nèi)存時(shí)會(huì)保存到這里。

　　調(diào)整內(nèi)存頁面大小為磁盤塊大小的倍數(shù)，讓內(nèi)核可以直接發(fā)送指令到磁盤控制器硬件，將內(nèi)存頁寫到磁盤或者在需要時(shí)重新加載。事實(shí)證明，所有的磁盤I/O操作都是在頁面級(jí)別上完成的。這是數(shù)據(jù)在現(xiàn)代分頁操作系統(tǒng)上在磁盤與物理內(nèi)存之間移動(dòng)的唯一方式。

　　現(xiàn)代CPU包含一個(gè)名為內(nèi)存管理單元（MMU）的子系統(tǒng)。這 個(gè)設(shè)備邏輯上位于CPU與物理內(nèi)存之間。它包含從虛擬地址向物理內(nèi)存地址轉(zhuǎn)化的映射信息。當(dāng)CPU引用一個(gè)內(nèi)存位置時(shí)，MMU決定哪些頁需要駐留（通常通過移位或屏蔽地址的某些位）以及轉(zhuǎn)化虛擬頁號(hào)到物理頁號(hào)（由硬件實(shí)現(xiàn)，速度奇快）。

　面向文件、塊I/O

　　文件I/O總是發(fā)生在文件系統(tǒng)的上下文切換中。文件系統(tǒng)跟磁盤是完全不同的事物。磁盤按段存儲(chǔ)數(shù)據(jù)，每段512字節(jié)。它是硬件設(shè)備，對(duì)保存的文件語義一無所知。它們只是提供了一定數(shù)量的可以保存數(shù)據(jù)的插槽。從這方面來說，一個(gè)磁盤的段與 內(nèi)存分頁類似。它們都有統(tǒng)一的大小并且是個(gè)可尋址的大數(shù)組。

　　另一方面，文件系統(tǒng)是更高層抽象。文件系統(tǒng)是安排和翻譯保存磁盤（或其它可隨機(jī)訪問，面向塊的設(shè)備）數(shù)據(jù)的一種特殊方法。你寫的代碼幾乎總是與文件系統(tǒng)交互，而不與磁盤直接交互。文件系統(tǒng)定義了文件名、路徑、文件、文件屬性等抽象。

　　一個(gè)文件系統(tǒng)組織（在硬盤中）了一系列均勻大小的數(shù)據(jù)塊。有些塊保存元信息，如空閑塊的映射、目錄、索引等。其它塊包含實(shí)際的文件數(shù)據(jù)。單個(gè)文件的元信息描述哪些塊包含文件數(shù)據(jù)、數(shù)據(jù)結(jié)束位置、最后更新時(shí)間等。當(dāng)用戶進(jìn)程發(fā)送請求來讀取文件數(shù)據(jù)時(shí)，文件系統(tǒng)實(shí)現(xiàn)準(zhǔn)確定位數(shù)據(jù)在磁盤上的位置。然后采取行動(dòng)將這些磁盤扇區(qū)放入內(nèi)存中。

　　文件系統(tǒng)也有頁的概念，它的大小可能與一個(gè)基本內(nèi)存頁面大小相同或者是它的倍數(shù)。典型的文件系統(tǒng)頁面大小范圍從2048到8192字節(jié)，并且總是一個(gè)基本內(nèi)存頁面大小的倍數(shù)。

　　分頁文件系統(tǒng)執(zhí)行I/O可以歸結(jié)為以下邏輯步驟：

1. 確定請求跨越了哪些文件系統(tǒng)分頁（磁盤段的集合）。磁盤上的文件內(nèi)容及元數(shù)據(jù)可能分布在多個(gè)文件系統(tǒng)頁面上，這些頁面可能是不連續(xù)的。
2. 分配足夠多的內(nèi)核空間內(nèi)存頁面來保存相同的文件系統(tǒng)頁面。
3. 建立這些內(nèi)存分頁與磁盤上文件系統(tǒng)分頁的映射。
4. 對(duì)每一個(gè)內(nèi)存分頁產(chǎn)生分頁錯(cuò)誤。
5. 虛擬內(nèi)存系統(tǒng)陷入分頁錯(cuò)誤并且調(diào)度pagins（頁面調(diào)入），通過從磁盤讀取內(nèi)容來驗(yàn)證這些頁面。
6. 一旦pageins完成，文件系統(tǒng)分解原始數(shù)據(jù)來提取請求的文件內(nèi)容或?qū)傩孕畔ⅰ?

　　需要注意的是，這個(gè)文件系統(tǒng)數(shù)據(jù)將像其它內(nèi)存頁一樣被緩存起來。在隨后的I/O請求中，一些數(shù)據(jù)或所有文件數(shù)據(jù)仍然保存在物理內(nèi)存中，可以直接重用不需要從磁盤重讀。

　文件鎖定

　　文件加鎖是一種機(jī)制，一個(gè)進(jìn)程可以阻止其它進(jìn)程訪問一個(gè)文件或限制其它進(jìn)程訪問該文件。雖然名為“文件鎖定”，意味著鎖定整個(gè)文件（經(jīng)常做的）。鎖定通�？梢栽谝粋�(gè)更細(xì)粒度的水平。隨著粒度下降到字節(jié)級(jí)，文件的區(qū)域通常會(huì)被鎖定。鎖與特定文件相關(guān)聯(lián)，起始于文件的指定字節(jié)位置并運(yùn)行到指定的字節(jié)范圍。這一點(diǎn)很重要，因?yàn)樗�允許多個(gè)進(jìn)程協(xié)作訪問文件的特定區(qū)域而不妨礙別的進(jìn)程在文件其它位置操作。

　　文件鎖有兩種形式：共享和獨(dú)占。多個(gè)共享鎖可以同時(shí)在相同的文件區(qū)域有效。另一方面，獨(dú)占鎖要求沒有其它鎖對(duì)請求的區(qū)域有效。

　流I/O

　　并非所有的I/O是面向塊的。還有流I/O，它是管道的原型，必須順序訪問I/O數(shù)據(jù)流的字節(jié)。常見的數(shù)據(jù)流有TTY（控制臺(tái)）設(shè)備、打印端口和網(wǎng)絡(luò)連接。

　　數(shù)據(jù)流通常但不一定比塊設(shè)備慢，提供間歇性輸入。大多數(shù)操作系統(tǒng)允許在非阻塞模式下工作。允許一個(gè)進(jìn)程檢查數(shù)據(jù)流的輸入是否可用，不必在不可用時(shí)發(fā)生阻塞。這種管理允許進(jìn)程在輸入到達(dá)時(shí)進(jìn)行處理，在輸入流空閑時(shí)可以執(zhí)行其他功能。

　　比非阻塞模式更進(jìn)一步的是有條件的選擇（readiness selection）。它類似于非阻塞模式（并且通常建立在非阻塞模式基礎(chǔ)上），但是減輕了操作系統(tǒng)檢查流是否就緒準(zhǔn)的負(fù)擔(dān)。操作系統(tǒng)可以被告知觀察流集合，并向進(jìn)程返回哪個(gè)流準(zhǔn)備好的指令。這種能力允許進(jìn)程通過利用操作系統(tǒng)返回 的準(zhǔn)備信息，使用通用代碼和單個(gè)線程復(fù)用多個(gè)活動(dòng)流。這種方式被廣泛用于網(wǎng)絡(luò)服務(wù)器，以便處理大量的網(wǎng)絡(luò)連接。準(zhǔn)備選擇對(duì)于大容量擴(kuò)展是至關(guān)重要的。

　　到此為止，對(duì)這個(gè)非常復(fù)雜的話題有一大堆技術(shù)術(shù)語。

　　如果你有想法和疑問，請給給我發(fā)評(píng)論。

　　學(xué)習(xí)快樂��！

　　原文鏈接：howtodoinjava 翻譯：ImportNew

標(biāo)簽： 代碼 服務(wù)器 網(wǎng)絡(luò) 網(wǎng)絡(luò)服務(wù)器

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。