CodeGym /課程 /C# SELF /資料緩衝(Buffering)的原則

資料緩衝(Buffering)的原則

C# SELF
等級 41, 課堂 1
開放

1. 介紹

想像你用鉛筆寫信,但你的橡皮擦只剩一點點,每次只能擦掉一個字。沒把字擦掉就不能繼續寫。你會希望一次可以多擦一點,對吧?緩衝大概就是這種「橡皮打包」的概念:它允許一次處理較大的資料塊,而不是一次一點。

在程式設計裡,緩衝(buffering)是把資料暫時放在記憶體的一塊空間(「緩衝區」)裡,等到要進行實際的讀寫到磁碟時才一次性處理。這像是洗衣籃:你把襪子收一整週再一次洗,而不是每穿一隻就去洗。結果是節省時間(和資源)。

輸入/輸出操作

對硬碟、SSD 或隨身碟的訪問,是處理器最慢的一類操作之一。RAM 的速度大約快上千倍!所以如果每次呼叫 Write 或 Read 都直接寫到磁碟,程式會很慢,就像在舊筆電上跑 Windows XP 一樣卡。

緩衝就是為了減少實際的物理磁碟訪問次數並提升效能。

2. I/O 緩衝如何工作

緩衝區其實就是一塊記憶體,用來暫存資料。流程大致如下:

寫檔時:

  • 你的程式呼叫數次 Write()。
  • 所有資料先放到緩衝區裡。
  • 當緩衝滿了或需要結束操作時,整塊緩衝一次性寫到磁碟。

讀檔時:

  • 你要求讀取一小段資料。
  • 系統會一次性從檔案讀較大的區塊到緩衝區。
  • 下次你呼叫讀取時,資料已在緩衝區,不需要再訪問磁碟。

結果:

  • 減少對磁碟的訪問次數。
  • 讀寫速度變快。

3. .NET 裡的緩衝應用

.NET 中大部分 I/O 流預設都使用緩衝:

  • StreamWriter / StreamReader
  • FileStream
  • BufferedStream
  • 甚至 Console.Out!

不過緩衝大小和使用方式是可以(且常常需要)調整的。

為什麼這很重要?

當你要處理大量資料(log 檔、資料庫、媒體處理)時,合適的緩衝設定可以把程式速度提升好幾倍。沒用緩衝的話,即便 CPU 很快也會一直等 I/O,就像一隻淋雨的貓一樣沒精神。

4. 不使用緩衝的簡單範例

先看如果每個位元組都寫一次的寫法會怎樣(千萬別這樣做!):

string path = "slowfile.txt";
using (FileStream fs = new FileStream(path, FileMode.Create))
{
    for (int i = 0; i < 100000; i++)
    {
        fs.WriteByte((byte)'A'); // 一次寫 1 個位元組!
    }
}
Console.WriteLine("完成!(但非常慢)");

這個範例會觸發 100000 次實際的磁碟訪問!就算是 SSD 也會忍不住問「你為什麼要這樣對我?..」

該選多大的緩衝?

這要看你的工作場景:

  • .NET 預設常用 4KB 或 8KB 作為內部緩衝大小。
  • 對於大檔案(100MB 以上),可以考慮 16KB、64KB 或甚至 1MB 的緩衝。
  • 緩衝太大也不好:會浪費記憶體,而且不一定有更好效能。

金律:用測量(profiling)來決定,而不是猜。增加緩衝有時能讓速度快 10 倍,有時則幾乎沒差。

5. 緩衝:讓 I/O 更快

在檔案情境下,「緩衝」就像是批發採購。我們不把香蕉一根根搬,而是整箱搬運。

.NET 幾乎所有 I/O 流在預設下都會緩衝,但例外情況仍存在:例如你自己直接控制 FileStream 並指定奇小或無緩衝的情況,或者在非常特殊的環境下工作。

緩衝如何加速 I/O?

一次讀寫大塊資料讓作業系統能做優化:把多個操作合併成一個、減少磁碟訪問次數、預先載入下一塊資料(prefetching)。

示意:讀檔 — 無緩衝 vs 有緩衝

方案 訪問次數 時間(大致)
逐位元組讀取 10 000 000 10 分鐘
以 4096 位元組讀取 2 500 5 秒

數值是示意,但差距等級值得注意!

6. FileStream 與 .NET 的緩衝

類別 FileStream 是最底層的檔案操作工具,給你最大控制力,但也要更小心。它的建構子允許你設定緩衝大小:

// FileMode.Open: 開啟現有檔案
// FileAccess.Read: 讀取
// FileShare.Read: 允許其他人讀取
// bufferSize: 緩衝大小(位元組)
var fs = new FileStream("bigfile.txt", FileMode.Open, FileAccess.Read, FileShare.Read, bufferSize: 8192)

    // 更快地處理檔案

預設情況下 FileStream 使用 4096 位元組的緩衝,但你可以為大檔案設定更大的值(例如 16KB、64KB 或 1MB)。

建議:不要把緩衝設得 太 大

如果緩衝太大,你會吃掉大量 RAM,但效能不見得會再提升 — 現代作業系統已經有自己的快取機制。對大多數一般任務來說,4KB 到 128KB 是比較合理的範圍。

哪些場景下效能問題會特別明顯?

  • 複製大量小型檔案(例如照片)時。
  • 以很小的區塊讀取大型檔案(每次讀 1 位元組或每次讀一行且無緩衝)。
  • 同時開啟很多檔案(例如腳本在整個磁碟裡搜尋文字)。
  • 操作網路磁碟(延遲 + 網路瓶頸)。
  • 大量作業:打包、備份、匯入/匯出資料。

7. 傳統複製 vs 高速複製

我們來比較幾種在實務中對程式速度有明顯影響的方法。

非常慢的寫法:

// ❌ 不好 — 每次讀寫 1 個位元組
using FileStream source = new FileStream("source.bin", FileMode.Open);
using FileStream dest = new FileStream("dest.bin", FileMode.Create);

int b;
while ((b = source.ReadByte()) != -1)
{
    dest.WriteByte((byte)b);
}

顯著更快:

// ✅ 好 — 以大區塊讀寫
byte[] buffer = new byte[16 * 1024]; // 16 KB
int bytesRead;

using FileStream source = new FileStream("source.bin", FileMode.Open);
using FileStream dest = new FileStream("dest.bin", FileMode.Create);

while ((bytesRead = source.Read(buffer, 0, buffer.Length)) > 0)
{
    dest.Write(buffer, 0, bytesRead);
}

超快(而且簡單):

// 🚀 File.Copy — 內部使用了優化的緩衝
File.Copy("source.bin", "dest.bin");

為什麼還要研究分塊處理?因為有時你需要在複製時即時處理檔案內容(例如過濾行、加密資料、計算總和)。

耗時比較(示意)

為了讓實驗直觀,這裡有個表(數值近似但說明等級差異):

方法 檔案大小 1GB 時間(估計)
逐位元組 1GB ~30 分鐘
以 4KB 區塊 1GB ~20 秒
內建 File.Copy 1GB ~5 秒

不要在重要或系統的 SSD 上跑這種測試,否則你可能會和你的磁碟達成「和平協議」——也就是讓你的神經崩潰。

8. 有用的細節

還有哪些「拖慢」原因?

除了磁碟物理性能和不合適的區塊大小外,還有其他讓程式變慢的原因:

  • 頻繁開啟與關閉檔案(最好開一次、處理完再關閉)。
  • 在主執行緒做 I/O(會阻塞 UI,像 Windows Forms/WPF/MAUI)。
  • 記憶體不足:OS 開始把頁面 swap 出到磁碟 — 兩次慢。
  • 防毒軟體、Windows 搜尋索引、背景程序 — 有時會默默地鎖住或拖慢你的檔案。

實務上的應用

在真實專案中:如果你在做檔案處理軟體(log、媒體、文件)、雲端儲存、報表收集、備份──你一定會遇到「怎麼做快速 I/O?」這個問題。使用緩衝、大區塊與像 File.Copy 這樣的內建工具,是檔案效能優化的基礎。

面試時:可能會問你「為什麼逐位元組讀檔是反範式(anti-pattern)?」或「怎麼讓大量檔案複製更快?」懂得緩衝相關概念能讓你回答得更有說服力並提出實作方案。

實務上:有時原本運作順暢的程式在換到網路磁碟或 OS 更新後突然變慢。了解 I/O 如何運作能幫你快速定位瓶頸並優化。

加速 I/O 的實用建議

  • 一定要使用有緩衝的 I/O(BufferedStream,或在 FileStream 設定緩衝)。
  • 以較大的區塊讀寫(從 4KB 起算)。
  • 最小化檔案的開關次數 — 開一次、用完再關閉。
  • 盡可能使用非同步方法(ReadAsync、WriteAsync)— 它們不會讓 I/O 本身更快,但可以讓你的應用程式不必等待完成。
  • 處理超大檔案時,研究 Memory<T>、Span<T> 類型。
  • 相信並使用內建函式:File.Copy、File.Move 等 — 這些在底層使用系統最快的呼叫。

.NET 類別的緩衝一覽

來看個小表格,哪些類別怎麼做緩衝:

類別 預設緩衝 可否設定緩衝
FileStream
是 是(透過建構子)
StreamWriter
是 是(透過建構子)
StreamReader
是 是
BufferedStream
否(只是包裝) 是
BinaryWriter/Reader
是 否

.NET 幾乎不會完全不使用緩衝──因為那樣效率太差了。

何時需要手動「刷新」緩衝?

有時候資料還在緩衝裡,但你希望它立刻寫到磁碟。例如寫日誌時程式崩潰前想保證重要訊息已寫入。這時就呼叫 .Flush():

using var fs = new FileStream("log.txt", FileMode.Append);
using var writer = new StreamWriter(fs);
writer.WriteLine("某些重要的東西");
writer.Flush(); // 立刻把緩衝寫到磁碟

Flush 就像大喊一聲「好了,整理好收起來!」,所有還沒寫出的資料會被寫到磁碟。

9. 實作問題:常見錯誤與注意事項

新手常見的困惑之一是:「我把資料寫進檔案了,為什麼檔案還是空的?」原因是資料還在緩衝中沒被刷新。可以呼叫 Flush() 或關閉/處置流(Dispose())來確保資料落盤。

另一個問題是:你為寫入分配了過大的緩衝,但系統記憶體不足,導致程式變慢。緩衝太大不一定更好,重點是不要過頭。

2
任務
C# SELF, 等級 41, 課堂 1
上鎖
用大區塊複製檔案
用大區塊複製檔案
留言
TO VIEW ALL COMMENTS OR TO MAKE A COMMENT,
GO TO FULL VERSION