CodeGym /課程 /C# SELF /效能與手動緩衝區管理

效能與手動緩衝區管理

C# SELF
等級 41, 課堂 3
開放

1. 介紹

為什麼需要緩衝與效能比較

我們已經知道,緩衝是一種策略,會把資料聚成較大的「一批」,這樣就不用對磁碟做成千上萬次存取,而是少次數地一次傳很多資料。這對大量資料尤其能顯著提升效能。

何時該關心 I/O 效能

  • 當你在處理大型檔案(GB、TB——比如公司多年累積的日誌收藏)時。
  • 當需要極低延遲(例如即時處理日誌)時。
  • 當檔案存取次數極大(例如大規模重命名/複製照片檔案庫)時。
  • 在面試中展示你懂現代優化方法(並且喜歡測速而不是「隨便讓它跑」)。

在 .NET 中預設大多數檔案流已經有緩衝,但有時候你需要更細緻的設定或特殊策略。

主要「角色」— 有哪些緩衝類型

類別 預設緩衝 能否改變大小 適用情境
FileStream
有(4096 位元組) 可以(透過建構子) 基礎檔案流
BufferedStream
有(4096 位元組) 可以(透過建構子) 包裹在其他流上的「封裝」
StreamReader/Writer
有(1024/1024 位元組) 可以(建構子) 處理文字
  • BufferedStream 可以把另一個流「打包」,以提高效能(例如當底層流緩衝不好或你想要更大的緩衝時)。
  • 緩衝大小是一種在速度和記憶體使用之間的折衷。

2. 範例:

我們來比較三種複製大型檔案的方法:

  1. 不使用緩衝— 每次一個位元組(不建議,但容易看出問題)
  2. 使用預設緩衝— 標準的 FileStream 與 CopyTo
  3. 手動管理緩衝— 自己提供緩衝並調整大小

為了實驗,寫個簡單的檔案複製工具加入到你的應用程式。假設檔案叫做 BigFile.bin。

class FileCopyBenchmarks
{
    // 按一個位元組複製(反面教材 — 不要這麼做!)
    public static void CopyOneByte(string source, string dest)
    {
        using var input = new FileStream(source, FileMode.Open, FileAccess.Read);
        using var output = new FileStream(dest, FileMode.Create, FileAccess.Write);

        int b;
        while ((b = input.ReadByte()) != -1)
        {
            output.WriteByte((byte)b);
        }
    }

    // 使用 FileStream 的預設緩衝來複製
    public static void CopyWithDefaultBuffer(string source, string dest)
    {
        using var input = new FileStream(source, FileMode.Open, FileAccess.Read);
        using var output = new FileStream(dest, FileMode.Create, FileAccess.Write);

        input.CopyTo(output); // 使用內部緩衝(通常是 81920 位元組)
    }

    // 手動控制緩衝的複製
    public static void CopyWithCustomBuffer(string source, string dest, int bufferSize = 1024 * 1024)
    {
        using var input = new FileStream(source, FileMode.Open, FileAccess.Read);
        using var output = new FileStream(dest, FileMode.Create, FileAccess.Write);

        byte[] buffer = new byte[bufferSize];
        int bytesRead;
        while ((bytesRead = input.Read(buffer, 0, buffer.Length)) > 0)
        {
            output.Write(buffer, 0, bytesRead);
        }
    }
}

哪個函式跑得比較快?我們來測測執行時間。

如何正確量測效能

在 .NET 中量測時間最簡單是用 Stopwatch:

static void Measure(Action action, string description)
{
    var sw = Stopwatch.StartNew();
    action();
    sw.Stop();
    Console.WriteLine($"{description}: {sw.ElapsedMilliseconds} 毫秒");
}

現在用不同方法複製同一個檔案:

string source = "BigFile.bin";
string dest1 = "copy1.bin";
string dest2 = "copy2.bin";
string dest3 = "copy3.bin";

// 事先建立 BigFile.bin(例如 100-500 MB),或用任何大型檔案。

Measure(() => FileCopyBenchmarks.CopyOneByte(source, dest1), "CopyOneByte (每 1 位元組)");
Measure(() => FileCopyBenchmarks.CopyWithDefaultBuffer(source, dest2), "CopyWithDefaultBuffer (預設)");
Measure(() => FileCopyBenchmarks.CopyWithCustomBuffer(source, dest3, 1024 * 1024), "CopyWithCustomBuffer (1 MB)");

危險點與陷阱

  • 如果連續多次執行,作業系統快取可能會「預熱」磁碟,後續測量會變快——為了真實評估,最好重新啟動程式並清掉快取。
  • 若檔案很小(10–20 KB),緩衝的好處不明顯——檔案越大,差異越明顯。
  • 若把緩衝設得太大(例如 100 MB),記憶體消耗會暴增,系統性能可能會受影響。

結果視覺化:表格

方法 500 MB 檔案時的時間(毫秒)
每個位元組複製 100 000+
標準 FileStream / CopyTo 1 000 — 5 000
手動緩衝 1 MB 700 — 1 200

數字僅為範例,但趨勢明顯:緩衝越大,對磁碟的存取次數越少,速度越快。

3. 手動緩衝管理的結構

為什麼有時還想手動調整緩衝大小?簡單比喻:你在搬家,可以一次一個杯子搬,或是一個大紙箱搬,但紙箱也有上限,不然搬不起來!

手動緩衝讀取是怎麼運作的

// 手動管理緩衝大小的範例
int bufferSize = 1024 * 1024; // 1 MB
byte[] buffer = new byte[bufferSize];
int read;
while ((read = inputStream.Read(buffer, 0, buffer.Length)) > 0)
{
    outputStream.Write(buffer, 0, read);
}
  • 方法 Read 會嘗試填滿整個緩衝,但若檔案結束可能會回傳較少的位元組數。
  • 緩衝大小通常選在 32 KB 到 4–8 MB 範圍內——更大通常沒明顯提升。
  • 別忘了記憶體使用量,尤其當有很多此類操作或多個執行緒時。

用緩衝大小做實驗

在範例中改變緩衝大小(32 KB、128 KB、1 MB、4 MB),觀察效能在哪裡達到頂點。通常「黃金交叉」約在 1 MB 附近。

什麼情況下手動緩衝比較有用

  • 當你要控制記憶體使用量(例如程式跑在資源有限的伺服器)。
  • 當流本身沒有自動緩衝(像是 NetworkStream 或自訂的流)。
  • 在有大量並行操作時——可以為每個執行緒分配最合適的緩衝。
  • 當你想把處理非常大的檔案做到最快(例如轉換大型 CSV 檔案)。

4. 最佳實踐與常見錯誤

可以把緩衝設到超大嗎?可以,但為什麼要這麼做?過大的緩衝有時反而會降低效能:記憶體閒置、系統因為快取問題變慢。

手動緩衝並不是萬能。對於小檔案或已經被優化的流(例如有大內部緩衝的 FileStream),效能提升可能很小,而程式碼會變得更複雜。

常見陷阱:忘了關閉流或沒處理例外,會導致檔案被鎖住。處理檔案時請使用 using 與錯誤處理(try-catch)。

2
任務
C# SELF, 等級 41, 課堂 3
上鎖
使用手動緩衝區複製檔案
使用手動緩衝區複製檔案
留言
TO VIEW ALL COMMENTS OR TO MAKE A COMMENT,
GO TO FULL VERSION