1. 介紹
為什麼需要緩衝與效能比較
我們已經知道,緩衝是一種策略,會把資料聚成較大的「一批」,這樣就不用對磁碟做成千上萬次存取,而是少次數地一次傳很多資料。這對大量資料尤其能顯著提升效能。
何時該關心 I/O 效能
- 當你在處理大型檔案(GB、TB——比如公司多年累積的日誌收藏)時。
- 當需要極低延遲(例如即時處理日誌)時。
- 當檔案存取次數極大(例如大規模重命名/複製照片檔案庫)時。
- 在面試中展示你懂現代優化方法(並且喜歡測速而不是「隨便讓它跑」)。
在 .NET 中預設大多數檔案流已經有緩衝,但有時候你需要更細緻的設定或特殊策略。
主要「角色」— 有哪些緩衝類型
| 類別 | 預設緩衝 | 能否改變大小 | 適用情境 |
|---|---|---|---|
|
有(4096 位元組) | 可以(透過建構子) | 基礎檔案流 |
|
有(4096 位元組) | 可以(透過建構子) | 包裹在其他流上的「封裝」 |
|
有(1024/1024 位元組) | 可以(建構子) | 處理文字 |
- BufferedStream 可以把另一個流「打包」,以提高效能(例如當底層流緩衝不好或你想要更大的緩衝時)。
- 緩衝大小是一種在速度和記憶體使用之間的折衷。
2. 範例:
我們來比較三種複製大型檔案的方法:
- 不使用緩衝— 每次一個位元組(不建議,但容易看出問題)
- 使用預設緩衝— 標準的 FileStream 與 CopyTo
- 手動管理緩衝— 自己提供緩衝並調整大小
為了實驗,寫個簡單的檔案複製工具加入到你的應用程式。假設檔案叫做 BigFile.bin。
class FileCopyBenchmarks
{
// 按一個位元組複製(反面教材 — 不要這麼做!)
public static void CopyOneByte(string source, string dest)
{
using var input = new FileStream(source, FileMode.Open, FileAccess.Read);
using var output = new FileStream(dest, FileMode.Create, FileAccess.Write);
int b;
while ((b = input.ReadByte()) != -1)
{
output.WriteByte((byte)b);
}
}
// 使用 FileStream 的預設緩衝來複製
public static void CopyWithDefaultBuffer(string source, string dest)
{
using var input = new FileStream(source, FileMode.Open, FileAccess.Read);
using var output = new FileStream(dest, FileMode.Create, FileAccess.Write);
input.CopyTo(output); // 使用內部緩衝(通常是 81920 位元組)
}
// 手動控制緩衝的複製
public static void CopyWithCustomBuffer(string source, string dest, int bufferSize = 1024 * 1024)
{
using var input = new FileStream(source, FileMode.Open, FileAccess.Read);
using var output = new FileStream(dest, FileMode.Create, FileAccess.Write);
byte[] buffer = new byte[bufferSize];
int bytesRead;
while ((bytesRead = input.Read(buffer, 0, buffer.Length)) > 0)
{
output.Write(buffer, 0, bytesRead);
}
}
}
哪個函式跑得比較快?我們來測測執行時間。
如何正確量測效能
在 .NET 中量測時間最簡單是用 Stopwatch:
static void Measure(Action action, string description)
{
var sw = Stopwatch.StartNew();
action();
sw.Stop();
Console.WriteLine($"{description}: {sw.ElapsedMilliseconds} 毫秒");
}
現在用不同方法複製同一個檔案:
string source = "BigFile.bin";
string dest1 = "copy1.bin";
string dest2 = "copy2.bin";
string dest3 = "copy3.bin";
// 事先建立 BigFile.bin(例如 100-500 MB),或用任何大型檔案。
Measure(() => FileCopyBenchmarks.CopyOneByte(source, dest1), "CopyOneByte (每 1 位元組)");
Measure(() => FileCopyBenchmarks.CopyWithDefaultBuffer(source, dest2), "CopyWithDefaultBuffer (預設)");
Measure(() => FileCopyBenchmarks.CopyWithCustomBuffer(source, dest3, 1024 * 1024), "CopyWithCustomBuffer (1 MB)");
危險點與陷阱
- 如果連續多次執行,作業系統快取可能會「預熱」磁碟,後續測量會變快——為了真實評估,最好重新啟動程式並清掉快取。
- 若檔案很小(10–20 KB),緩衝的好處不明顯——檔案越大,差異越明顯。
- 若把緩衝設得太大(例如 100 MB),記憶體消耗會暴增,系統性能可能會受影響。
結果視覺化:表格
| 方法 | 500 MB 檔案時的時間(毫秒) |
|---|---|
| 每個位元組複製 | 100 000+ |
| 標準 FileStream / CopyTo | 1 000 — 5 000 |
| 手動緩衝 1 MB | 700 — 1 200 |
數字僅為範例,但趨勢明顯:緩衝越大,對磁碟的存取次數越少,速度越快。
3. 手動緩衝管理的結構
為什麼有時還想手動調整緩衝大小?簡單比喻:你在搬家,可以一次一個杯子搬,或是一個大紙箱搬,但紙箱也有上限,不然搬不起來!
手動緩衝讀取是怎麼運作的
// 手動管理緩衝大小的範例
int bufferSize = 1024 * 1024; // 1 MB
byte[] buffer = new byte[bufferSize];
int read;
while ((read = inputStream.Read(buffer, 0, buffer.Length)) > 0)
{
outputStream.Write(buffer, 0, read);
}
- 方法 Read 會嘗試填滿整個緩衝,但若檔案結束可能會回傳較少的位元組數。
- 緩衝大小通常選在 32 KB 到 4–8 MB 範圍內——更大通常沒明顯提升。
- 別忘了記憶體使用量,尤其當有很多此類操作或多個執行緒時。
用緩衝大小做實驗
在範例中改變緩衝大小(32 KB、128 KB、1 MB、4 MB),觀察效能在哪裡達到頂點。通常「黃金交叉」約在 1 MB 附近。
什麼情況下手動緩衝比較有用
- 當你要控制記憶體使用量(例如程式跑在資源有限的伺服器)。
- 當流本身沒有自動緩衝(像是 NetworkStream 或自訂的流)。
- 在有大量並行操作時——可以為每個執行緒分配最合適的緩衝。
- 當你想把處理非常大的檔案做到最快(例如轉換大型 CSV 檔案)。
4. 最佳實踐與常見錯誤
可以把緩衝設到超大嗎?可以,但為什麼要這麼做?過大的緩衝有時反而會降低效能:記憶體閒置、系統因為快取問題變慢。
手動緩衝並不是萬能。對於小檔案或已經被優化的流(例如有大內部緩衝的 FileStream),效能提升可能很小,而程式碼會變得更複雜。
常見陷阱:忘了關閉流或沒處理例外,會導致檔案被鎖住。處理檔案時請使用 using 與錯誤處理(try-catch)。
GO TO FULL VERSION