1. 介紹
先從最重要的問題開始——為什麼要折騰編碼?看起來一個檔案、一種編碼就夠了,事情應該很簡單。但實際情況遠比想像的有趣。很快你會發現檔案可能來自任何地方,而且用的編碼可能超出你的預期。而你的應用程式,很可能在等待另一種編碼。
有時要整合某個 API 或系統,它硬性指定只接受某種編碼。也會碰到十年前的老檔案,拿到新編輯器打開就出現亂碼。或者你要存 CSV 報表,希望所有同事都能正常讀取——不論在 Windows、Mac,甚至是 Excel。
總之,轉碼不是什麼稀有或冷門的事。反而非常常見:資料庫匯出、壓縮檔處理、和會計系統集成、或是在自動化腳本中都會碰到。越早理解,將來驚喜就越少。
從舊編碼到新編碼
要轉碼檔案,需要兩個步驟:
- 讀取 檔案,使用原始編碼,得到字串(或字元)。
- 寫入 字串到新檔案,明確指定目標編碼。
類比:把一本法文書翻成俄文。先要會看法文(讀出內容),然後把意思用俄文表達(寫出內容)。
在 C#(和 .NET)裡,這透過在 StreamReader(讀)和 StreamWriter(寫)的建構子中指定對應的 Encoding 來實現。
編碼概覽與 Encoding 類
所有「神奇」的字元轉換都是由 System.Text.Encoding 類負責。
主要編碼以及在 C# 中如何獲取,可以這樣列出:
| 編碼 | 說明 | C# 常量 |
|---|---|---|
| UTF-8 | 通用,預設沒有 BOM | |
| UTF-8 含 BOM | 和上面一樣,但帶有 BOM 簽章 | |
| UTF-16 (LE/BE) | “寬字元”,little-endian | Encoding.Unicode (LE), Encoding.BigEndianUnicode (BE) |
| ASCII | 7-bit 經典 | |
| Windows-1251 | 在處理西里爾字元時常見 | |
| ISO-8859-1 | 拉丁字母(歐洲) | |
註:對於老舊編碼通常需要用 Encoding.GetEncoding,有時用數字代碼(例如 1251),有時用名稱(例如 "windows-1251")。
2. 轉碼:C# 中的逐步策略
來看看實際如何實作轉碼。
演算法
- 用 StreamReader 開啟來源檔案,明確指定來源編碼。
- 讀取文字(整個或逐行,取決於檔案大小)。
- 用 StreamWriter 開啟輸出檔案,指定目標編碼。
- 把文字寫入輸出檔案。
- 記得關閉流——用 using 來保證安全!
範例:從 Windows-1251 轉到 UTF-8
假設有一個來源檔 "input-1251.txt" 是 Windows-1251 編碼,我們想要得到一個「純」UTF-8(無 BOM)的 "output-utf8.txt"。
// 指定來源的原始編碼
using var reader = new StreamReader("input-1251.txt", Encoding.GetEncoding(1251));
using var writer = new StreamWriter("output-utf8.txt", false, Encoding.UTF8);
string line;
// 逐行讀取——對大檔案很友好
while ((line = reader.ReadLine()) != null)
{
writer.WriteLine(line);
}
Console.WriteLine("檔案已成功從 Windows-1251 轉為 UTF-8!");
這段程式保證每一行都正確地從一種編碼轉到另一種編碼。
流程大致如下:
┌───────────────────────────────┐ ┌───────────────────┐ ┌───────────────────────────────┐
│ 檔案 "input-1251.txt" (1251) │ --> │ StreamReader │ --> │ 記憶體中的 string 行 │
└───────────────────────────────┘ │ (Encoding 1251) │ └───────────────────────────────┘
└───────────────────┘
│
▼
┌────────────────────────┐
│ StreamWriter │
│ (Encoding UTF-8) │
└───────────┬────────────┘
│
▼
┌──────────────────────────────┐
│ "output-utf8.txt" (UTF-8) │
└──────────────────────────────┘
3. 實作範例:編碼轉換器
我們把場景加一點難度:寫一個簡單的轉換器,使用者可以選來源/目標檔案與編碼。
Console.WriteLine("輸入來源檔案路徑:");
string inputPath = Console.ReadLine();
Console.WriteLine("來源檔案的編碼(例如,1251, utf-8):");
string sourceEncodingName = Console.ReadLine();
Console.WriteLine("輸入目標檔案路徑:");
string outputPath = Console.ReadLine();
Console.WriteLine("保存時使用的編碼(例如,utf-8, 1251):");
string destEncodingName = Console.ReadLine();
Encoding sourceEncoding = Encoding.GetEncoding(sourceEncodingName);
Encoding destEncoding = Encoding.GetEncoding(destEncodingName);
using var reader = new StreamReader(inputPath, sourceEncoding);
using var writer = new StreamWriter(outputPath, false, destEncoding);
string line;
while ((line = reader.ReadLine()) != null)
{
writer.WriteLine(line);
}
Console.WriteLine("完成!請檢查結果。");
提示:如果不確定該用哪個編碼,參考文件或試不同選項。有時沒有 README,只能靠嘗試來「辨認」檔案。
4. 重要細節:BOM、「看不見」的字元與特殊情況
如何在保存時加入 UTF-8 的 BOM?
預設情況下,C# 的 Encoding.UTF8 會產生 不含 BOM 的檔案。如果你需要帶 BOM,請使用:
// true — 表示「帶 BOM」
var utf8WithBom = new UTF8Encoding(true);
using var writer = new StreamWriter("with-bom.txt", false, utf8WithBom);
writer.WriteLine("含 BOM 的文字");
檔案開頭會有三個「看不見」的位元組:0xEF, 0xBB, 0xBF。
什麼情況下 BOM 會是個問題?
- 匯出 CSV 給 Excel 時,很多國外版本會被 BOM 干擾——會出現奇怪的符號。
- 在類 Unix 系統(Linux)下,BOM 有時會破壞檔案處理流程。
- 對於 JSON 檔案,BOM 幾乎總是問題,很多解析器無法處理!
建議:有意識地選擇是否需要 BOM,只有在必要時才加上。
潛在的隱藏字元與魔術數
如果打開「轉過碼」的檔案時程式報格式錯誤,可能是你沒考慮到開頭的「看不見」字元(例如 BOM),或者你選錯了編碼(例如用 ASCII 讀取但檔案其實是 1251)。務必確認你的應用程式 / 同事 / 伺服器都在使用同樣的編碼。
5. 實用小技巧
為什麼對大檔案要逐行處理,而不是一次性讀入?
也可以這樣寫:
string allText = File.ReadAllText("input.txt", Encoding.GetEncoding(1251));
File.WriteAllText("output.txt", allText, Encoding.UTF8);
這適合小到中等大小的檔案(例如不超過 50 MB)。但如果檔案很大,整個載入記憶體會耗盡資源——若是幾 GB,就會當掉。所以為了通用性,建議逐行讀寫。
在不常見的編碼之間轉碼
假設你遇到一個 ISO-8859-1 的檔案(MySQL 匯出常見),想轉成 Unicode:
var sourceEnc = Encoding.GetEncoding("iso-8859-1");
var destEnc = Encoding.UTF8;
using var reader = new StreamReader("data-latin.txt", sourceEnc);
using var writer = new StreamWriter("data-unicode.txt", false, destEnc);
string line;
while ((line = reader.ReadLine()) != null)
{
writer.WriteLine(line);
}
只要 .NET 支援該編碼,這種方法適用 任意 編碼之間的轉換。
別對二進位檔做轉碼!
上面描述的程式僅適用於 文字檔。如果是二進位檔(例如圖片、音訊、壓縮檔),把它當文字讀寫會破壞位元組序列,結果檔案會壞掉。二進位檔沒有「編碼」這回事,不要用文字轉碼去處理它們。
對照表:哪些編碼適合哪種情況
| 編碼 | 何時使用 |
|---|---|
| UTF-8 | 通用檔案、web、現代應用程式 |
| UTF-8 含 BOM | 為了和 Notepad、Excel 相容 |
| Windows-1251 | 面向「老派」或本地俄語程式的情況 |
| ASCII | 只有英文的檔案 |
| UTF-16 | 特殊情況或某些古老/特定的應用 |
小技巧與建議
如何判斷檔案的編碼?
- 專業編輯器(Notepad++、Visual Studio Code)通常能偵測並顯示編碼。
- 若沒有 BOM,但看起來「讀得通」卻字母錯亂,很可能是編碼不一致。
能自動化偵測編碼嗎?
- .NET 沒有 100% 保證的「魔法」函式來判斷任意檔案的編碼。通常規則是:有 BOM 就明確,沒有 BOM 就靠內容分析或嘗試不同編碼。
如果部分行正常但部分行亂碼怎麼辦?
- 可能是檔案是「混合」或已損壞。檢查是否由多個程式混合寫入,或是否存在部分以不同編碼保存的區段。
6. 常見錯誤與避免方法
為了更好理解,我們列出最常見的錯誤:
錯誤的來源編碼。 以為檔案是 UTF-8,實際是 Windows-1251——會看到亂碼。確認來源編碼(用 Notepad++ 或其他工具)再處理。
BOM 放錯地方。 有時加了 BOM 會讓解析失敗;有時沒加 BOM 又讓另一端誤判。根據目標環境有選擇地加或不加。
把整個檔案讀進記憶體。 檔案太大時會耗盡 RAM,改用逐行讀寫。
寫檔時沒指定編碼。 預設 StreamWriter 使用 UTF-8 不含 BOM。想要別的請顯式指定。
錯誤使用 GetEncoding。 如果名字寫錯(例如寫成 "utf8" 而不是 "utf-8")會拋出例外。請使用正確名稱或數字代碼(例如 1251)。
GO TO FULL VERSION