CodeGym /課程 /C# SELF /檔案編碼轉換

檔案編碼轉換

C# SELF
等級 37, 課堂 4
開放

1. 介紹

先從最重要的問題開始——為什麼要折騰編碼?看起來一個檔案、一種編碼就夠了,事情應該很簡單。但實際情況遠比想像的有趣。很快你會發現檔案可能來自任何地方,而且用的編碼可能超出你的預期。而你的應用程式,很可能在等待另一種編碼。

有時要整合某個 API 或系統,它硬性指定只接受某種編碼。也會碰到十年前的老檔案,拿到新編輯器打開就出現亂碼。或者你要存 CSV 報表,希望所有同事都能正常讀取——不論在 Windows、Mac,甚至是 Excel。

總之,轉碼不是什麼稀有或冷門的事。反而非常常見:資料庫匯出、壓縮檔處理、和會計系統集成、或是在自動化腳本中都會碰到。越早理解,將來驚喜就越少。

從舊編碼到新編碼

要轉碼檔案,需要兩個步驟:

  1. 讀取 檔案,使用原始編碼,得到字串(或字元)。
  2. 寫入 字串到新檔案,明確指定目標編碼。

類比:把一本法文書翻成俄文。先要會看法文(讀出內容),然後把意思用俄文表達(寫出內容)。

在 C#(和 .NET)裡,這透過在 StreamReader(讀)和 StreamWriter(寫)的建構子中指定對應的 Encoding 來實現。

編碼概覽與 Encoding 類

所有「神奇」的字元轉換都是由 System.Text.Encoding 類負責。

主要編碼以及在 C# 中如何獲取,可以這樣列出:

編碼 說明 C# 常量
UTF-8 通用,預設沒有 BOM
Encoding.UTF8
UTF-8 含 BOM 和上面一樣,但帶有 BOM 簽章
new UTF8Encoding(true)
UTF-16 (LE/BE) “寬字元”,little-endian Encoding.Unicode (LE),
Encoding.BigEndianUnicode (BE)
ASCII 7-bit 經典
Encoding.ASCII
Windows-1251 在處理西里爾字元時常見
Encoding.GetEncoding(1251)
ISO-8859-1 拉丁字母(歐洲)
Encoding.GetEncoding("ISO-8859-1")

註:對於老舊編碼通常需要用 Encoding.GetEncoding,有時用數字代碼(例如 1251),有時用名稱(例如 "windows-1251")。

2. 轉碼:C# 中的逐步策略

來看看實際如何實作轉碼。

演算法

  1. 用 StreamReader 開啟來源檔案,明確指定來源編碼。
  2. 讀取文字(整個或逐行,取決於檔案大小)。
  3. 用 StreamWriter 開啟輸出檔案,指定目標編碼。
  4. 把文字寫入輸出檔案。
  5. 記得關閉流——用 using 來保證安全!

範例:從 Windows-1251 轉到 UTF-8

假設有一個來源檔 "input-1251.txt" 是 Windows-1251 編碼,我們想要得到一個「純」UTF-8(無 BOM)的 "output-utf8.txt"。

// 指定來源的原始編碼
using var reader = new StreamReader("input-1251.txt", Encoding.GetEncoding(1251));
using var writer = new StreamWriter("output-utf8.txt", false, Encoding.UTF8);

string line;
// 逐行讀取——對大檔案很友好
while ((line = reader.ReadLine()) != null)
{
    writer.WriteLine(line);
}

Console.WriteLine("檔案已成功從 Windows-1251 轉為 UTF-8!");

這段程式保證每一行都正確地從一種編碼轉到另一種編碼。

流程大致如下:


┌───────────────────────────────┐     ┌───────────────────┐     ┌───────────────────────────────┐
│ 檔案 "input-1251.txt" (1251)  │ --> │  StreamReader     │ --> │  記憶體中的 string 行         │
└───────────────────────────────┘     │ (Encoding 1251)   │     └───────────────────────────────┘
                                      └───────────────────┘
                                              │
                                              ▼
                                  ┌────────────────────────┐
                                  │   StreamWriter         │
                                  │   (Encoding UTF-8)     │
                                  └───────────┬────────────┘
                                            │
                                            ▼
                              ┌──────────────────────────────┐
                              │ "output-utf8.txt" (UTF-8)    │
                              └──────────────────────────────┘

3. 實作範例:編碼轉換器

我們把場景加一點難度:寫一個簡單的轉換器,使用者可以選來源/目標檔案與編碼。

Console.WriteLine("輸入來源檔案路徑:");
string inputPath = Console.ReadLine();

Console.WriteLine("來源檔案的編碼(例如,1251, utf-8):");
string sourceEncodingName = Console.ReadLine();

Console.WriteLine("輸入目標檔案路徑:");
string outputPath = Console.ReadLine();

Console.WriteLine("保存時使用的編碼(例如,utf-8, 1251):");
string destEncodingName = Console.ReadLine();

Encoding sourceEncoding = Encoding.GetEncoding(sourceEncodingName);
Encoding destEncoding = Encoding.GetEncoding(destEncodingName);

using var reader = new StreamReader(inputPath, sourceEncoding);
using var writer = new StreamWriter(outputPath, false, destEncoding);
string line;
while ((line = reader.ReadLine()) != null)
{
    writer.WriteLine(line);
}

Console.WriteLine("完成!請檢查結果。");

提示:如果不確定該用哪個編碼,參考文件或試不同選項。有時沒有 README,只能靠嘗試來「辨認」檔案。

4. 重要細節:BOM、「看不見」的字元與特殊情況

如何在保存時加入 UTF-8 的 BOM?

預設情況下,C# 的 Encoding.UTF8 會產生 不含 BOM 的檔案。如果你需要帶 BOM,請使用:

// true — 表示「帶 BOM」
var utf8WithBom = new UTF8Encoding(true);

using var writer = new StreamWriter("with-bom.txt", false, utf8WithBom);
writer.WriteLine("含 BOM 的文字");

檔案開頭會有三個「看不見」的位元組:0xEF, 0xBB, 0xBF。

什麼情況下 BOM 會是個問題?

  • 匯出 CSV 給 Excel 時,很多國外版本會被 BOM 干擾——會出現奇怪的符號。
  • 在類 Unix 系統(Linux)下,BOM 有時會破壞檔案處理流程。
  • 對於 JSON 檔案,BOM 幾乎總是問題,很多解析器無法處理!

建議:有意識地選擇是否需要 BOM,只有在必要時才加上。

潛在的隱藏字元與魔術數

如果打開「轉過碼」的檔案時程式報格式錯誤,可能是你沒考慮到開頭的「看不見」字元(例如 BOM),或者你選錯了編碼(例如用 ASCII 讀取但檔案其實是 1251)。務必確認你的應用程式 / 同事 / 伺服器都在使用同樣的編碼。

5. 實用小技巧

為什麼對大檔案要逐行處理,而不是一次性讀入?

也可以這樣寫:

string allText = File.ReadAllText("input.txt", Encoding.GetEncoding(1251));
File.WriteAllText("output.txt", allText, Encoding.UTF8);

這適合小到中等大小的檔案(例如不超過 50 MB)。但如果檔案很大,整個載入記憶體會耗盡資源——若是幾 GB,就會當掉。所以為了通用性,建議逐行讀寫。

在不常見的編碼之間轉碼

假設你遇到一個 ISO-8859-1 的檔案(MySQL 匯出常見),想轉成 Unicode:

var sourceEnc = Encoding.GetEncoding("iso-8859-1");
var destEnc = Encoding.UTF8;

using var reader = new StreamReader("data-latin.txt", sourceEnc);
using var writer = new StreamWriter("data-unicode.txt", false, destEnc);
string line;
while ((line = reader.ReadLine()) != null)
{
    writer.WriteLine(line);
}

只要 .NET 支援該編碼,這種方法適用 任意 編碼之間的轉換。

別對二進位檔做轉碼!

上面描述的程式僅適用於 文字檔。如果是二進位檔(例如圖片、音訊、壓縮檔),把它當文字讀寫會破壞位元組序列,結果檔案會壞掉。二進位檔沒有「編碼」這回事,不要用文字轉碼去處理它們。

對照表:哪些編碼適合哪種情況

編碼 何時使用
UTF-8 通用檔案、web、現代應用程式
UTF-8 含 BOM 為了和 Notepad、Excel 相容
Windows-1251 面向「老派」或本地俄語程式的情況
ASCII 只有英文的檔案
UTF-16 特殊情況或某些古老/特定的應用

小技巧與建議

如何判斷檔案的編碼?

  • 專業編輯器(Notepad++、Visual Studio Code)通常能偵測並顯示編碼。
  • 若沒有 BOM,但看起來「讀得通」卻字母錯亂,很可能是編碼不一致。

能自動化偵測編碼嗎?

  • .NET 沒有 100% 保證的「魔法」函式來判斷任意檔案的編碼。通常規則是:有 BOM 就明確,沒有 BOM 就靠內容分析或嘗試不同編碼。

如果部分行正常但部分行亂碼怎麼辦?

  • 可能是檔案是「混合」或已損壞。檢查是否由多個程式混合寫入,或是否存在部分以不同編碼保存的區段。

6. 常見錯誤與避免方法

為了更好理解,我們列出最常見的錯誤:

錯誤的來源編碼。 以為檔案是 UTF-8,實際是 Windows-1251——會看到亂碼。確認來源編碼(用 Notepad++ 或其他工具)再處理。

BOM 放錯地方。 有時加了 BOM 會讓解析失敗;有時沒加 BOM 又讓另一端誤判。根據目標環境有選擇地加或不加。

把整個檔案讀進記憶體。 檔案太大時會耗盡 RAM,改用逐行讀寫。

寫檔時沒指定編碼。 預設 StreamWriter 使用 UTF-8 不含 BOM。想要別的請顯式指定。

錯誤使用 GetEncoding。 如果名字寫錯(例如寫成 "utf8" 而不是 "utf-8")會拋出例外。請使用正確名稱或數字代碼(例如 1251)。

1
問卷/小測驗
主要編碼類型,等級 37,課堂 4
未開放
主要編碼類型
檔案編碼處理
留言
TO VIEW ALL COMMENTS OR TO MAKE A COMMENT,
GO TO FULL VERSION