1. Introduction
Commençons par la question principale — pourquoi s'embêter avec les encodages ? On pourrait penser : un fichier, un encodage, tout devrait bien se passer. Mais en réalité c'est beaucoup plus intéressant. Très vite on découvre qu'un fichier peut venir d'où on ne l'attend pas et être dans un encodage complètement inattendu. Et votre application, bien sûr, attend un encodage différent.
Parfois il faut s'intégrer à une API ou un système qui impose strictement un encodage unique. Parfois vous sortez un vieux fichier d'il y a dix ans et vous l'ouvrez dans un éditeur moderne — et vous voyez du mojibake. Ou, par exemple, vous enregistrez un rapport CSV et vous voulez être sûr que tous vos collègues pourront le lire — sur Windows, sur Mac, et même dans Excel.
Bref, la recodification n'est pas rare ni exotique. Au contraire, c'est une tâche très réelle et assez fréquente, qui apparaît partout : lors d'exports depuis des bases, avec des archives, lors d'intégrations comptables ou dans des scripts automatisés. Plus vous comprenez ça tôt, moins vous aurez de surprises ensuite.
De l'ancien encodage au nouveau
Pour recoder un fichier, il faut faire deux étapes :
- Lire le fichier dans son encodage source, obtenir des chaînes (ou des caractères).
- Écrire ces chaînes dans un nouveau fichier en précisant explicitement l'encodage cible.
Analogie : imaginez que vous traduisez un livre du français vers le russe. D'abord il faut savoir lire le français (lire le texte), puis exprimer la même idée en russe (écrire le texte en russe).
En C# (et .NET) cela se réalise en passant l'objet Encoding approprié dans le constructeur de StreamReader (pour la lecture) et de StreamWriter (pour l'écriture).
Vue d'ensemble des encodages et la classe Encoding
Toutes les transformations "magiques" des caractères sont effectuées par la classe System.Text.Encoding.
Un tableau des encodages principaux et comment les obtenir en C# peut être présenté ainsi :
| Encodage | Description | Constante C# |
|---|---|---|
| UTF-8 | Universel, sans BOM par défaut | |
| UTF-8 avec BOM | Idem, mais avec la signature BOM | |
| UTF-16 (LE/BE) | "Wide char", little-endian | Encoding.Unicode (LE), Encoding.BigEndianUnicode (BE) |
| ASCII | La classique 7-bit | |
| Windows-1251 | Populaire pour le cyrillique | |
| ISO-8859-1 | Latin (européen) | |
Remarque : Pour les encodages anciens il faudra utiliser Encoding.GetEncoding, parfois avec un numéro (1251), parfois une chaîne ("windows-1251").
2. Recodage : stratégie pas à pas en C#
Voyons comment implémenter le recodage en pratique.
Algorithme
- Ouvrir le fichier source via StreamReader, en précisant explicitement l'encodage initial.
- Lire le texte (entièrement ou ligne par ligne — selon la taille du fichier).
- Ouvrir le fichier de sortie via StreamWriter, en indiquant l'encodage voulu pour la sortie.
- Écrire le texte dans le fichier de sortie.
- Ne pas oublier de fermer les streams — utiliser using pour la sécurité !
Exemple : recodage Windows-1251 → UTF-8
Supposons qu'on a un fichier "input-1251.txt" en Windows-1251, et qu'on veuille obtenir "output-utf8.txt" en "pur" UTF-8 (sans BOM).
// On spécifie la source avec l'encodage initial
using var reader = new StreamReader("input-1251.txt", Encoding.GetEncoding(1251));
using var writer = new StreamWriter("output-utf8.txt", false, Encoding.UTF8);
string line;
// Lecture ligne par ligne — pratique pour les gros fichiers
while ((line = reader.ReadLine()) != null)
{
writer.WriteLine(line);
}
Console.WriteLine("Le fichier a été recodé avec succès de Windows-1251 vers UTF-8 !");
Ce code garantit que chaque ligne est correctement transformée d'un encodage à l'autre.
Schématiquement, cela ressemble à :
┌───────────────────────────────┐ ┌───────────────────┐ ┌───────────────────────────────┐
│ Fichier "input-1251.txt" (1251)│ --> │ StreamReader │ --> │ Chaînes string en mémoire │
└───────────────────────────────┘ │ (Encoding 1251) │ └───────────────────────────────┘
└───────────────────┘
│
▼
┌────────────────────────┐
│ StreamWriter │
│ (Encoding UTF-8) │
└───────────┬────────────┘
│
▼
┌──────────────────────────────┐
│ "output-utf8.txt" (UTF-8) │
└──────────────────────────────┘
3. Exemple pratique : convertisseur d'encodages
Complexifions un peu : écrivons un petit programme-convertisseur où l'utilisateur choisit le fichier source, le fichier cible et les encodages.
Console.WriteLine("Entrez le chemin du fichier source:");
string inputPath = Console.ReadLine();
Console.WriteLine("Encodage du fichier source (par exemple, 1251, utf-8):");
string sourceEncodingName = Console.ReadLine();
Console.WriteLine("Entrez le chemin du fichier de sortie:");
string outputPath = Console.ReadLine();
Console.WriteLine("Encodage pour l'enregistrement (par exemple, utf-8, 1251):");
string destEncodingName = Console.ReadLine();
Encoding sourceEncoding = Encoding.GetEncoding(sourceEncodingName);
Encoding destEncoding = Encoding.GetEncoding(destEncodingName);
using var reader = new StreamReader(inputPath, sourceEncoding);
using var writer = new StreamWriter(outputPath, false, destEncoding);
string line;
while ((line = reader.ReadLine()) != null)
{
writer.WriteLine(line);
}
Console.WriteLine("C'est prêt ! Vérifiez le résultat.");
Astuce : Si vous n'êtes pas sûr de l'encodage à indiquer, consultez la documentation ou essayez différentes options. Parfois on ne peut "détecter" un fichier qu'expérimentalement si personne n'a laissé un README.
4. Détails importants : BOM, caractères "invisibles" et cas spéciaux
Comment ajouter le BOM lors de l'enregistrement UTF-8 ?
Par défaut Encoding.UTF8 en C# crée des fichiers sans BOM (Byte Order Mark). Si vous avez besoin d'un fichier avec BOM, utilisez :
// true — signifie "avec BOM"
var utf8WithBom = new UTF8Encoding(true);
using var writer = new StreamWriter("with-bom.txt", false, utf8WithBom);
writer.WriteLine("Texte avec BOM");
Le fichier commencera alors par trois octets "invisibles" : 0xEF, 0xBB, 0xBF.
Quand le BOM est-il nuisible ?
- Si vous exportez un CSV pour Excel, la plupart des versions étrangères trouvent que le BOM gêne — on voit des caractères bizarres.
- Dans les systèmes de type Unix (Linux), le BOM peut parfois casser le traitement des fichiers.
- Pour les fichiers JSON le BOM est presque toujours nuisible, beaucoup de parsers ne le gèrent pas !
Conseil : Choisissez consciemment si vous avez besoin du BOM, et "ajoutez-le" seulement quand c'est nécessaire.
Caractères traîtres et nombres magiques
Si à l'ouverture d'un fichier recodé le programme renvoie une erreur de format, il se peut que vous n'ayez pas tenu compte des caractères "invisibles" au début du fichier (par exemple, BOM), ou que vous ayez mal choisi l'encodage (par exemple lu comme ASCII alors qu'il y a du cyrillique en 1251). Vérifiez toujours quels encodages utilisent votre application/colleague/serveur.
5. Nuances utiles
Travailler avec de gros fichiers : pourquoi ligne par ligne et pas tout en mémoire ?
On pourrait écrire simplement :
string allText = File.ReadAllText("input.txt", Encoding.GetEncoding(1251));
File.WriteAllText("output.txt", allText, Encoding.UTF8);
Cette approche va bien pour des fichiers petits ou moyens (disons jusqu'à 50 Mo). Mais si le fichier est volumineux, tout le texte sera chargé en RAM — et pour un fichier de quelques Go, c'est la catastrophe. C'est pourquoi pour la robustesse on utilise la lecture/écriture ligne par ligne.
Recodage entre encodages moins courants
Supposons que vous ayez un fichier en ISO-8859-1 (les bases MySQL aiment ça), et que vous vouliez le convertir en Unicode.
var sourceEnc = Encoding.GetEncoding("iso-8859-1");
var destEnc = Encoding.UTF8;
using var reader = new StreamReader("data-latin.txt", sourceEnc);
using var writer = new StreamWriter("data-unicode.txt", false, destEnc);
string line;
while ((line = reader.ReadLine()) != null)
{
writer.WriteLine(line);
}
Cette méthode fonctionne avec n'importe quel encodage, si .NET le supporte.
Ne pas recoder les fichiers binaires !
Le programme décrit ci-dessus est destiné exclusivement aux fichiers texte. Si le fichier est binaire (image, son, archive), tenter de "le lire comme du texte puis de l'écrire" va corrompre les octets, produire du mojibake et rendre le fichier inutilisable. Pour les fichiers binaires on ne parle pas de "recodage" — l'encodage n'a pas de sens.
Table de correspondance : quel encodage pour quoi
| Encodage | Quand l'utiliser |
|---|---|
| UTF-8 | Fichiers universels, web, applis modernes |
| UTF-8 avec BOM | Pour compatibilité avec Notepad, Excel |
| Windows-1251 | Pour l'"école ancienne", applis locales en russe |
| ASCII | Fichiers contenant uniquement de l'anglais |
| UTF-16 | Cas spéciaux, applis exotiques |
Astuces et conseils
Comment connaître l'encodage d'un fichier ?
- Des éditeurs spécialisés (Notepad++, Visual Studio Code) détectent et affichent souvent l'encodage.
- Si pas de BOM et que tout semble "correct", mais les lettres sont fausses — probablement l'encodage ne correspond pas.
Peut-on automatiser la détection d'encodage ?
- En .NET il n'y a pas de baguette magique qui détecte à 100% l'encodage d'un fichier. En général : si il y a un BOM, c'est clair ; sinon il faut deviner sur le contenu ou tester plusieurs options.
Que faire si une partie des lignes passe et une autre donne du mojibake ?
- Peut-être que le fichier est composé de morceaux encodés différemment ou corrompu. Vérifiez s'il n'a pas été écrit par plusieurs programmes.
6. Erreurs typiques et comment les éviter
Pour mieux comprendre, voyons les erreurs les plus fréquentes :
Mauvais encodage source. Si vous pensez que le fichier est en UTF-8 alors qu'il est en Windows-1251 — vous obtiendrez des "escaliers" à la place du cyrillique. Vérifiez l'encodage source ; si vous doutez, ouvrez dans Notepad++ ou un éditeur qui montre l'encodage réel.
BOM au mauvais endroit. Parfois l'ajout d'un BOM casse le parsing, parfois l'absence de BOM provoque une mauvaise détection côté autre logiciel.
Lire tout le fichier en mémoire. Pour les gros fichiers, utilisez la lecture ligne par ligne — sinon le programme va consommer toute la RAM sur une grosse base textuelle.
Écrire sans indiquer l'encodage. Par défaut StreamWriter utilise UTF-8 sans BOM. Si vous voulez un autre comportement — spécifiez l'encodage explicitement.
Mauvaise utilisation de GetEncoding. Si vous vous trompez dans la chaîne, par exemple "utf8" au lieu de "utf-8", vous recevrez une exception. Utilisez les noms corrects (ou les codes, par exemple 1251).
GO TO FULL VERSION