Errori tipici durante il caricamento massivo dei dati

Il caricamento massivo dei dati in PostgreSQL è un po' come giocare a Tetris: tutti i pezzi (i dati) devono incastrarsi perfettamente nella tabella esistente (la struttura del database). Ma, proprio come nei giochi, spesso capitano errori che possono rallentare il processo o mandare tutto in crash. Potresti imbatterti in problemi di mismatch dei tipi di dati, codifiche, record duplicati e a volte anche errori di permessi inaspettati.

Quali sono esattamente questi errori, come diagnosticarli e come evitarli? Oggi vediamo nel dettaglio i problemi più frequenti, così diventi davvero un pro del caricamento massivo dei dati.

Errori di mismatch nella struttura dei dati

Problemi con i tipi di dati

Molto spesso, durante il caricamento dei dati, puoi vedere un errore tipo:

ERROR:  sintassi di input non valida per il tipo integer: "abc"
CONTEXT:  COPY studenti, linea 3, colonna eta: "abc"

Succede quando i dati nel tuo file CSV non corrispondono al tipo di colonna atteso. Ad esempio, se nella colonna eta ti aspetti un numero, ma nei dati c'è la stringa "abc". PostgreSQL non sa come convertire il testo in numero e il caricamento si blocca.

Come evitarlo?

1. Controlla il tuo file CSV prima di caricarlo. Se lavori con Excel o Python, assicurati che tutte le colonne abbiano i tipi giusti.
2. Se comunque trovi errori, puoi prima caricare i dati in una tabella temporanea con tutte le colonne di tipo TEXT, e poi fare la conversione:

UPDATE temp_studenti
SET eta = CAST(eta AS INTEGER)
WHERE eta ~ '^\d+$';

Colonne mancanti

Se la struttura della tabella non corrisponde ai dati del file CSV, PostgreSQL ti darà errore. Ad esempio:

ERROR:  dati mancanti per la colonna "email"
CONTEXT:  COPY studenti, linea 2: "John,Doe,21"

Di solito succede se gli header (o l'ordine delle colonne) nel CSV sono diversi dalla struttura della tabella.

Come evitarlo? Quando usi il comando COPY, passa sempre la lista delle colonne che vuoi riempire:

COPY studenti (nome, cognome, eta)
FROM '/path/to/file.csv' 
DELIMITER ',' 
CSV HEADER;

Errori di codifica

Problemi con codifiche diverse

Se il tuo file CSV è stato salvato con una codifica diversa da UTF-8 (tipo Windows-1251), PostgreSQL potrebbe non capire il file. Questo genera errori, soprattutto se ci sono caratteri cirillici nei dati:

ERROR:  sequenza di byte non valida per la codifica "UTF8": 0xd0
CONTEXT:  COPY studenti, linea 1

Come evitarlo?

1. Assicurati che il tuo file CSV sia salvato in UTF-8.
2. Se non puoi, specifica la codifica del file durante il caricamento:

COPY studenti FROM '/path/to/file.csv'
DELIMITER ',' 
CSV HEADER 
ENCODING 'WIN1251';

Errori di accesso al file

Problemi di permessi

Se usi il comando COPY, PostgreSQL deve poter accedere al file che stai caricando. Se il file non è accessibile, vedrai un errore:

ERROR:  impossibile aprire il file "/path/to/file.csv" per la lettura: Permesso negato

O anche:

ERROR:  file o directory non trovati

Come evitarlo?

1. Assicurati che PostgreSQL abbia accesso al file. Su Linux può dipendere dai permessi. Usa il comando chmod per dare i permessi giusti:

   chmod 644 /path/to/file.csv
   

2. Se lavori dal tuo computer locale, usa il comando \COPY invece di COPY.

Problemi con dati duplicati

Quando carichi dati in tabelle con il vincolo UNIQUE (tipo identificatori unici), puoi avere conflitti:

ERROR:  valore chiave duplicato viola il vincolo unico "studenti_pkey"
DETAIL:  Chiave (id)=(1) già esistente.

Succede se nel file CSV ci sono record duplicati o i dati sono già nella tabella.

Come evitarlo?

1. Usa l'opzione ON CONFLICT per gestire i duplicati:

   INSERT INTO studenti (id, nome, cognome)
   VALUES (1, 'John', 'Doe')
   ON CONFLICT (id) DO NOTHING;
   

2. Se usi COPY o \COPY, carica temporaneamente i dati in una tabella intermedia e poi inseriscili in quella principale gestendo i duplicati.

Errori di valori vuoti

In PostgreSQL le colonne con il vincolo NOT NULL non accettano valori vuoti. Se nel tuo file CSV ci sono colonne vuote, puoi vedere un errore:

ERROR:  valore nullo nella colonna "email" viola il vincolo not-null

Come evitarlo?

1. Assicurati che il file CSV abbia valori per tutte le colonne obbligatorie.
2. Se i valori vuoti sono ok, togli il vincolo NOT NULL o usa un valore di default:

ALTER TABLE studenti ALTER COLUMN email SET DEFAULT 'unknown@example.com';

Errori nel logging

Mancanza di info sugli errori

Se carichi file grandi, è importante salvare le info sugli errori. Purtroppo il comando COPY di default non offre meccanismi di logging.

Come evitarlo? Imposta il logging degli errori usando una tabella separata. Ad esempio, crea una tabella per gli errori e manda lì i record sbagliati:

COPY studenti FROM '/path/to/file.csv'
DELIMITER ',' 
CSV HEADER
LOG ERRORS INTO error_log
REJECT LIMIT 100;

Riepilogo per evitare errori

1. Analizza e controlla sempre i dati prima di caricarli.
2. Usa tabelle temporanee per pre-processare i dati.
3. Attiva il logging degli errori e analizzali.
4. In caso di conflitti o mismatch usa ON CONFLICT o carica in tabelle intermedie.
5. Controlla la codifica dei file e configura i parametri del server.

Il caricamento massivo dei dati può essere una sfida, ma con il giusto approccio puoi renderlo veloce, affidabile ed efficiente. Vuoi mettere alla prova le tue nuove skill? Prova a caricare un grande file CSV in un database di test e assicurati che tutti i dati siano caricati correttamente!