Raccolta dei requisiti e pianificazione del progetto per la raccolta automatizzata dei dati

Iniziamo con il perché ne abbiamo bisogno. Automatizzare le attività ripetitive è come avere un robot domestico che fa tutto il lavoro noioso per te, mentre ti godi la vita. Selenium è uno di questi "robot", solo che appartiene al mondo della programmazione. Può interagire con le pagine web come se fosse un essere umano. Immagina che il tuo bot possa raccogliere dati automaticamente, compilare moduli o controllare i prezzi dei tuoi prodotti preferiti. Fantastico, vero?

Ma prima di iniziare il progetto, è importante determinare cosa e come intendiamo automatizzare. Vediamo i passaggi che ci aiuteranno a pianificare il nostro progetto.

1. Analisi dei requisiti del progetto

Comprendere i compiti richiesti dal progetto

Nel mondo della programmazione, come in cucina, prima di iniziare a cucinare, devi sapere cosa vuoi ottenere alla fine. L'analogia con una ricetta è del tutto appropriata: abbiamo un elenco di "ingredienti" - i dati che dobbiamo raccogliere. Dopodiché, decidiamo in che modo "culinario" li estrarremo.

Supponiamo che lavori in un'azienda di marketing e che tu debba raccogliere informazioni sui concorrenti. Ecco alcune domande che puoi porti:

• Quali dati mi servono? Ad esempio, prezzi, recensioni, valutazioni ecc.
• Quanto tempo richiederebbe farlo manualmente?
• Quali siti web o servizi utilizzerò?

Creazione di un elenco di dati necessari e metodi per estrarli

Creare un elenco dei dati necessari è un passaggio essenziale. Aiuta a garantire che il tuo bot raccolga tutte le informazioni importanti senza dimenticare nulla, come calzini lasciati nella lavatrice.

Immaginiamo di voler raccogliere informazioni sui prodotti da una pagina di e-commerce. Ci servono:

• Nomi dei prodotti.
• Prezzi.
• Informazioni sulla disponibilità.

Ora che abbiamo un elenco di dati, dobbiamo pensare a come estrarli. Per questo possiamo usare metodi di Selenium come find_element_by_id, find_elements_by_class_name e altri. Ma ne parleremo alla prossima lezione, per ora basta sapere che il bot sarà addestrato a trovare le informazioni necessarie, come un vero detective!

Selezione di pagine web e servizi appropriati per la raccolta dati

Ora è il momento di prendere una decisione importante: scegliere le fonti di dati. È come scegliere una fonte di notizie affidabile nell'intelligence: cerchiamo pagine web affidabili e ben strutturate.

Supponiamo di raccogliere informazioni sui libri. Possiamo scegliere siti come Amazon o Goodreads. Tuttavia, è importante assicurarsi che i siti scelti non abbiano restrizioni sulla raccolta dati. Un piccolo consiglio: dai un'occhiata ai file robots.txt, di solito contengono informazioni sull'autorizzazione o meno del web scraping sul sito.

2. Pianificazione delle fasi di sviluppo

Sequenza delle azioni e assegnazione dei compiti

Ora che abbiamo tutti gli ingredienti, è il momento di pianificare il processo di "cucina". Nel contesto dello sviluppo software, la sequenza delle azioni è fondamentale. È come seguire l'ordine corretto nella preparazione di una torta: prima impastare la pasta, poi cuocerla. Nel nostro caso, potrebbe essere così:

1. Autenticazione sul sito (se necessario).
2. Ricerca ed estrazione dei dati.
3. Salvataggio dei dati nel formato desiderato.

Quali compiti saranno inclusi in ogni fase? Ricorda, hai tutta la libertà di aggiungere qualsiasi passaggio per ottimizzare il processo.

Pianificazione delle risorse e distribuzione dei compiti

Se lavori in un team, la pianificazione delle risorse e la distribuzione dei compiti sono fondamentali per il successo del progetto. Decidi chi sarà responsabile per scrivere il codice, chi per il testing e chi per i compiti a casa... ehm, cioè per la documentazione.

Lavori da solo? Nessun problema! Basta dividere i compiti in parti più piccole e impostarti delle scadenze. Non dimenticare di controllare te stesso: ti aiuterà a evitare di scrivere "codice magico", che può essere difficile da debug (lo sappiamo tutti, può non essere molto amichevole).

Valutazione dei rischi e metodi per minimizzarli

Ogni progetto è una piccola avventura, e come ogni buon film d'avventura, può avere le sue insidie. Consideriamo i potenziali rischi del tuo progetto:

• Cambiamenti nella struttura del sito con cui il bot interagisce.
• Limitazioni sul numero di richieste al sito.
• Possibili errori nel codice.

Come ridurre questi rischi? Avere sempre un piano "B" e essere pronti ad adattarsi. Ad esempio, utilizza una struttura di codice flessibile per modificare facilmente l'estrazione dei dati qualora il sito cambi. Oppure imposta un limite sul numero di richieste per unità di tempo, così eviti blocchi.

La pianificazione e la raccolta dei requisiti sono il fondamento del tuo progetto. All'inizio può sembrare simile al lavoro di un architetto che progetta un edificio: bisogna considerare tutti i dettagli e le sfumature. Ma una volta che hai gettato queste basi, la tua automazione funzionerà come un violino Stradivari: liscia e senza intoppi.

Allora, pronti a immergervi nel mondo dei bot automatizzati? Nella prossima lezione inizieremo a creare funzioni per cercare e interagire con gli elementi su una pagina web. Sarà divertente — come in un film di James Bond, solo che il nostro bot sarà l'agente 404!

3. La storia di Selenium

Nel 2004, lo sviluppatore Jason Huggins, lavorando in ThoughtWorks, si è trovato di fronte alla necessità di automatizzare il testing di un'applicazione web interna per la gestione del tempo e delle spese. Per semplificare questo processo, ha creato uno strumento in JavaScript chiamato JavaScriptTestRunner, che più tardi è diventato noto come Selenium Core. Curiosamente, il nome "Selenium" è nato come una battuta: Huggins ha notato che il selenio è un antidoto per l'avvelenamento da mercurio, facendo riferimento in modo scherzoso al prodotto concorrente "Mercury Interactive".

Questo strumento ha rapidamente attirato l'attenzione dei colleghi, e presto altri sviluppatori, come Paul Hammant, si sono uniti al progetto. Hammant ha suggerito di rendere il codice open source e di ampliare le funzionalità di Selenium per lavorare con diversi linguaggi di programmazione. Così è iniziata l'evoluzione di Selenium, che lo ha trasformato in uno degli strumenti più popolari per l'automazione del testing delle applicazioni web.