Anforderungsaufnahme und Projektplanung für automatisierte Datensammlung

Fangen wir mal damit an, warum wir das überhaupt brauchen. Die Automatisierung von langweiligen Aufgaben ist wie ein Haushaltsroboter, der die ganze öde Arbeit für dich macht, während du das Leben genießt. Selenium ist so ein "Roboter" - nur eben in der Programmierwelt. Es kann mit Webseiten genauso interagieren, wie es ein Mensch tun würde. Stell dir vor, dein Bot könnte automatisch Daten sammeln, Formulare ausfüllen oder die Preise deiner Lieblingseinkäufe checken. Cool, oder?

Aber bevor wir mit dem Projekt starten, ist es wichtig zu klären, was genau und wie wir automatisieren wollen. Schauen wir uns die Schritte an, die uns helfen, unser Projekt zu planen.

1. Analyse der Projektanforderungen

Untersuchung der im Projekt gestellten Aufgaben

In der Programmierwelt ist es wie in der Küche: Bevor du anfängst zu kochen, musst du wissen, was du am Ende haben möchtest. Der Vergleich mit einem Rezept passt hier gut: Wir haben eine Liste von "Zutaten" - Daten, die wir sammeln müssen. Danach entscheiden wir, welche "kulinarische" Methode wir verwenden, um sie zu extrahieren.

Stellen wir uns vor, du arbeitest in einer Marketingfirma und musst Daten über Mitbewerber sammeln. Fragen, die du dir stellen wirst, könnten sein:

• Welche Daten brauche ich? Zum Beispiel Preise, Bewertungen, Rankings usw.
• Wie viel Zeit würde das manuell kosten?
• Welche Webseiten oder Dienste werde ich nutzen?

Erstellung einer Liste erforderlicher Daten und Methoden zu ihrer Extraktion

Eine Liste der benötigten Daten zu erstellen, ist ein wichtiger Schritt. Es garantiert, dass dein Bot alle wichtigen Daten sammelt und nichts Wesentliches vergessen wird, so wie vergessene Socken in der Waschmaschine.

Angenommen, wir planen, Daten zu Produkten auf einer Seite eines Online-Shops zu sammeln. Was wir brauchen, sind:

• Produktnamen.
• Preise.
• Bestandsinformationen.

Jetzt, wo wir die Liste der Daten haben, müssen wir überlegen, wie wir diese Daten extrahieren. Dafür können wir Selenium-Methoden wie find_element_by_id, find_elements_by_class_name und andere verwenden. Aber darüber sprechen wir in der nächsten Vorlesung, fürs Erste reicht es zu wissen, dass der Bot trainiert wird, die nötigen Infos wie ein erfahrener Detektiv zu finden!

Auswahl geeigneter Webseiten und Dienste für die Datensammlung

Jetzt ist es an der Zeit, eine wichtige Entscheidung zu treffen: die Wahl der Datenquellen. Das ist wie das Aussuchen der richtigen Nachrichtenquelle in der Geheimdienstarbeit – wir suchen nach zuverlässigen und gut strukturierten Webseiten.

Angenommen, wir sammeln Daten zu Büchern. Wir könnten Webseiten wie Amazon oder Goodreads auswählen. Aber es ist wichtig sicherzustellen, dass die ausgewählten Seiten keine Einschränkungen zur Datensammlung haben. Ein kleiner Tipp: Schaut euch die Datei robots.txt an - sie enthält oft Infos darüber, ob Web-Scraping auf der Seite erlaubt ist.

2. Planung der Entwicklungsphasen

Reihenfolge der Aktionen und Zuordnung der Aufgaben

Jetzt, wo wir alle Zutaten haben, ist es Zeit, den "Kochprozess" zu planen. Im Kontext der Entwicklung ist die Reihenfolge der Aktionen entscheidend. Es ist wie beim Backen eines Kuchens: Erst den Teig zubereiten, dann backen. In unserem Fall könnte das so aussehen:

1. Authentifizierung auf der Seite (falls erforderlich).
2. Suche und Extraktion von Daten.
3. Speicherung der Daten im benötigten Format.

Welche Aufgaben gehören zu welchem Schritt? Denkt dran, ihr habt alle Freiheit, zusätzliche Schritte zur Optimierung hinzuzufügen.

Ressourcenplanung und Aufgabenverteilung

Wenn du im Team arbeitest, ist die Ressourcenplanung und Aufgabenverteilung dein Schlüssel zu einem erfolgreichen Projekt. Bestimme, wer für das Schreiben von Code, wer fürs Testen und wer fürs Dokumentieren verantwortlich ist.

Arbeitest du allein? Kein Problem! Teile die Aufgaben einfach in kleinere Teile auf und setze dir Deadlines. Vergiss nicht, dich selbst regelmäßig zu überprüfen – das hilft, "Magie-Code" zu vermeiden, der schwer zu debuggen ist (wir alle wissen, dass der nicht immer so freundlich ist).

Risikobewertung und Definition von Möglichkeiten zu deren Minimierung

Jedes Projekt ist ein kleines Abenteuer, und wie in jedem guten Abenteuerfilm kann es Fallen geben. Schauen wir uns die potenziellen Risiken deines Projekts an:

• Änderungen in der Struktur der Webseite, mit der der Bot arbeitet.
• Beschränkungen bei der Anzahl der Anfragen an die Webseite.
• Mögliche Fehler im Code.

Wie können wir diese Risiken minimieren? Hab immer einen Plan "B" und sei bereit, dich anzupassen. Nutze z. B. eine flexible Code-Struktur, um die Datenauswahl bei einer Änderung der Webseite einfach anpassen zu können. Oder stelle ein Limit für die Anzahl der Anfragen pro Zeiteinheit ein, um Blockierungen zu vermeiden.

Die Planung und Anforderungsaufnahme ist das Fundament deines Projekts. Am Anfang mag es wie die Arbeit eines Architekten erscheinen, der ein Gebäude entwirft: Man muss alle Details und Feinheiten berücksichtigen. Aber sobald du dieses Fundament gelegt hast, wird deine Automatisierung wie eine echte Stradivari-Geige arbeiten – geschmeidig und ohne einen einzigen Makel.

Bereit, in die Welt der automatisierten Bots einzutauchen? In der nächsten Vorlesung beginnen wir damit, Funktionen zu erstellen, um Elemente auf einer Webseite zu suchen und mit ihnen zu interagieren. Es wird Spaß machen – wie in einem James-Bond-Film, nur dass unser Bot Agent 404 sein wird!

3. Die Geschichte von Selenium

Im Jahr 2004 stieß der Entwickler Jason Huggins, während er bei ThoughtWorks arbeitete, auf die Notwendigkeit, das Testen einer internen Webanwendung für Zeiterfassung und Ausgaben zu automatisieren. Um diesen Prozess zu vereinfachen, erstellte er ein Tool in JavaScript, das er JavaScriptTestRunner nannte, und das später als Selenium Core bekannt wurde. Lustigerweise entstand der Name „Selenium“ aus einem Scherz: Huggins bemerkte, dass Selen ein Gegenmittel für Quecksilbervergiftungen ist, was auf das konkurrierende Produkt „Mercury Interactive“ anspielte.

Dieses Tool erregte schnell die Aufmerksamkeit seiner Kollegen, und bald schlossen sich weitere Entwickler dem Projekt an, darunter Paul Hammant, der vorschlug, den Quellcode zu öffnen und die Möglichkeiten von Selenium für die Arbeit mit verschiedenen Programmiersprachen zu erweitern. So begann die Evolution von Selenium, das sich zu einem der beliebtesten Tools für die Automatisierung von Tests von Webanwendungen entwickelte.