1. Obsługa błędów w skryptach
Problemy z web scrapingiem
Wyobraź sobie: twój skrypt wygląda świetnie, gotów do akcji, ale nagle poślizgnął się na skórce od banana — i bum! Błędy i awarie. Jak sprawić, by przetrwał trudne warunki Internetu? Dziś nauczymy go dwóch kluczowych umiejętności: wytrzymałości i ponawiania prób. Tak, skonfigurujemy retry i timeouty.
Praca z web scrapingiem może być przyjemna, dopóki nie odkryjesz, że twój skrypt nagle przestał działać z powodu:
- Problemów z połączeniem.
- Czasowej niedostępności serwerów.
- Nieprzewidywalnych zmian w strukturze HTML stron.
Twój skrypt, jak Jedi, musi być gotowy na niespodzianki i umieć sobie z nimi radzić. Czasami problemy można rozwiązać, po prostu chwilę czekając i ponawiając zapytanie. I tu na scenę wchodzą nasi bohaterowie — retry i timeouty!
Wprowadzenie do mechanizmów obsługi błędów
Na początek przypomnijmy sobie podstawy — obsługa błędów w Pythonie. Używamy bloków try-except, aby zarządzać błędami i zapobiec ich zniszczeniu pracy naszego skryptu.
import requests
try:
response = requests.get('https://example.com')
response.raise_for_status() # sprawdzenie powodzenia zapytania
except requests.exceptions.RequestException as e:
print(f'Wystąpił błąd: {e}')
2. Konfiguracja retry
Dlaczego warto używać powtórzeń prób?
Skrypt, który od razu się poddaje przy pierwszym błędzie, jest jak kot bojący się deszczu. Potrzebujesz skryptu, który dzielnie zniesie kilka trudności. Dlatego konfigurujemy retry — dzięki temu twój skrypt nabierze pewności siebie.
Jak skonfigurować retry
Teraz zobaczmy, jak możemy zorganizować powtarzanie prób. Jednym z najprostszych sposobów jest użycie biblioteki urllib3, która oferuje funkcjonalność automatycznego ponawiania zapytań w przypadku błędów.
from urllib3.util.retry import Retry
from requests.adapters import HTTPAdapter
import requests
session = requests.Session()
retries = Retry(total=5, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
session.mount('https://', HTTPAdapter(max_retries=retries))
try:
response = session.get('https://example.com')
response.raise_for_status()
print(response.content)
except requests.exceptions.RequestException as e:
print(f'Wystąpił błąd: {e}')
W tym przykładzie stworzyliśmy session, do której zastosowaliśmy mechanizm retry (Retry). Powiedzieliśmy, że warto spróbować do 5 razy w przypadku błędów z kodami 500, 502, 503 i 504. backoff_factor=1 oznacza, że czas między próbami będzie się zwiększał według wzrostu wykładniczego (1, 2, 4, 8... sekund).
3. Timeouty: zapobieganie zawieszaniu
Odłóżmy kapryśne oczekiwanie
Timeouty — jak budzik: pomogą uniknąć zawieszenia w oczekiwaniu na odpowiedź serwera. Ustawiając timeout, mówisz swojemu skryptowi: "Dość czekania! Jeśli serwer nie odpowie w określonym czasie, idź dalej!"
try:
response = requests.get('https://example.com', timeout=10)
response.raise_for_status()
print(response.content)
except requests.exceptions.Timeout:
print('Żądanie przekroczyło czas oczekiwania')
except requests.exceptions.RequestException as e:
print(f'Wystąpił błąd: {e}')
Dlaczego to potrzebne?
Czy kiedykolwiek utknąłeś na czekaniu, aż twój skrypt otrzyma odpowiedź od serwera, który już dawno "spłonął jak tost"? Timeouty chronią przed niepotrzebnym czekaniem i dają twojemu kodowi możliwość szybkiego powrotu do działania. Nie zmuszaj swojego skryptu do "myślenia", że mógłby w tym czasie kilka razy wyjść na papierosa!
4. Przykłady konfiguracji
Tworzenie stabilnego skryptu z retry i timeoutami
Teraz stwórzmy skrypt, który będzie stabilny jak pancerz Iron Mana. Użyjemy zarówno timeoutów, jak i powtórzeń prób.
from urllib3.util.retry import Retry
from requests.adapters import HTTPAdapter
import requests
def fetch_url(url):
session = requests.Session()
retries = Retry(total=5, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
session.mount('https://', HTTPAdapter(max_retries=retries))
try:
response = session.get(url, timeout=10)
response.raise_for_status()
return response.content
except requests.exceptions.Timeout:
print('Żądanie przekroczyło czas oczekiwania')
except requests.exceptions.RequestException as e:
print(f'Wystąpił błąd: {e}')
return None
content = fetch_url('https://example.com')
if content:
print('Pomyślnie pobrano dane!')
Korzystanie z timeoutów w zapobieganiu zawieszaniu skryptu
Pokazaliśmy już, jak ustawiać timeouty. Teraz upewnijmy się, że nasz skrypt nie tylko jest stabilny, ale także sensownie reaguje na długie oczekiwanie. Zamiast "zawieszać się", przypomni ci: "Hej, serwer zbyt długo myśli, nie mam zamiaru czekać!"
Taki prosty i zwięzły sposób sprawi, że twój kod będzie niezawodny i gotowy do walki z nieprzewidywalnymi sytuacjami, jakie mogą pojawić się w Internecie.
Praktyczne zastosowanie
Gdy tworzysz rzeczywiste projekty web scrapingowe, często musisz radzić sobie z różnymi ograniczeniami ze strony serwerów. Retry i timeouty to twoi najlepsi przyjaciele w minimalizowaniu ryzyka awarii. Pomaga to zapewnić nieprzerwaną pracę twojego kodu, szczególnie przy automatycznym przetwarzaniu danych i w sytuacjach, gdy ważne jest uzyskanie dokładnych wyników na czas. Te techniki mogą również zwiększyć wartość twojego CV i poziom zaufania klientów, którym dostarczasz dane.
GO TO FULL VERSION