CodeGym /Kursy /Python SELF PL /Retry i timeouty dla stabilności skryptu

Retry i timeouty dla stabilności skryptu

Python SELF PL
Poziom 34, Lekcja 3
Dostępny

1. Obsługa błędów w skryptach

Problemy z web scrapingiem

Wyobraź sobie: twój skrypt wygląda świetnie, gotów do akcji, ale nagle poślizgnął się na skórce od banana — i bum! Błędy i awarie. Jak sprawić, by przetrwał trudne warunki Internetu? Dziś nauczymy go dwóch kluczowych umiejętności: wytrzymałości i ponawiania prób. Tak, skonfigurujemy retry i timeouty.

Praca z web scrapingiem może być przyjemna, dopóki nie odkryjesz, że twój skrypt nagle przestał działać z powodu:

  • Problemów z połączeniem.
  • Czasowej niedostępności serwerów.
  • Nieprzewidywalnych zmian w strukturze HTML stron.

Twój skrypt, jak Jedi, musi być gotowy na niespodzianki i umieć sobie z nimi radzić. Czasami problemy można rozwiązać, po prostu chwilę czekając i ponawiając zapytanie. I tu na scenę wchodzą nasi bohaterowie — retry i timeouty!

Wprowadzenie do mechanizmów obsługi błędów

Na początek przypomnijmy sobie podstawy — obsługa błędów w Pythonie. Używamy bloków try-except, aby zarządzać błędami i zapobiec ich zniszczeniu pracy naszego skryptu.

Python

import requests

try:
    response = requests.get('https://example.com')
    response.raise_for_status()  # sprawdzenie powodzenia zapytania
except requests.exceptions.RequestException as e:
    print(f'Wystąpił błąd: {e}')

2. Konfiguracja retry

Dlaczego warto używać powtórzeń prób?

Skrypt, który od razu się poddaje przy pierwszym błędzie, jest jak kot bojący się deszczu. Potrzebujesz skryptu, który dzielnie zniesie kilka trudności. Dlatego konfigurujemy retry — dzięki temu twój skrypt nabierze pewności siebie.

Jak skonfigurować retry

Teraz zobaczmy, jak możemy zorganizować powtarzanie prób. Jednym z najprostszych sposobów jest użycie biblioteki urllib3, która oferuje funkcjonalność automatycznego ponawiania zapytań w przypadku błędów.

Python

from urllib3.util.retry import Retry
from requests.adapters import HTTPAdapter
import requests

session = requests.Session()
retries = Retry(total=5, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
session.mount('https://', HTTPAdapter(max_retries=retries))

try:
    response = session.get('https://example.com')
    response.raise_for_status()
    print(response.content)
except requests.exceptions.RequestException as e:
    print(f'Wystąpił błąd: {e}')

W tym przykładzie stworzyliśmy session, do której zastosowaliśmy mechanizm retry (Retry). Powiedzieliśmy, że warto spróbować do 5 razy w przypadku błędów z kodami 500, 502, 503 i 504. backoff_factor=1 oznacza, że czas między próbami będzie się zwiększał według wzrostu wykładniczego (1, 2, 4, 8... sekund).

3. Timeouty: zapobieganie zawieszaniu

Odłóżmy kapryśne oczekiwanie

Timeouty — jak budzik: pomogą uniknąć zawieszenia w oczekiwaniu na odpowiedź serwera. Ustawiając timeout, mówisz swojemu skryptowi: "Dość czekania! Jeśli serwer nie odpowie w określonym czasie, idź dalej!"

Python

try:
    response = requests.get('https://example.com', timeout=10)
    response.raise_for_status()
    print(response.content)
except requests.exceptions.Timeout:
    print('Żądanie przekroczyło czas oczekiwania')
except requests.exceptions.RequestException as e:
    print(f'Wystąpił błąd: {e}')

Dlaczego to potrzebne?

Czy kiedykolwiek utknąłeś na czekaniu, aż twój skrypt otrzyma odpowiedź od serwera, który już dawno "spłonął jak tost"? Timeouty chronią przed niepotrzebnym czekaniem i dają twojemu kodowi możliwość szybkiego powrotu do działania. Nie zmuszaj swojego skryptu do "myślenia", że mógłby w tym czasie kilka razy wyjść na papierosa!

4. Przykłady konfiguracji

Tworzenie stabilnego skryptu z retry i timeoutami

Teraz stwórzmy skrypt, który będzie stabilny jak pancerz Iron Mana. Użyjemy zarówno timeoutów, jak i powtórzeń prób.

Python

from urllib3.util.retry import Retry
from requests.adapters import HTTPAdapter
import requests

def fetch_url(url):
    session = requests.Session()
    retries = Retry(total=5, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
    session.mount('https://', HTTPAdapter(max_retries=retries))

    try:
        response = session.get(url, timeout=10)
        response.raise_for_status()
        return response.content
    except requests.exceptions.Timeout:
        print('Żądanie przekroczyło czas oczekiwania')
    except requests.exceptions.RequestException as e:
        print(f'Wystąpił błąd: {e}')
    return None

content = fetch_url('https://example.com')
if content:
    print('Pomyślnie pobrano dane!')

Korzystanie z timeoutów w zapobieganiu zawieszaniu skryptu

Pokazaliśmy już, jak ustawiać timeouty. Teraz upewnijmy się, że nasz skrypt nie tylko jest stabilny, ale także sensownie reaguje na długie oczekiwanie. Zamiast "zawieszać się", przypomni ci: "Hej, serwer zbyt długo myśli, nie mam zamiaru czekać!"

Taki prosty i zwięzły sposób sprawi, że twój kod będzie niezawodny i gotowy do walki z nieprzewidywalnymi sytuacjami, jakie mogą pojawić się w Internecie.

Praktyczne zastosowanie

Gdy tworzysz rzeczywiste projekty web scrapingowe, często musisz radzić sobie z różnymi ograniczeniami ze strony serwerów. Retry i timeouty to twoi najlepsi przyjaciele w minimalizowaniu ryzyka awarii. Pomaga to zapewnić nieprzerwaną pracę twojego kodu, szczególnie przy automatycznym przetwarzaniu danych i w sytuacjach, gdy ważne jest uzyskanie dokładnych wyników na czas. Te techniki mogą również zwiększyć wartość twojego CV i poziom zaufania klientów, którym dostarczasz dane.

1
Zadanie
Python SELF PL, poziom 34, lekcja 3
Niedostępne
Podstawowa obsługa błędów
Podstawowa obsługa błędów
2
Zadanie
Python SELF PL, poziom 34, lekcja 3
Niedostępne
Konfiguracja ponownych prób
Konfiguracja ponownych prób
3
Zadanie
Python SELF PL, poziom 34, lekcja 3
Niedostępne
Ustawianie limitu czasu dla żądań
Ustawianie limitu czasu dla żądań
4
Zadanie
Python SELF PL, poziom 34, lekcja 3
Niedostępne
Stabilne pobieranie z retry i timeoutami
Stabilne pobieranie z retry i timeoutami
Komentarze
TO VIEW ALL COMMENTS OR TO MAKE A COMMENT,
GO TO FULL VERSION