Các phương pháp chính để duyệt nhiều trang

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.by import By
import time

def initialize_driver():
    driver = webdriver.Chrome()
    driver.implicitly_wait(10)
    return driver

def open_page(driver, url):
    driver.get(url)

def collect_data(driver):
    # Ví dụ thu thập dữ liệu từ trang hiện tại
    items = driver.find_elements(By.CLASS_NAME, "item_class")
    for item in items:
        print(item.text)  # Tại đây bạn có thể lưu hoặc xử lý dữ liệu
    
def click_next_button(driver):
    try:
        next_button = driver.find_element(By.LINK_TEXT, "Next")
        next_button.click()
        return True
    except NoSuchElementException:
        return False  # Nút không được tìm thấy, có nghĩa là chúng ta đang ở trang cuối cùng

def main():
    driver = initialize_driver()
    open_page(driver, "https://example.com/page1")

    try:
        while True:
            collect_data(driver)
            if not click_next_button(driver):
                break  # Thoát khỏi vòng lặp nếu nút "Next" không tồn tại
            time.sleep(2)  # Chờ để tải trang tiếp theo
    finally:
        driver.quit()

main()

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

def initialize_driver():
    driver = webdriver.Chrome()
    driver.implicitly_wait(10)
    return driver

def open_page(driver, url):
    driver.get(url)

def collect_data(driver):
    items = driver.find_elements(By.CLASS_NAME, "item_class")
    for item in items:
        print(item.text)

def go_to_page(driver, page_number):
    page_link = driver.find_element(By.LINK_TEXT, str(page_number))
    page_link.click()

def main():
    driver = initialize_driver()
    open_page(driver, "https://example.com/page1")

    try:
        total_pages = 5  # Chỉ định tổng số trang nếu biết
        for page in range(1, total_pages + 1):
            collect_data(driver)
            if page < total_pages:  # Không chuyển đến trang tiếp theo sau trang cuối cùng
                go_to_page(driver, page + 1)
                time.sleep(2)  # Chờ để tải trang tiếp theo
    finally:
        driver.quit()

main()

from selenium import webdriver
import time

def initialize_driver():
    driver = webdriver.Chrome()
    driver.implicitly_wait(10)
    return driver

def open_page(driver, url):
    driver.get(url)

def collect_data(driver):
    items = driver.find_elements_by_class_name("item_class")
    for item in items:
        print(item.text)

def main():
    driver = initialize_driver()

    try:
        total_pages = 5  # Chỉ định tổng số trang nếu biết
        base_url = "https://example.com/page/"
        
        for page_number in range(1, total_pages + 1):
            url = f"{base_url}{page_number}"
            open_page(driver, url)
            collect_data(driver)
            time.sleep(2)  # Chờ để tải trang tiếp theo
    finally:
        driver.quit()

main()