CodeGym /課程 /Python SELF TW / 自動化滾動頁面與點擊連結

自動化滾動頁面與點擊連結

Python SELF TW
等級 36, 課堂 1
開放

1. 自動滾動頁面

想像一下,你正坐在那個既恐怖又熟悉的社群媒體動態牆上,內容在你滾動時懶洋洋地載入。這種神奇的滾動功能竟然可以用 Selenium 的 API 來自動化。

方法 execute_script()

Selenium 的 execute_script() 方法讓你可以執行頁面的 JavaScript 代碼,這是個強大的工具,特別是在實現滾動功能方面。讓我們來看看如何用它滾動頁面。

Python

from selenium import webdriver
import time

# 初始化瀏覽器驅動
driver = webdriver.Chrome()

# 開啟目標頁面
driver.get('https://example.com/scrolling_page')

# 頁面向下滾動
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)  # 等待內容載入完成

# 頁面向上滾動(為了多樣性)
driver.execute_script("window.scrollTo(document.body.scrollHeight, 0);")

# 結束 session
driver.quit()

在這段程式碼中,我們使用 window.scrollTo() 來滾動頁面。參數 (0, document.body.scrollHeight) 表示從頁面頂部滾動到最底部。這是確保動態元素載入的一個簡單有效的技術。

為什麼這很重要?

使用 execute_script() 來滾動頁面能載入原本隱藏的內容,例如無窮滾動的情況。這對社交媒體和新聞流特別有用,因為內容通常是動態載入的。

2. 點擊連結

現在我們已經掌握了滾動功能,是時候進一步學習自動點擊連結了。這是抓取資料的重要技巧,特別是當資訊分布在不同頁面時。

點擊連結的基礎

為了點擊連結,我們可以對選定的元素使用 click() 方法。讓我們來看一個簡單的例子:

重要提示:下面的範例使用的是 Selenium 3 的寫法。Selenium 4 已經移除 find_element_by_* 方法(從 4.3.0 起徹底移除),改用接受 By 類別查找策略的通用方法 find_element()。因此每個範例後面都附上它的 Selenium 4 版本。

Python

from selenium import webdriver

# 初始化瀏覽器驅動
driver = webdriver.Chrome()

# 開啟目標頁面
driver.get('https://example.com/links_page')

# 根據文字內容尋找連結並點擊
link = driver.find_element_by_link_text('Next Page')
link.click()

# 結束 session
driver.quit()

同樣的程式碼在 Selenium 4 中:

Python

from selenium import webdriver
from selenium.webdriver.common.by import By

# 初始化瀏覽器驅動
driver = webdriver.Chrome()

# 開啟目標頁面
driver.get('https://example.com/links_page')

# 根據文字內容尋找連結並點擊
link = driver.find_element(By.LINK_TEXT, 'Next Page')
link.click()

# 結束 session
driver.quit()

在這個例子中,我們根據連結的文字內容來尋找它。但如果文字不唯一呢?在這種情況下,可以使用更精確的方法,例如 find_element_by_xpath() 或 find_element_by_css_selector()。

Python

# 使用 XPath 尋找連結
link = driver.find_element_by_xpath('//a[@href="/next_page"]')
link.click()

同樣的程式碼在 Selenium 4 中:

Python

# 使用 XPath 尋找連結
link = driver.find_element(By.XPATH, '//a[@href="/next_page"]')
link.click()

自動點擊連結的優勢

使用 Selenium 點擊連結可以自動化抓取分頁內容的流程,或者當資料分散在網站的多個部分時。這對於遍歷搜尋結果或瀏覽電子商城的產品目錄特別有幫助。

3. 結合滾動與點擊

現在想像一下,你需要滾動頁面來找到特定的連結或元素,然後再跳轉到另一個頁面。這是一個可以自動化的複合操作。

結合範例程式碼

Python

from selenium import webdriver
import time

# 初始化瀏覽器驅動
driver = webdriver.Chrome()

# 開啟目標頁面
driver.get('https://example.com/scroll_and_click')

# 滾動頁面以載入隱藏元素
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)

# 尋找並點擊特定連結
link = driver.find_element_by_xpath('//a[text()="Load More"]')
link.click()

# 結束 session
driver.quit()

同樣的程式碼在 Selenium 4 中:

Python

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 初始化瀏覽器驅動
driver = webdriver.Chrome()

# 開啟目標頁面
driver.get('https://example.com/scroll_and_click')

# 滾動頁面以載入隱藏元素
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)

# 尋找並點擊特定連結
link = driver.find_element(By.XPATH, '//a[text()="Load More"]')
link.click()

# 結束 session
driver.quit()

可能會遇到什麼問題?

在處理動態頁面時,有時候元素可能無法及時載入或完全載入。在這種情況下,需要使用等待的方法,確保你想操作的元素已經準備好。

Python

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待元素可點擊
element = WebDriverWait(driver, 10).until(
EC.element_to_be_clickable((By.XPATH, '//a[text()="Load More"]'))
)
element.click()

使用等待方法能避免因元素未準備好而導致的錯誤,讓程式運行得更穩定。

1
任務
Python SELF TW, 等級 36, 課堂 1
上鎖
使用 Selenium 滾動頁面
使用 Selenium 滾動頁面
2
任務
Python SELF TW, 等級 36, 課堂 1
上鎖
在網頁上點擊鏈接
在網頁上點擊鏈接
3
任務
Python SELF TW, 等級 36, 課堂 1
上鎖
結合滾動和點擊連結的自動化
結合滾動和點擊連結的自動化
4
任務
Python SELF TW, 等級 36, 課堂 1
上鎖
使用等待方法處理動態頁面
使用等待方法處理動態頁面
留言
TO VIEW ALL COMMENTS OR TO MAKE A COMMENT,
GO TO FULL VERSION