CodeGym /课程 /Python SELF ZH / 自动滚动页面和链接跳转

自动滚动页面和链接跳转

Python SELF ZH
第 36 级, 课程 1
可用

1. 自动滚动页面

想象一下,你正在浏览那种令人崩溃却又习以为常的社交媒体动态,内容会随着滚动慢慢加载。这种神奇的滚动其实可以通过 Selenium 的 API 自动化实现。

方法 execute_script()

Selenium 的 execute_script() 方法允许在页面上执行 JavaScript 代码,这是一个非常强大的工具,尤其是在需要滚动页面时。让我们来看看如何用它滚动页面。

Python

from selenium import webdriver
import time

# 初始化浏览器驱动
driver = webdriver.Chrome()

# 打开目标页面
driver.get('https://example.com/scrolling_page')

# 滚动页面到底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)  # 等待内容加载

# 滚动页面到顶部(调剂一下)
driver.execute_script("window.scrollTo(document.body.scrollHeight, 0);")

# 关闭会话
driver.quit()

在这个脚本中,我们使用 window.scrollTo() 来滚动页面。参数 (0, document.body.scrollHeight) 表示从页面顶部滚动到底部。这是一种简单有效的技术,用来确保所有动态元素加载完成。

为什么重要?

使用 execute_script() 滚动页面可以加载最初隐藏的内容,例如无限滚动的场景。这在社交媒体动态和新闻推送中尤其有用,因为这些内容是动态加载的。

2. 链接跳转

现在我们学会了滚动页面,是时候学习如何自动跳转链接了。这是一个关键技能,尤其是在需要从多个页面收集数据时。

链接跳转基础

要点击一个链接,可以对选中的元素调用 click() 方法。让我们看一个简单例子:

重要提示:下面的示例使用的是 Selenium 3 的写法。Selenium 4 已经移除了 find_element_by_* 方法(从 4.3.0 起彻底移除),改用接受 By 类查找策略的通用方法 find_element()。因此每个示例后面都附上了它的 Selenium 4 版本。

Python

from selenium import webdriver

# 初始化浏览器驱动
driver = webdriver.Chrome()

# 打开目标页面
driver.get('https://example.com/links_page')

# 按链接文字找到链接并点击
link = driver.find_element_by_link_text('Next Page')
link.click()

# 关闭会话
driver.quit()

同样的代码在 Selenium 4 中:

Python

from selenium import webdriver
from selenium.webdriver.common.by import By

# 初始化浏览器驱动
driver = webdriver.Chrome()

# 打开目标页面
driver.get('https://example.com/links_page')

# 按链接文字找到链接并点击
link = driver.find_element(By.LINK_TEXT, 'Next Page')
link.click()

# 关闭会话
driver.quit()

在这个例子中,我们根据链接的文字内容找到并点击链接。但如果文字内容不唯一呢?这时可以使用更精确的方法,比如 find_element_by_xpath() 或 find_element_by_css_selector()。

Python

# 使用 XPath 找到链接
link = driver.find_element_by_xpath('//a[@href="/next_page"]')
link.click()

同样的代码在 Selenium 4 中:

Python

# 使用 XPath 找到链接
link = driver.find_element(By.XPATH, '//a[@href="/next_page"]')
link.click()

自动链接跳转的优势

使用 Selenium 跳转链接可以自动化收集数据的过程,对于有分页的页面或者将数据分散在多个分区的站点尤其有用。这对浏览搜索结果或电商网站上的商品目录特别适合。

3. 联合滚动和跳转

现在想象一下,你需要先滚动页面找到特定链接或元素,再跳转到另一个页面。这是一个可以自动化的组合过程。

组合脚本示例

Python

from selenium import webdriver
import time

# 初始化浏览器驱动
driver = webdriver.Chrome()

# 打开目标页面
driver.get('https://example.com/scroll_and_click')

# 滚动页面以加载隐藏元素
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)

# 找到并点击目标链接
link = driver.find_element_by_xpath('//a[text()="Load More"]')
link.click()

# 关闭会话
driver.quit()

同样的代码在 Selenium 4 中:

Python

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 初始化浏览器驱动
driver = webdriver.Chrome()

# 打开目标页面
driver.get('https://example.com/scroll_and_click')

# 滚动页面以加载隐藏元素
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)

# 找到并点击目标链接
link = driver.find_element(By.XPATH, '//a[text()="Load More"]')
link.click()

# 关闭会话
driver.quit()

可能会遇到的问题

在处理动态页面时,有时元素可能加载不及时或加载不完整。这种情况下需要用等待方法,确保你要操作的元素已经可用。

Python

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待元素可点击
element = WebDriverWait(driver, 10).until(
EC.element_to_be_clickable((By.XPATH, '//a[text()="Load More"]'))
)
element.click()

使用等待方法可以避免因为元素尚未准备好而导致的故障,从而让脚本更稳定。

1
任务
Python SELF ZH, 第 36 级, 课程 1
已锁定
使用 Selenium 滚动网页
使用 Selenium 滚动网页
2
任务
Python SELF ZH, 第 36 级, 课程 1
已锁定
网页链接跳转
网页链接跳转
3
任务
Python SELF ZH, 第 36 级, 课程 1
已锁定
组合自动滚动和点击链接
组合自动滚动和点击链接
4
任务
Python SELF ZH, 第 36 级, 课程 1
已锁定
使用等待处理动态页面
使用等待处理动态页面
评论
TO VIEW ALL COMMENTS OR TO MAKE A COMMENT,
GO TO FULL VERSION