1. 自动滚动页面
想象一下，你正在浏览那种令人崩溃却又习以为常的社交媒体动态，内容会随着滚动慢慢加载。这种神奇的滚动其实可以通过 Selenium 的 API 自动化实现。
方法 execute_script()
Selenium 的 execute_script() 方法允许在页面上执行 JavaScript 代码，这是一个非常强大的工具，尤其是在需要滚动页面时。让我们来看看如何用它滚动页面。
from selenium import webdriver
import time
# 初始化浏览器驱动
driver = webdriver.Chrome()
# 打开目标页面
driver.get('https://example.com/scrolling_page')
# 滚动页面到底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3) # 等待内容加载
# 滚动页面到顶部（调剂一下）
driver.execute_script("window.scrollTo(document.body.scrollHeight, 0);")
# 关闭会话
driver.quit()
在这个脚本中，我们使用 window.scrollTo() 来滚动页面。参数 (0, document.body.scrollHeight) 表示从页面顶部滚动到底部。这是一种简单有效的技术，用来确保所有动态元素加载完成。
为什么重要？
使用 execute_script() 滚动页面可以加载最初隐藏的内容，例如无限滚动的场景。这在社交媒体动态和新闻推送中尤其有用，因为这些内容是动态加载的。
2. 链接跳转
现在我们学会了滚动页面，是时候学习如何自动跳转链接了。这是一个关键技能，尤其是在需要从多个页面收集数据时。
链接跳转基础
要点击一个链接，可以对选中的元素调用 click() 方法。让我们看一个简单例子：
from selenium import webdriver
# 初始化浏览器驱动
driver = webdriver.Chrome()
# 打开目标页面
driver.get('https://example.com/links_page')
# 按链接文字找到链接并点击
link = driver.find_element_by_link_text('Next Page')
link.click()
# 关闭会话
driver.quit()
在这个例子中，我们根据链接的文字内容找到并点击链接。但如果文字内容不唯一呢？这时可以使用更精确的方法，比如 find_element_by_xpath() 或 find_element_by_css_selector()。
# 使用 XPath 找到链接
link = driver.find_element_by_xpath('//a[@href="/next_page"]')
link.click()
自动链接跳转的优势
使用 Selenium 跳转链接可以自动化收集数据的过程，对于有分页的页面或者将数据分散在多个分区的站点尤其有用。这对浏览搜索结果或电商网站上的商品目录特别适合。
3. 联合滚动和跳转
现在想象一下，你需要先滚动页面找到特定链接或元素，再跳转到另一个页面。这是一个可以自动化的组合过程。
组合脚本示例
from selenium import webdriver
import time
# 初始化浏览器驱动
driver = webdriver.Chrome()
# 打开目标页面
driver.get('https://example.com/scroll_and_click')
# 滚动页面以加载隐藏元素
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)
# 找到并点击目标链接
link = driver.find_element_by_xpath('//a[text()="Load More"]')
link.click()
# 关闭会话
driver.quit()
可能会遇到的问题
在处理动态页面时，有时元素可能加载不及时或加载不完整。这种情况下需要用等待方法，确保你要操作的元素已经可用。
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 等待元素可点击
element = WebDriverWait(driver, 10).until(
EC.element_to_be_clickable((By.XPATH, '//a[text()="Load More"]'))
)
element.click()
使用等待方法可以避免因为元素尚未准备好而导致的故障，从而让脚本更稳定。
GO TO FULL VERSION