1. 性能分析
为什么需要优化？
想象一辆强劲的汽车，可以在三秒内加速到100公里/小时，但耗油如鲸鱼吃浮游生物——你的脚本可能运行很快，但如果说到资源和执行时间，它可能会非常“贪吃”。而且，资源“泄漏”可能会使其不稳定，从而导致错误。优化可以帮助避免这些问题。
首先，就像外科医生所说的那样，先“切开”。我们将对脚本的性能进行分析，找出它可能“受苦”的地方。
检查脚本速度和稳定性的方式
一种简单的分析方法是使用 Python 的基础工具，例如模块 time。让我们在脚本中添加几行代码，查看哪些操作耗时最多。
import time
start_time = time.time()
# 这里是你的 Selenium 脚本执行代码
end_time = time.time()
print(f"执行时间: {end_time - start_time} 秒")
这小段代码能帮你判断代码的执行时间。通过这样的“计时器”可以找到性能的瓶颈。
找到薄弱环节并优化
找到占用时间的代码后，就可以采取行动了。或者可能你频繁访问动态元素，超出了必要的范围，或者代码变得像“意大利面条”。第一步是找到问题，第二步是解决它。
减少请求数量：检查是否进行过多的页面跳转或 DOM 更新。例如，使用 WebDriverWait 方法可以确保脚本在加载所需元素后运行。
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, 'myDynamicElement'))
)
缓存数据：如果你多次使用相同的数据，可以考虑缓存。将数据保存到变量或缓存中，以减少资源密集型操作。
2. 改进脚本的结构
如果代码读起来像一张没有指引的地铁图，是时候改进了。代码的最佳结构是易读性和抗错能力的基础。
使用数据管道和最佳算法
考虑将代码组织成数据管道，每个函数或模块负责其逻辑部分。将代码分成逻辑块不仅提升可读性，还能简化调试。
def load_page(url):
driver.get(url)
def extract_data():
# 用于提取数据的代码
pass
def save_data():
# 用于保存数据的代码
pass
load_page("http://example.com")
extract_data()
save_data()
提高代码的可读性和测试性
遵循“一函数一任务”的原则。这将简化测试和重构。使用命名常量替代“神秘数字”和字符串，以提高清晰度。
MAX_RETRIES = 5
def fetch_data_with_retry():
for attempt in range(MAX_RETRIES):
try:
# 尝试请求数据
pass
except Exception as e:
print(f"尝试 {attempt+1} 失败: {e}")
3. 如果代码可以改进，那就需要改进
使用显式等待代替隐式等待
显式等待能精确控制 Selenium 在开始执行操作之前，等待所需元素的出现。与其依赖隐式等待（例如 implicitly_wait），不如使用 WebDriverWait 库，它允许基于特定条件为元素设置等待（如元素可见、可点击等）。
显式等待的使用示例
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
element = WebDriverWait(driver, 10).until(
EC.visibility_of_element_located((By.ID, "target_element"))
)
确保页面已准备就绪
页面加载后，并不总是能立刻获取所有元素，特别是网站使用异步加载（AJAX）时。使用 document.readyState 来检查文档是否完全加载，然后再与页面进行交互。
检查页面完全加载的示例
def wait_for_page_load(driver):
WebDriverWait(driver, 10).until(
lambda d: d.execute_script("return document.readyState") == "complete"
)
尽量减少使用 time.sleep
方法 time.sleep() 使脚本等待固定时间，会减慢其运行速度，特别是在长时间延迟的情况下。替代方案是使用更灵活的 WebDriverWait，一旦满足条件即可结束等待。
使用稳定的元素路径
依赖于特定 HTML 结构的 XPath 路径会因网站结构更改而失效。为避免这种情况，尽量使用更稳定的定位方式，如 id、name、class 和 data-* 属性。
使用属性的可靠示例
# 使用 id 定位元素（如果可用）
element = driver.find_element(By.ID, "submit_button")
# 如果没有 id，可使用 data-* 属性或唯一的 class
element = driver.find_element(By.CSS_SELECTOR, "[data-role='main-button']")
关闭弹窗和横幅
某些网站包含妨碍脚本运行的弹窗。处理这些元素可以避免阻塞主要操作。
关闭弹窗的示例
from selenium.common.exceptions import ElementClickInterceptedException
try:
close_popup = driver.find_element(By.CLASS_NAME, "popup-close-button")
close_popup.click()
except (NoSuchElementException, ElementClickInterceptedException):
pass # 若元素未找到或无法关闭，则忽略
设置日志记录处理
日志记录可以跟踪脚本的操作并发现工作中的错误。使用内置模块 logging 为脚本中的每个重要步骤设置日志记录，这使得调试和分析更容易。
设置日志记录的示例
import logging
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
logging.info("脚本启动")
logging.warning("未找到元素，继续运行")
logging.error("发生错误")
确保元素可见再与之交互
有时页面上的元素虽然加载了，但不可见或不可交互。使用 WebDriverWait 和 element_to_be_clickable 条件，确保元素可用再执行点击或数据输入操作。
from selenium.webdriver.support import expected_conditions as EC
element = WebDriverWait(driver, 10).until(
EC.element_to_be_clickable((By.ID, "button_id"))
)
element.click()
处理连接错误和超时
在爬取网页时，可能会发生连接错误或超时的情况。如果服务器不响应请求，可以设置错误处理，让脚本在网站暂时不可用时跳过或重试操作。
处理连接错误的示例
from selenium.common.exceptions import TimeoutException
try:
driver.get("https://example.com")
except TimeoutException:
logging.error("无法连接到页面。跳过到下一个任务。")
关闭浏览器
为避免资源积累并确保在发生错误时关闭浏览器，始终使用 try-finally 或其他结构来正确结束工作。
try:
# 使用 Selenium 的操作
pass
finally:
driver.quit() # 关闭浏览器
4. 新手常见的错误
不要忘记更新 web 驱动程序和库。这将有助于避免与浏览器更新和 Selenium API 更改相关的不兼容性问题。
最后，如果你的脚本经常“崩溃”而没有明显原因，可能是你的测试服务器阻止了频繁请求。检查是否违反访问规则，并考虑使用代理服务器或调整请求频率。
优化脚本不仅是技术任务，更是一种随着经验积累而来的艺术。希望今天的建议能帮助你创建可靠且稳定的脚本，可以承受各种负载。
GO TO FULL VERSION