绕过反机器人保护：绕过反机器人和 CAPTCHA 的方法

1. 反机器人技术：谁在和我们玩猫捉老鼠的游戏？

今天我们将深入探讨网络爬虫中最有趣且可以说是最具争议的话题之一——绕过反机器人保护和与 CAPTCHA 的斗争。 对于程序员来说，生活中常常是“魔高一尺，道高一丈”，那么我们来看一下如何应对这些障碍。

在开始寻找漏洞之前，先了解我们面对的东西吧。所谓反机器人技术，其实就是保护网站免受自动化程序 过多甚至不受欢迎关注的系统。这里是一些常见的方法：

• CAPTCHA：CAPTCHA 就像是反机器人世界的核武器。 目的是通过向用户展示需要人工参与的任务来筛选掉机器人请求，比如选择所有包含出租车的图片或输入模糊的字母组合。
• 行为分析：一些网站会评估你填写表单或与网页元素互动的速度。太快了？那你就可能被封禁。
• 请求延迟和限制：如果网站怀疑你不是人类，它可能会增加请求间隔时间甚至完全屏蔽你。

2. 绕过反机器人的方法

现在我们认识了敌人，让我们看看有哪些方法可以绕过它。

解决 CAPTCHA

最明显但同时也最复杂的方法是自动化解决 CAPTCHA。这是可行的，但需要用到特定的工具和第三方服务。 CAPTCHA 有多种类型，包括文本型、图形型甚至语音型 CAPTCHA。

为了自动解决 CAPTCHA，可以使用像 2Captcha 或 Anti-Captcha 这样的 API 服务，这些服务提供低成本的 CAPTCHA 解决方案。 以下是一个实践例子：

import requests

def solve_captcha(api_key, site_url, captcha_image_url):
    # 下载CAPTCHA图片
    captcha_image = requests.get(captcha_image_url).content
    
    # 将图片发送到服务并获取任务ID
    response = requests.post("http://2captcha.com/in.php", files={'file': captcha_image}, data={'key': api_key, 'method': 'post'})
    captcha_id = response.text.split('|')[1]
    
    # 获取CAPTCHA的答案
    solution_url = f"http://2captcha.com/res.php?key={api_key}&action=get&id={captcha_id}"
    solution_response = requests.get(solution_url)
    
    while 'CAPCHA_NOT_READY' in solution_response.text:
        solution_response = requests.get(solution_url)
    
    return solution_response.text.split('|')[1]

# 函数的使用例子
api_key = '你的_2CAPTCHA_密钥'
site_url = 'https://example.com'
captcha_image_url = 'https://example.com/captcha_image'

captcha_solution = solve_captcha(api_key, site_url, captcha_image_url)
print("CAPTCHA 解决方案:", captcha_solution)
    

这个代码展示了如何请求解决 CAPTCHA。然而，对于复杂的图形问题或网站频繁更改算法的情况下，这种 方法可能效果不佳。

模拟人类行为

另一种绕过方法是模拟人类行为。你可以在脚本中任意位置添加延迟，修改 user-agent，模拟双向互动， 甚至使用 Selenium 的鼠标移动方法：

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time

driver = webdriver.Chrome()
driver.get('https://example.com')

# 模拟鼠标移动
actions = ActionChains(driver)
element = driver.find_element_by_id('button')
actions.move_to_element(element)
actions.perform()

# 延迟以创建自然的交互效果
time.sleep(2)

# 执行动作
element.click()
    

我们将在后续讲座中更详细地讨论 Selenium。

使用动态 IP 和代理

你还可以使用代理服务器来更换发送请求的 IP 地址。这有助于绕过单个 IP 的请求限制。 为此可以使用像 Bright Data 和 Smartproxy 这样的服务。

import requests

proxy = {
  "http": "http://123.456.789.012:8080",
  "https": "http://123.456.789.012:8080",
}

response = requests.get('https://example.com', proxies=proxy)
print(response.content)
    

3. 重要提示

执行反机器人绕过技术需要知识和实践。重要的是要记住， 并非所有方法都是合法的 或被网站允许的。始终检查 "robots.txt" 中的内容，并遵守网络爬虫的礼仪，避免让服务器过载。 这样不仅可以避免法律问题，也是一种对他人工作成果的尊重。

永远不要用你的家庭 IP 启动任何高级爬虫。学习型爬虫不会有太大问题，但如果你的脚本意外地 同时发送了数千个请求并导致某个服务器宕机，那么你可能会面临一些问题。 随后会有人找上门来问你这些问题。