こんにちは、自動化マスターたち！今日はSeleniumを使ってウェブページ上の要素のテキストや属性を抽出する方法について学びます。これ、ウェブスクレイピングの世界では超重要なスキルだよね。ネットの奥深くから情報を引き出す準備はいい？それじゃ、始めよう！
1. この講義は何について？
- データ抽出の基礎: HTML要素からテキストを引き出す方法。これだけでもかなりスゴイ感じだよね。
- 属性の取得: リンク
(href)や画像(src)みたいな重要アイテムを抽出して、後で何かしら凄いことをやろうね。 - 実際の例: テーブルやリストからデータを抽出する方法を試してみるよ。「コードを実際に触ってみないと完全に理解したとは言えない」って言った偉いプログラマーもいたしね。
2. 要素からテキストを抽出する
さて、美しいウェブサイトがあって、そこに役立つ情報がいっぱいあると想像してみて。例えばヘッダーや段落、その他のHTML要素からテキストを取る必要があるとき、どうすればいい？そんな時にSeleniumが登場！
例
from selenium import webdriver
# Chrome用のドライバーを設定
driver = webdriver.Chrome()
# サイトを開く
driver.get("https://example.com")
# クラスで要素を見つけてテキストを抽出
element = driver.find_element_by_class_name("example-class")
text = element.text
print("抽出されたテキスト:", text)
# ブラウザを閉じるのを忘れないでね
driver.quit()
ここでは、要素のテキストを取得するために.textメソッドを使用しているよ。Pythonの例外をすべて覚えるより簡単でしょ？
3. 要素から属性を抽出する
テキストはいいけど、リンクのURLや画像のリンクみたいなもっと具体的なものを取得したい場合はどうする？もちろん、Seleniumがまた助けてくれるよ。
例
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
# CSSセレクタで要素を見つけて属性 'href' を抽出
link_element = driver.find_element_by_css_selector("a.link-class")
link_href = link_element.get_attribute("href")
print("リンクのURL:", link_href)
# IDで要素を見つけて属性 'src' を抽出
img_element = driver.find_element_by_id("logo")
img_src = img_element.get_attribute("src")
print("画像のURL:", img_src)
driver.quit()
見ての通り、構文は基本同じ。でも.textの代わりに.get_attribute("属性名")を使うだけ。シンプルで強力だよね。
4. 実践でメソッドを使う
理論から実践へ進んでみよう。プログラマーは理論だけで長時間つまるのが好きじゃないからね！ここでは、ウェブページ上のテーブルからデータを抽出する例を見てみるよ。
テーブルからデータを抽出する
例えば、サイト上のテーブルからすべての行を抽出してコンソールに表示する必要がある場合、こうやるんだ：
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
# IDでテーブルを見つける
table = driver.find_element_by_id("example-table")
# テーブル内のすべての行を見つける
rows = table.find_elements_by_tag_name("tr")
for row in rows:
# 現在の行内のすべてのセルを見つける
cells = row.find_elements_by_tag_name("td")
for cell in cells:
print(cell.text, end=' ')
print()
driver.quit()
まずテーブル自体を見つけて、それからすべての行とセルをループして、それらのテキストを抽出して表示するよ。まるで複雑なクモの巣を解きほぐすような感じだけど、最終的にはシンプルで分かりやすくなるよ！
5. よくあるミスとその回避方法
データ抽出のコード冒険に入る前に、よくあるミスについて話そう。
動的ページを扱うとき、タイミングが敵になることがある。ページが完全に読み込まれる前に要素のテキストや属性を取得しようとすると、NoSuchElementExceptionエラーが出るよ。それはまるで準備ができていないサプライズを捕まえようとするようなもの。この問題を回避するためには、WebDriverWaitのような明示的な待機を使おう。
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://example.com")
try:
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CLASS_NAME, "lazy-class"))
)
print(element.text)
finally:
driver.quit()
ここでは、WebDriverWaitとexpected_conditionsを使って要素が読み込まれるのを待っているよ。それはまるで料理が完全に準備できるのを待つようなもの。待った甲斐があるはず！
GO TO FULL VERSION