ウェブページがただのきれいな画像やテキストだと思っているなら、驚きの事実を教えるよ！実は、それらは玉ねぎみたいに多層的で、中には泣くほど（もちろん喜びで！）多くのデータを抽出できるんだ。今日は、 BeautifulSoup を使ってHTMLページを掘り下げていくよ。仮想シャベルを準備して、掘り下げ開始だ！
1. HTMLドキュメントの分析
シンプルなページ
いくつかのシンプルなHTMLドキュメントを分析して、それがどんな要素で構成されているのか、そしてデータ抽出にどんな要素が興味深いのかを理解しよう。
ニュースページの例:
<html>
<head>
<title>ニュース</title>
</head>
<body>
<h1>今日の主ニュース</h1>
<p>今日は何か重要なことが起こりました！</p>
</body>
</html>
この例では、h1 が記事の見出しを、p が本文を含んでるんだよ。
HTML構造がスクレイピングに与える影響
BeautifulSoup を使う前に、解析するHTMLドキュメントがどのように構造化されているかを理解することが重要だよ。この理解をもとに、ページのどの部分に必要なデータが含まれているのかを見極めることができるからね。例えば、ページの見出しを探したい場合は <h1> に注目して、リストを抽出したい場合は <ul> や <li> を使おう。
スクレイピングの準備
データ抽出を始める前に、重要なタグや属性を特定しておくことが大切だよ。例えば、ウェブ開発者がページ内でデータを独自にラベル付けしている場合、class="headline" みたいな属性を使っていることがある。それはとても役立つよ。ブラウザのデベロッパーツールを使ってHTML構造を調べよう。要素を右クリックして "Inspect"（Google Chromeの場合）を選んでみて。
2. ライブラリのインストールと設定
BeautifulSoup と requests のインストール
HTMLと連携するために、BeautifulSoup を使うよ。また、HTMLページを取得するために requests が必要になる。インストールは簡単で、コンソールで数コマンド実行するだけだよ:
pip install beautifulsoup4 requests
requestsとBeautifulSoupの連携
Requests はウェブページからHTMLを取得するのに役立って、BeautifulSoup はその解析を助けてくれる。これが実際の動き方だよ:
import requests
from bs4 import BeautifulSoup
# ページをロードする
url = 'https://example.com'
response = requests.get(url)
# ページをBeautifulSoupで解析する
soup = BeautifulSoup(response.text, 'html.parser')
# ページのタイトルを取得する
title = soup.title.text
print('タイトル:', title)
3. タグによるナビゲーションとデータ抽出
ナビゲーションメソッド
HTMLドキュメントが手に入ったら、BeautifulSoup を使ってナビゲートできるよ。クールな .select() メソッドを使えばCSSセレクタを使ってデータを取得できるんだ。
タグによるデータ抽出
BeautifulSoup は find や find_all のようなメソッドを提供してくれて、タグに基づいて要素を見つけられるよ。それで必要なデータを探すことができるんだ。
# 最初の段落を探す
paragraph = soup.find('p').text
print('最初の段落:', paragraph)
# リストのすべての要素を探す
list_items = soup.find_all('li')
for item in list_items:
print('リストの要素:', item.text)
フィルタリング用属性の使用
時には特定の条件に一致する要素を抽出する必要があるんだ。例えば、特定の class を持つ要素とか。BeautifulSoup を使えば簡単にできるよ:
# 特定のクラスを持つ要素を取得
headline = soup.find('h1', class_='main-headline').text
print('タイトル:', headline)
4. CSSセレクタの応用
CSSセレクタとは？
CSSセレクタはPythonプログラマーにとって強力なツールで、特定の基準に基づいてデータを抽出することを可能にするよ。同じスタイルを持つ要素を見つけるのに使えて、スクレイピングをもっと柔軟かつ正確にできるんだ。
BeautifulSoupでセレクタを使う
BeautifulSoup では select メソッドを通じてCSSセレクタを使えるよ。例えば:
# すべてのリンクを選択する
links = soup.select('a')
for link in links:
print('リンク:', link['href'])
セレクタを組み合わせて、より正確な選択も可能だよ。例えば、soup.select('div.article h2') は全ての div.article 内の h2 を選択するんだ。
CSSセレクタでの検索例
実際に試してみよう。highlight クラスを持つすべての段落を選択して、そのテキストを表示しよう:
# 'highlight'クラスを持つすべての段落を抽出
highlighted_paragraphs = soup.select('p.highlight')
for para in highlighted_paragraphs:
print('ハイライトされた段落:', para.text)
今回はここまで！次回までにスクレイピングスキルをしっかり練習しておくんだよ。パーシングのワクワクする世界で頑張れ！
GO TO FULL VERSION