1. スクリプトテストの方法
プログラマー誰もが愛するプロセス—デバッグとテスト—に関する私たちの講義へようこそ! Seleniumで素晴らしいボットを作成することをすでに習得している場合は、次はそのボットを 気まぐれなロボットから、ただ動作するだけではなく安定して動作する従順な実行者に変える方法を学ぶ時です。 誰も、大事な瞬間にボットが突然「休みを取る」ことを望んでいませんよね。
まずはスクリプトのテストの方法を議論することから始めます。テストは医者への必須訪問のようなものです: 誰もが行きたくはないけど、どうしても必要です。最高のスクリプトでさえ、その堅牢性と信頼性を確認する必要があります。 良いニュースは、Pythonにそのためのたくさんのツールが用意されていることです。
Unitテスト
すべてはユニットテストから始まります。それはまるで小さなスイス時計のように、 あなたのメカニズムの各歯車をチェックします。 Pythonでは、unittestライブラリがデファクトスタンダードとしてユニットテストを 記述するために使われます。主なアイデアは、コード内の個別の「ユニット」または部分を独立してテストすることです。
import unittest
from my_selenium_script import my_function
class TestMyFunction(unittest.TestCase):
def test_success_case(self):
result = my_function("期待される入力")
self.assertEqual(result, "期待される出力")
unittest.main()
この簡単な例は、自分のコードの個々の関数をテストする方法を示しています。 実際には、成功例だけでなく、さまざまな境界事例や無効な入力データもテストすることになります。
統合テスト
すでに各「ユニット」を信頼する理由がある場合は、次にそれらがどのように相互作用するかをチェックする時です。 統合テストは、まるで理想的なデートのように、個々のコンポーネントがどのように一緒に動作するかを示します。 同じライブラリを使用できますが、テストのアプローチは異なります。
class TestIntegration(unittest.TestCase):
def test_full_workflow(self):
# 各ステップはアルゴリズムの関数呼び出しだと思ってください
open_page()
fill_form()
submit_form()
self.assertTrue(check_results())
統合テストはより複雑で時間がかかることがありますが、 システム全体が1つのまとまりとして動作することを確認するのに役立ちます。
2. デバッグとエラー修正
テストについて話したので、次にもっと興味深い部分—デバッグ—に入りましょう。 デバッグとは、ボットが即興演技を始め、それを元のシナリオに戻そうとすることです。
デバッグツール
Pythonで優れたデバッグツールは、pdbです。 これはスクリプトの実行を一時停止して、その状態をステップごとに調査できます。 次に簡単な例を見てみましょう:
import pdb
def some_function(value):
pdb.set_trace() # ここで実行が一時停止します
result = value + 1
return result
some_function(3)
このコードを実行すると、インタラクティブな環境に入り、コードをステップごとに進めたり、 変数の値を確認したり、それらを変更したり、プログラムの実行をステップごとに続けることができます。 これはスクリプトが何か奇妙なことをしているように見えるとき、大いに役立ちます。
ページの状態の可視化
ビジュアルデバッグのために、スクリプト実行の各段階でページのスクリーンショットを保存するのが便利です。 これにより、画面に表示される要素とエラーが発生している時点でのページの外観を確認できます。
driver.save_screenshot("page_state.png")
エラーを見つけて直すための戦略
残念ながら、ロジックの根本的な間違いがコードのどこにあるかを教えてくれるデバッガはありません。そこで役に立つのが戦略です:
- ログを取る: あちこちにログを仕込みましょう。ある賢い人が言ったように、「コードで何が起きているか分からないなら、ログが足りない」のです。
loggingライブラリを使えば、コードをprint()だらけにせずに済み、制御もしやすくなります。 - コードを声に出して読む: コードが何をしているかを口に出すと、頭の中の問題があっさり解けることがあります。おかしな話に聞こえますが、これが効くんです!
- モジュールに分ける: コードをモジュールや関数にきっちり分けましょう。どこで失敗したのかを特定しやすくなります。
3. Seleniumスクリプトの分析
信頼できるスクリプトを作るには、いろいろな場面での動作を試しておくことが大切です。そうしたシナリオの例をいくつか挙げます:
ページに要素が存在しない
デバッグのときは、必要な要素がすべてページ上にあり、操作できる状態かを確かめることが大切です。find_elements()メソッドを使い、返ってきたリストの長さを確認すれば、NoSuchElementExceptionを避けられます。
重要: 以下の例は Selenium 3 の書き方です。Selenium 4 では find_element_by_* メソッドは削除され(4.3.0 以降は完全に)、代わりに By クラスの指定を受け取る汎用の find_element() を使います。そのため、各例のあとに Selenium 4 版を載せています。
elements = driver.find_elements_by_class_name("class_name")
if len(elements) == 0:
logging.warning("要素が見つかりません")
else:
logging.info("要素が正常に見つかりました")
同じ内容を Selenium 4 で書くと:
elements = driver.find_elements(By.CLASS_NAME, "class_name")
if len(elements) == 0:
logging.warning("要素が見つかりません")
else:
logging.info("要素が正常に見つかりました")
予期しないページの状態
たとえば、読み込み方が違うフォームがあるページや、条件によって現れる要素が変わるページです。スクリプトはそうした状況に対応できるようにしておく必要があります。
try:
special_offer = driver.find_element(By.ID, "special_offer")
logging.info("特別オファーを見つけたので処理を実行します")
except NoSuchElementException:
logging.info("特別オファーは見つからなかったので、なしで続行します")
ページ上で変化する要素
テストのときは、同じページでも要素が変わりうること(バナーや広告枠など)を考慮しましょう。ページのいろいろな状態を想定してスクリプトを試してください。
複数のブラウザでの確認
ブラウザによってページの扱い方が違うことがあるので、安定して動かすには複数のブラウザ(Chrome、Firefox、Edgeなど)でスクリプトを試すと役に立ちます。Seleniumなら、さまざまなWebドライバを通じて別々のブラウザでテストを走らせられます。
from selenium import webdriver
# Chromeで起動
driver = webdriver.Chrome()
# Firefoxで起動
driver = webdriver.Firefox()
# Edgeで起動
driver = webdriver.Edge()
4. スクリプトのテストの自動化
unittestを使ったテストの作成
unittestライブラリを使えば、スクリプトのいろいろな部分に対するテストを自動で走らせられます。これで各要素がちゃんと動くかを定期的に確認できます。
import unittest
from selenium import webdriver
class SeleniumTest(unittest.TestCase):
def setUp(self):
self.driver = webdriver.Chrome()
self.driver.get("https://example.com")
def test_element_presence(self):
driver = self.driver
element = driver.find_element_by_id("submit_button")
self.assertIsNotNone(element, "要素がページ上に見つかりません")
def tearDown(self):
self.driver.quit()
unittest.main()
同じ内容を Selenium 4 で書くと:
import unittest
from selenium import webdriver
from selenium.webdriver.common.by import By
class SeleniumTest(unittest.TestCase):
def setUp(self):
self.driver = webdriver.Chrome()
self.driver.get("https://example.com")
def test_element_presence(self):
driver = self.driver
element = driver.find_element(By.ID, "submit_button")
self.assertIsNotNone(element, "要素がページ上に見つかりません")
def tearDown(self):
self.driver.quit()
unittest.main()
パラメータ付きのテストセットの作成
要素やシナリオのいろいろな組み合わせを確認するためのテストセットを作りましょう。たとえば、入力フォームに入れるデータの形を変えながら、パラメータの異なるページを確認できます。
安定性と性能の確認
- 大量のデータでスクリプトの安定性を確認する: 大量のデータを処理でき、長時間動き続けられることを確かめましょう。
- 定期的にテストを走らせる: スクリプトの安定性を監視するために、テストは定期的に実行しましょう。とくに相手のサイトが頻繁に更新される場合は重要です。
- 性能を評価する: 長い待機や遅い要素は避けましょう。各ステップの実行時間をタイマーで測り、必要なら最適化してください。
GO TO FULL VERSION