Brauzerin avtomatlaşdırılmasına Selenium ilə giriş

1. Browser avtomatlaşdırmanın əsasları

Təsəvvür et, sənin əlində bütün darıxdırıcı klikləri və internetdə gəzintiləri sənin əvəzinə yerinə yetirən əl köməkçin var. Bu, məhz Selenium-dur — browserləri avtomatlaşdırmaq üçün yaradılmış kitabxana. Bu nəyə lazımdır? Təsəvvür et: gündəlik olaraq veb-application testinin başladılması, qiymətlərin yoxlanması, formaların avtomatik doldurulması və hətta dinamik veb-səhifələrdən məlumatların alınması. İndi bunların hamısını divandan qalxmadan edə bilərsən!

Selenium browseri təxminən sənin kimi idarə edə bilər: veb-səhifələri açır, formaları doldurur, düymələri basır, səhifələri skroll edir və hətta screenshot da çəkir. Bu, şəxsi proqramçı işə götürmək kimidir, amma heç kimə pul ödəməyə ehtiyac yoxdur!

Selenium istifadə nümunələri

• Veb-application testləri: tətbiqin funksionallığını və sabitliyini yoxlamaq üçün testlərin avtomatlaşdırılması.
• Veb-scraping: adi parsing alətlərinin çətinliklə daxil ola biləcəyi dinamik və mürəkkəb veb-səhifələrdən məlumatların çıxarılması.
• Kütləvi məzmun paylaşımı: müxtəlif veb-saytlarda avtomatik şəkildə postlar və şərhlər yerləşdirilməsi.

Amma diqqətli ol: çox sayda sorğu göndərmək bloklanmana səbəb ola bilər. Lakin Selenium ilə sanki dürüst bir istifadəçi kimi görünə bilərsən, yəni gecikmələr, proxy və user-agent rotasiyası səhvlərdən qaçmağına kömək edəcək.

2. Selenium-un web scraping-də imkanları

Əslində, Selenium təkcə brauzerlər üçün bir vasitə deyil. Bu, dinamik məzmunla işləmək üçün lazım olan şeydir. Yəqin ki, artıq səhifəni yüklədikdən sonra JavaScript vasitəsilə məlumat yükləyən veb-səhifələrlə qarşılaşmısınız. Bu halda sadə HTML alətləri işə yaramır və burada Selenium oyuna daxil olur. O, bütün məzmun yüklənənə qədər gözləyir və məlumatları əsl ninja kimi çıxarır. Hə, məhz burada Selenium, standart veb-scraping vasitələrinin yan keçdiyi qapıları bizim üçün açır.

Selenium məhdudiyyətləri necə aşmağa kömək edir

Veb-səhifələr çoxsaylı yoxlamalar və dinamik məzmun ilə əsl qalaya çevrildikdə, Selenium belə məhdudiyyətlərə qarşı daha az həssas olur. O, JavaScript-ə əsaslanan elementlərlə qarşılıqlı fəaliyyət göstərə, düymələrlə, açılan siyahılarla və digər interaktiv elementlərlə işləyə bilər. Bu, onu digər metodların zəif qaldığı hallarda məlumat toplamaq üçün güclü bir vasitəyə çevirir.

Təhlükəsizliyi unutma! Əgər brauzerin birdən əsl bir avtomata çevrilibcə, arxayın ol ki, bu, administratorların diqqətini çəkib. Fəaliyyətlərini maskalamağı və serverləri sorğularla yükləməməyi unutma.

3. Selenium-a giriş

Ətraflı öyrənmək vaxtıdır! Biz Selenium-un quraşdırılmasından və onun əsas imkanlarının araşdırılmasından başlayacağıq.

Başlamadan əvvəl, əmin olun ki, sizdə Python artıq quraşdırılıb. Əgər yoxdursa, onda əmin olun ki, proqramçı karyeranızla nə etdiyiniz haqqında ciddi söhbətimiz olacaq!

Selenium quraşdırılması

Selenium ilə işə başlamaq onun quraşdırılmasından başlayır. Bunun üçün tanış olduğunuz alət — pip istifadə olunur. Komanda sətirində yerinə yetirilməli olan komandanı təqdim edirik:

pip install selenium

İndi, Selenium sisteminizdə artıq yerini tutub, daha da irəliləyə bilərik.

Web-driver-in quraşdırılması

Selenium-un real brauzeri idarə edə bilməsi üçün ona "driver" lazımdır. Bu, Selenium-u sizin brauzerinizlə əlaqələndirən proqramdır. Chrome üçün bu ChromeDriver, Firefox üçün isə bu GeckoDriver-dır.

1. Web-driver-i yükləyin müvafiq brauzerin rəsmi saytından.
2. Driver-in yolunu əlavə edin mühit dəyişənlərinə və ya onu birbaşa kodda qeyd edin.

ChromeDriver-in qoşulma nümunəsi:

from selenium import webdriver

driver = webdriver.Chrome(executable_path='/path/to/chromedriver')

Unutmayın ki, /path/to/chromedriver hissəsini kompüterinizdəki driver-ın real yoluna dəyişməlisiniz.

Web-driver təhlükəsizliyi

Driver-i yükləyərkən, onu yalnız brauzerlərin rəsmi saytlarından yüklədiyinizə əmin olun (məsələn, Chrome üçün https://sites.google.com/a/chromium.org/chromedriver/). Driver-lərinizi yenilənmiş və brauzerinizin versiyasına uyğun bir şəkildə saxlayın, əks halda, uyğunluq səhvləri kimi xoşagəlməz sürprizlər başınıza gələ bilər.

4. Browserdə əsas hərəkətlər

Əla xəbər odur ki, siz artıq browser idarə etməyə hazırsınız! Gəlin Selenium ilə edə biləcəyiniz bir neçə əsas hərəkətlərə baxaq.

Veb səhifələrin açılması

Browseriniz açıldı! İndi isə Selenium ilə səyahətə başlayaq:

driver.get('http://example.com')

Bu kod göstərilən URL ilə səhifəni browserdə açacaq. Tezdir, düzdür? Yeni səhifələr açmaq və tablar arasında keçid etmək üçün driver.switch_to.window() və driver.execute_script('window.open()') metodlarından istifadə edə bilərsiniz.

Səhifələrdə gəzinmək

Başqa bir səhifəyə keçid etmək çox asandır:

driver.get('http://another-example.com')

Və budur, siz artıq başqa bir veb səhifədəsiniz, sanki browseriniz bir zaman maşınıdır, sizi internetin gələcəyinə və ya keçmişinə göndərməyə hazırdır.