Veb-scraping giriş

1. Veb-skreypinq nədir?

Veb-skreypinq — veb-saytlardan avtomatik məlumat çıxarmaq prosesidir. Adi kopi-pastadan fərqli olaraq, skreypinq proqramlara daha böyük məlumat toplamağa imkan verir, hansı ki, əks halda bunu əl ilə etmək lazım olardı. Təsəvvür edin ki, bir bot yazırsınız və bu bot sizin yerinizə "gizli agent" deyə biləcəyinizdən daha sürətli məlumatlar toplayır.

Veb-skreypinqin Məqsədləri

Məqsədlər çox müxtəlif ola bilər: sevdiyiniz onlayn mağazalardakı qiymətləri izləməkdən tutmuş, öz xəbər seçmələrinizi yaratmaq üçün məlumat toplamağa qədər. Məsələn, veb-skreypinqdən istifadə edərək hər gecə hava şəraiti ilə bağlı təzə məlumatları toplayıb, təhlil üçün uyğun formata göndərə bilərsiniz.

• Məlumat toplamaq: API təqdim etməsələr belə, çox sayda veb-saytdan sürətli və effektiv şəkildə məlumatlar toplayın.
• Dəyişiklikləri izləmək: Səhifələrdəki dəyişiklikləri avtomatik olaraq izləyin, məsələn, qiymətlərin dəyişməsi və ya məzmun yenilənməsi.
• Akademik tədqiqatlar: Mövcud məlumat dəstlərində analoqu olmayan tədqiqat və analiz üçün məlumatlar toplayın.
• Öz məlumat bazalarınızı yaratmaq: Məsələn, müxtəlif resurslardan toplanmış kino və ya kitab bazaları.

Tapşırıqlar və etik tərəflər

Lakin, Böyük Hörümçək Adam demişdir: "Böyük güc ilə böyük məsuliyyət gəlir". Veb-skreypinq – bu güclü bir texnikadır və onu anlayış və hörmətlə istifadə etmək lazımdır. Bir çox qanuni və etik tərəflər mövcuddur ki, bunları nəzərə almalıyıq.

1. Saytların İstifadə Qaydaları (Terms of Service): Skreypinq etməyi planlaşdırdığınız veb-saytların istifadə qaydalarını həmişə oxuyun və onlara əməl edin. Bəzi saytlar bunu qadağan edə bilər və bu qaydaların pozulması sizin IP ünvanınızı bloklamağa və ya hüquqi nəticələrə səbəb ola bilər.
2. Serverlərə hörmət edin: Hərəkətləriniz serverlərdə həddindən artıq yüklənməyə səbəb olmamalıdır. Bu o deməkdir ki, sorğu tezliyinə ağıllı yanaşmalısınız.
3. Məlumatların məxfiliyi: İcazəsiz şəxsi və ya məxfi məlumatları çıxarmadığınızdan əmin olun.
4. Saytın pozulması: Saytın düzgün qorunmayan bölmələrini parse etmək pozuntu kimi qəbul oluna bilər və inzibati və ya cinayət məsuliyyətinə səbəb ola bilər.

Etik tərəfləri mürəkkəb olsa da, düzgün istifadə edildikdə veb-skreypinq avtomatlaşdırma üçün əvəzsiz bir alətdir.

2. Veb-skreypinq tətbiqdə: nümunələr və imkanlar

İndi biz bilirik ki, nəyə görə veb-skreypinq ilə məşğul olmaq istəyərik, gəlin bu prosesin praktiki şəkildə necə göründüyünə nəzər salaq.

İstifadə nümunələri

• Qiymətlər və rəqabət analizi: Şirkətlər rəqabətə davamlı qalmaq üçün tez-tez rəqiblərin qiymətlərini monitorinq edirlər.
• Müştəri rəylərinin toplanması: Məhsul və xidmətlərin təkmilləşdirilməsi üçün rəylərin öyrənilməsi.
• Bazarlama analizi: Maliyyə analitikləri trendləri təhlil etmək üçün maliyyə saytlarından məlumat toplaya bilərlər.
• Sağlamlıq sahəsində tədqiqatlar: Yeni araşdırmalar və ya tibb xəbərləri barədə məlumatların toplanması.

Veb-skreypinqin istifadə potensialı demək olar ki, sonsuzdur və bir çox sahə və ehtiyacı əhatə edir.

Alətlər və kitabxanalar

Düşünürəm, artıq sizi əsas qəhrəmanlarımızla tanış etməyə vaxtdır: veb-skreypinq üçün alət və kitabxanalar, məsələn BeautifulSoup, Scrapy, və Selenium.

• BeautifulSoup: HTML və XML sənədlərinin parsinqi üçün əla alət. HTML-dən məlumatları asanlıqla çıxarmağa və onun strukturunu analiz etməyə imkan verir. Bu veb-səhifələrin strukturu ilə tanış olmağa kömək edən bizim bələdçimizdir.
• Scrapy: Veb-skreypinq üçün daha geniş çərçivədir, müxtəlif tənzimlənmələr və funksiyalar təqdim edir ki, məlumatların tam çıxarılmasını təmin etsin. Bu, daha yüksək səviyyədə skreypinq aparmağa imkan verən bir növ İsveçrə bıçağıdır.
• Selenium: Dinamik və JavaScript ilə yaradılan səhifələrlə qarşılıqlı əlaqə qurmaq üçün uyğundur. Onun vasitəsilə hətta brauzeri idarə etmək, düymələr basmaq və formaları doldurmaq mümkündür.

Bu alətlərin hər biri öz xüsusiyyətləri və üstünlüklərinə malikdir və tapşırıqlara görə ən uyğun olanı seçə bilərsiniz.

3. Həyatdan bir nümunə

2019-cu ildə texno-triller ssenarisi kimi görsənən bir hadisə baş verdi. HiQ Labs, kiçik bir şirkət, HR-məlumatlarının təhlili üçün inkişaf etmiş bir alqoritm icad etdi - şirkətin iddia etdiyi kimi bu alqoritm işçilərin işdən çıxmaq haqqında düşünməyə nə vaxt başlayacaqlarını təxmin edə bilirdi. HiQ Labs-ın bu sistemi işlətmək üçün lazım olan yeganə şey LinkedIn-in ictimai profillərindən əldə etdiyi məlumatlar idi.

LinkedIn üçün bu bir şok idi. Onlar hesab edirdilər ki, HiQ Labs onların "rəqəmsal ərazisinə" hücum edir və istifadəçilərin hüquqlarını pozur. Tezliklə LinkedIn məlumatların parsinqini dərhal dayandırmağı tələb etdi və şirkətə fəaliyyətini dayandırması haqqında bildiriş göndərdi, iddia edərək ki, parsinq qaydalara ziddir və istifadəçilərin məxfiliyini pozur. Amma HiQ Labs geri çəkilməməyə qərar verdi və çətinliklə üzləşdi: şirkət cavab iddiası irəli sürdü, iddia edərək ki, topladığı bütün məlumatlar ümumi istifadədədir. "Şəbəkədəki informasiya hamıya məxsusdur," - təxminən onların arqumentləri belə səslənirdi.

Həqiqət anı gəldi - iş məhkəməyə qədər gəlib çatdı və bütün sektor qərarın nə olacağını gözləməyə başladı. Əgər LinkedIn qalib gələrsə, bu parsinqi öz bizneslərinin əsasına çevirən yüzlərlə startap və tədqiqat şirkətləri üçün son demək olardı. Ancaq məhkəmə HiQ Labs-ın tərəfini tutarsa, bu, şəbəkədə nəyin toplana biləcəyi və nəyin toplana bilməyəcəyi barədə anlayışı dəyişdirəcək bir presedent yaradacaq.

Nəhayət, məhkəmənin qərar çıxartdığı zaman, bu qərar həqiqi sensasiyaya çevrildi. ABŞ-ın doqquzuncu dairə apellyasiya məhkəməsi icma məlumatlarının parsinqinin Kompüter Fırıldaqları və Qanunda sui-istifadə haqqında qanunu (CFAA) pozmadığını qərara aldı. Hakim təsdiqlədi: əgər məlumatlar hamı üçün açıqdırsa, onların toplanması qanunsuz hesab oluna bilməz.

Bu qərar presedent oldu və məlumatların toplanması ilə məşğul olan şirkətlər üçün oyun qaydalarını dəyişdi. LinkedIn döyüşü uduzdu, amma məlumatlar uğrunda müharibə hələ başlamışdı. HiQ Labs və LinkedIn-in hekayəsi internetdə məlumat uğrunda mübarizənin dünyanı necə dəyişə biləcəyini və icazə verilənin sərhədlərini necə dəyişdirdiyini göstərən bir simvol oldu.