Nem újdonság, hogy a Google a legnagyobb keresőmotor a világon. Sok ember megteszi a további mérföldet, hogy tartalma magas rangú legyen a Google-on bármely más keresőmotor előtt. Ennek eredményeként a Google rengeteg minőségi találattal rendelkezik minden kereséshez, és remek rangsorolási algoritmusokkal számíthat arra, hogy a legjobb eredményt kapja a Google-on.

Ennek van következménye. Ennek az a következménye, hogy rengeteg hasznos adat található a Google-on, és ezért szükség van ezeknek az arany adatoknak a lekaparására. A lekapart adatok felhasználhatók minőségi adatok elemzésére és csodálatos felismerések felfedezésére. Az is fontos lehet, hogy egyetlen kísérlet során nagyszerű kutatási információkat szerezzünk.

Ha a kaparásról beszélünk, ez megtehető harmadik fél eszközeivel. Scrapy néven ismert Python könyvtárral is megtehető. A selejtezést a legjobb kaparóeszközök közé sorolják, és szinte bármilyen weblapot fel lehet használni. További információt a Scrapy könyvtárban talál.

Ennek a csodálatos könyvtárnak az erősségeitől függetlenül. Az adatok lekaparása a Google-on egy nehéz feladat lehet. A Google keményen visszahúzza az esetleges internetes kaparási kísérleteket, biztosítva, hogy a szkriptek kaparása még egy óra alatt sem adjon meg annyi 10 kaparási kérelmet, hogy az IP-címet betiltanák.  Ez használhatatlanná teszi a harmadik felek és a személyes webes kaparó szkripteket.

A Google megadja a lehetőséget az információk lekaparására. Bármely kaparásnak is meg kell történnie, egy alkalmazás-programozási felületen (API) keresztül kell történnie.

Csak inase, még nem tudja, mi az az alkalmazás-programozási felület, nincs miért aggódnia, mivel rövid magyarázatot adok. Definíció szerint az API olyan funkciók és eljárások összessége, amelyek lehetővé teszik olyan alkalmazások létrehozását, amelyek hozzáférnek egy operációs rendszer, alkalmazás vagy más szolgáltatás jellemzőihez vagy adataihoz. Alapvetően az API lehetővé teszi a hozzáférést a folyamatok végeredményéhez anélkül, hogy részt kellene vennie ezekben a folyamatokban. Például egy hőmérsékleti API megadja Önnek a hely Celsius / Fahrenheit értékeit, anélkül, hogy hőmérővel kellene odamennie, hogy maga végezze el a méréseket.

Ha ezt beillesztjük a Google-tól származó információk kaparásába, az általunk használt API lehetővé teszi számunkra, hogy hozzáférést nyújtsunk a szükséges információkhoz anélkül, hogy szkriptet kellene írnunk a Google-keresés eredményoldalának lekaparására. Az API-n keresztül egyszerűen hozzáférhetünk a végeredményhez (miután a Google elvégzi a „kaparást”) anélkül, hogy bármilyen kódot írnánk a weboldalak kaparására.

Bár a Google-nak rengeteg API-ja van különböző célokra, a cikk céljaira az Egyéni keresés JSON API-t fogjuk használni. További információ erről az API-ról itt található.

Ez az API lehetővé teszi számunkra, hogy napi 100 keresési lekérdezést ingyen végezzünk, és szükség esetén árazási tervek állnak rendelkezésre további lekérdezésekhez.

Egyéni keresőmotor létrehozása

Az Egyéni keresés JSON API használatához egyéni keresőmotor-azonosítóra van szükségünk. Először azonban létre kellene hoznunk egy egyéni keresőmotort, amelyet itt megtehetünk.

Amikor ellátogat az Egyéni keresőmotor oldalára, kattintson a „Hozzáadás” gombra egy új keresőmotor létrehozásához.

A „Keresendő webhelyek” mezőbe egyszerűen írja be a „www.linuxhint.com ”és a„ A keresőmotor neve ”mezőbe írja be az Ön által választott leíró nevet (a Google előnyösebb lenne).

Most kattintson a "Létrehozás" gombra az egyéni keresőmotor létrehozásához, majd kattintson a "Vezérlőpult" gombra az oldalon a létrehozás sikerének megerősítéséhez.

Látna egy „Keresőmotor-azonosító” részt és egy azonosítót alatta, vagyis arra az azonosítóra van szükségünk, amelyre szükségünk lenne az API-hoz, és később erre az oktatóanyagra hivatkozunk. A keresőmotor-azonosítót titokban kell tartani.

Mielőtt elmegyünk, ne felejtsük el, hogy a „www.linuhint.com ”korábban. Ezzel a beállítással csak a webhelyről kapnánk eredményeket. Ha a teljes internetes keresés normál eredményeit szeretné elérni, kattintson a bal oldalon található menü „Beállítás” elemére, majd kattintson az „Alapok” fülre. Lépjen a „Keresés az egész interneten” szakaszra, és kapcsolja be ezt a funkciót.

API-kulcs létrehozása

Miután létrehozta az egyéni keresőmotort és megszerezte annak azonosítóját, a következő lépés egy API-kulcs létrehozása lenne. Az API kulcs lehetővé teszi az API szolgáltatáshoz való hozzáférést, és létrehozása után biztonságban kell tartani, csakúgy, mint a Search Engine ID.

API-kulcs létrehozásához látogasson el a webhelyre, és kattintson a „Kulcs beszerzése” gombra.

Hozzon létre egy új projektet, és adjon leíró nevet. A „tovább” gombra kattintva generálja az API kulcsot.

A következő oldalon különböző beállítási lehetőségek állnak rendelkezésünkre, amelyek nem szükségesek ehhez az oktatóanyaghoz, ezért csak kattintson a „mentés” gombra, és készen állunk az indulásra.

Hozzáférés az API-hoz

Jól sikerült a Custom Search ID és az API Key megszerzése. Ezután az API-t fogjuk használni.

Bár az API-t más programozási nyelvekkel is elérheti, mi ezt a Python-nal fogjuk megtenni.

Ahhoz, hogy hozzáférhessen az API-hoz a Python alkalmazással, telepítenie kell a Google API Client for Python alkalmazást. Ez telepíthető a pip install csomag segítségével az alábbi paranccsal:

pip telepítse a google-api-python-klienst

A sikeres telepítés után most importálhatja a könyvtárat a kódunkba.

A legtöbb tennivaló az alábbi funkcióval történik:

a googleapiclient-ből.felfedezés import összeállítása
my_api_key = "Az Ön API-kulcsa"
my_cse_id = "Az Ön egyéni keresőmotorjának azonosítója"
def google_search (keresési_termék, api_kulcs, cse_id, ** kwargs):
szolgáltatás = build ("Customsearch", "v1", developerKey = api_key)
res = szolgáltatás.cse ().lista (q = keresési_termék, cx = cse_id, ** kwargs).végrehajtani ()
return res

A fenti függvényben a my_api_key és my_cse_id a változókat az API kulccsal és a Search Engine ID-vel kell helyettesíteni, mint karaktersorozatot.

Most csak annyit kell tennie, hogy meghívja a keresési kifejezésben áthaladó függvényt, az api kulcsot és a cse azonosítót.

eredmény = google_search ("Kávé", my_api_key, my_cse_id)
nyomtatás (eredmény)

A fenti függvényhívás a „Coffee” kulcsszóra keres, és a visszaadott értéket hozzárendeli a eredmény változó, amelyet aztán kinyomtatnak. A JSON objektumot az Custom Search API adja vissza, ezért a kapott objektum további elemzése a JSON kevés ismeretét igényli.

Ez az alábbiakban látható eredménymintából látható:

A fent visszaküldött JSON objektum nagyon hasonlít a Google keresés eredményéhez:

Összegzés

A Google információkaparása nem igazán éri meg a stresszt. Az Custom Search API mindenki életét megkönnyíti, mivel az egyetlen nehézség a JSON objektum elemzése a szükséges információkért. Emlékeztetőül: mindig ügyeljen arra, hogy az egyéni keresőmotor-azonosítóját és az API-kulcs értékeit titokban tartsa.