A Web Spidering és a webrobotok meghatározása

A pókok olyan programok (vagy automatizált szkriptek), amelyek az interneten keresnek adatokat. A pókok a webhely URL-címein keresztül utazhatnak, és adatokat tudnak húzni a weboldalakról, mint például az e-mail címek. A pókok is használják a weboldalakon található keresőmotorok információinak betáplálására.

Pókok, amelyeket „webes bejáróknak” is neveznek, és nem mindegyikük barátságos.

Spammelők Spider weboldalak információk gyűjtésére

Google, Yahoo! és más keresőmotorok nem az egyetlenek, akiket érdekel a webhelyek feltérképezése - így a csalók és a spammerek is.

A pókok és más automatizált eszközöket a spammerek használják, hogy a webhelyeken megtalálják az e-mail címeket (az interneten ezt a gyakorlatot gyakran "betakarításnak" nevezik), majd használják őket spamlisták létrehozásához.

A pókok szintén a keresőmotorok által használt eszközök, amelyekkel többet tudhat meg a webhelyéről, de nem ellenőrzött, a webhely nem tartalmaz utasításokat (vagy „jogosultságokat”) a webhely feltérképezésére vonatkozóan. A pókok a következő linkek útján utaznak, és nagyon jól érzik magukat az adatbázisokhoz, programfájlokhoz és egyéb információkhoz, amelyekhez nem férhetnek hozzá.

A webmesterek megtekinthetik a naplókat, hogy lássák, hogy a pókok és más robotok meglátogatták webhelyeiket. Ez az információ segíti a webmesterek tudását, hogy ki indexeli a webhelyet, és milyen gyakran.

Ez az információ hasznos, mert lehetővé teszi a webmesterek számára, hogy finomhangolják a SEO és a update.txt fájljaikat, hogy megakadályozzák egyes robotok számára, hogy a jövőben feltérképezzék a webhelyüket.

Tippek a webhelyének védelme a nemkívánatos robotrobotoktól

Meglehetősen egyszerű módja a nem kívánt bejáróknak a webhelyéről való tartására. Még ha nem is aggódik a webhelyén feltérképezett rosszindulatú pókok miatt (az e-mail cím megzavarása nem fogja megvédeni Önt a legtöbb bejárótól), akkor továbbra is fontos utasításokat kell adnia a keresőmotorok számára.

Minden webhelynek egy fájlt kell tartalmaznia a gyökérkönyvtárban, melynek neve robots.txt fájl. Ez a fájl lehetővé teszi, hogy olyan webrobotokat utasítson, ahol szeretné, hogy az index oldalakra nézhessenek (kivéve, ha az adott oldal meta-adatai másképp nem jelennek meg), ha keresőmotorok.

Ahogyan azt is meg tudja mondani a keresett bejáróknak, ahol szeretné őket böngészni, akkor azt is elmondhatja nekik, hogy hová menjenek, és akár blokkolhatnak bizonyos bejárókat a teljes webhelyről.

Fontos szem előtt tartani, hogy egy jól összeállított robots.txt fájl hatalmas értékkel bír a keresőmotorok számára, és még kulcsfontosságú elem lehet a webhely teljesítményének javításában, de néhány robotrobot még mindig figyelmen kívül hagyja az utasításokat. Ezért fontos, hogy minden szoftver, plugin és alkalmazás mindig naprakész legyen.

Kapcsolódó cikkek és információk

A rosszindulatú (spam) célú információgyűjtés gyakorisága miatt 2003-ban elfogadták a jogszabályokat, hogy bizonyos gyakorlatokat illegálisnak találjanak. Ezek a fogyasztóvédelmi törvények a 2003-as CAN-SPAM törvény hatálya alá tartoznak.

Fontos, hogy időt szánjon arra, hogy felolvassa a CAN-SPAM törvényt, ha az Ön cége bármilyen tömeges levelezést vagy információgyűjtést végez.

A spam-ellenes törvényekről és a spammer-ekkel való kezelésről többet megtudhat, és az, amit Ön vállalati tulajdonosként nem végez, az alábbi cikkek olvasásával:

• CAN-SPAM 2003. évi törvény
• CAN-SPAM törvény szabályai a nonprofitokra
• 5 CAN-SPAM szabályok A kisvállalkozások tulajdonosainak meg kell érteniük