Weboldalak elrejtése

október 22, 2006

Láthatatlanná tenni a keresők számára

Bár a Keresőoptimalizálás részben a Kereső-láthatóság növeléséről szól, vagyis arról, hogy hogyan lehet egy adott webhelyen megjelenő összes információt láthatóvá tenni a Keresőrobotok számára, egyes esetekben szükség lehet arra, hogy elrejtsük a weboldal egy részét, vagy egészét, tehát megakadályozzuk a weboldal tartalmának Felgöngyölítését.

A keresők által még nem ismert oldalak elrejtése

Általában a keresők vagy úgy találnak rá egy oldalra, hogy arra kívülről egy Teljes értékű link mutat, vagy pedig a Keresőoldalakra regisztrálás során megadott címek alapján. Ezért tehát ha a keresők által már ismert weblapok egyikéről sem mutat hivatkozás egy weblapra, akkor ez az esetek többségében elégséges, azonban a legbiztosabb módszer a jelszavas védelem. Attól még, hogy nem mutat sehonnan bejövő link egy oldalra, egyesek beírhatják az oldal címét – így felfedezve a tartalmat -, és esetleg be is linkelhetik.

Akkor is rejtve lehet tartani a weboldalakat, ha már mutatnak rá kívülről hivatkozások: a keresőrobotok mozgását ugyanis korlátozni lehet vagy a robots Meta tagok, vagy a szerveren elhelyezett robots.txt fájl segítségével.

Száz százalékos megoldás

Néhány megjegyzés azok számára, akik valamilyen oknál fogva 100%-os megoldásra törekednek a weboldalaik elrejtésénél:

A robotok korlátozására szolgáló jelzések nem kötelező érvényűek, azokat csak a jólnevelt robotok tartják be, az offline Böngészők például nem feltétlenül. Ezért ha nemcsak a keresők elől szeretnénk bizonyos oldalakat elrejteni, akkor ezek az intézkedések nem vezetnek célra.
Árulkodó lehet az az információ is, hogy milyen mappákat tiltunk le a robots.txt fájlban.
Az elrejteni kívánt oldalak megjelenhetnek a [Látogatottsági statisztikák]ban is: érdemes ezért jelszóval védeni az online elérhető statisztikai oldalakat.
A Google Eszköztár és a hasonló, PageRank vagy [Alexa Rank] értéket lekérdező eszköztárak, Firefox kiegészítők használata azzal járhat, hogy a Google Inc. vagy az [Alexa] számára elküldjük az éppen meglátogatott oldalak címét. (Bár ez előbbi eshetőség cáfolatáról itt olvashatunk: http://blog.outer-court.com/archive/2006-12-10-n75.html )

A keresők által már ismert oldalak láthatatlanná tétele

Ahhoz, hogy lehetőleg mihamarabb eltűnjenek a régi, elavult tartalmú weboldalak a keresők adatbázisából, két alapvető feltételnek kell teljesülnie: egyrészt nemcsak az oldalra mutató linkeket kell eltávolítani, hanem az oldalt magát is le kell venni a szerverről, másrészt ellenőrizni kell, hogy a szerver a hibaoldalt a szabályos, „404 Not Found” vagy „410 Gone” hibakóddal szolgáltatja. Ha például nem a megfelelő hibakóddal küldi el a szerver a hibaoldalt, akkor akár évekkel ezelőtt felgöngyölített oldalak is benne tudnak ragadni a Google kereső adatbázisában, tehát rá lehet keresni, meg lehet tekinteni őket a [Google Cache]-ban. A fentieknek megfelelően nem elég a nyitóoldalról mutató linkek eltávolítása vagy az egész nyitólap törlése, ha az elrejtendő régi weblapok fennmaradnak a szerveren, kiváltképp, ha közülük valamelyikre Mélylinkeléssel mutat hivatkozás.

A törölt weblapok – attól függően, hogy milyen gyakorisággal látogatják a webhelyet a keresőrobotok – pár hét, esetleg pár hónap alatt maguktól eltűnnek a keresők adatbázisából. Az egyes keresők azonban – részben a Keresők jogi problémái miatt is – számos további lehetőséget nyújtanak a weboldalak egyes részeinek elrejtésével, vagy azonnali eltávolításával kapcsolatban. A Weblapok törlése a Google adatbázisából az, amihez a legtöbb segítséget kapnak a webmesterek, azonban a többi kereső is biztosít lehetőségeket a webodalak elrejtésére. Ezek részletes leírása itt található:

A „Weboldalak elrejtése” című bejegyzést 2006. 10. 22. napján publikáltam, az azóta már bezárt webni.innen.hu oldalon. Ezt az írást és az innen hivatkozott régi tartalmakat a Webni! Archívum oldalán gyűjtöttem össze. Mivel az utolsó módosítás dátuma: 2007. 04. 19., ezért az itt olvasható információk már részben vagy teljes egészében elavultak lehetnek.