A robots.txt tiltás nem mindig azt csinálja, mint amire számítunk.

Elképesztő dolog történt velem nemrég. Egy régi kedves ügyfelem, akinek webáruházat készítettem felhívott, hogy valami gond van, mert bejött a boltba egy vásárló aki a weboldalon feladott rendelésére, nem kapott rá semmi választ. Mutatta az emailt amit a webáruház küldött neki automatikusan, szerepelt is benne rendelés azonosító. De mi nyomát sem találtuk a megrendelésnek az adatbázisban.

Kiderült, hogy nem a valódi weboldalon adta fel a rendelését, hanem a fejlesztői szerveren. Meg is találtam a megrendelést ott. A Google küldte a fejlesztői szerverre a vásárlót.

Ez a fejlesztői szerver jelszóval védett volt, de egy rövid időre ki kellett kapcsolnom a jelszó védelmet, egy külső rendszer integrációja miatt. Hogy, hogy nem, a Google anno megtalálta és indexelte a félkész oldalt. Ezt észre sem vettük addig, amíg nem élesítettük a közben elkészült weboldalt. Ekkor keresett rá a saját nevére az ügyfél a Google-ben, és látta hogy a rossz címet hozza ki a valódi weboldal helyett.

Ekkor pár hétig átirányítást állítottam be a fejlesztői szerverről, a valódi honlapra. De később ezt levettem és visszaállítottam a jelszavas védelmet és beállítottam robots.txt tiltást a teljes fejlesztői szerverre. Na ez így együtt hiba volt, mint később kiderült.

Mindez hónapokkal ezelőtt történt. Most megint le kellett vennem a jelszavas védelmet, de a robots.txt tiltás megmarad. És kb. másfél nap alatt a Google képes volt annyi látogatót küldeni a fejlesztői szerverre, hogy abból lett két valódi vásárlás.

Mi történt? A robots.txt tiltást figyelembe vette a Google és soha többet nem töltötte le azokat az oldalakat, amiket egyszer már beindexelt a fejlesztői szerverről. De ennek ellenére hónapokon át küldözgette oda a látogatókat, vásárlókat. Amikor egy pillanatra megszűnt a jelszavas védelem, gyorsan feladták a rendelést a szegény elkeseredett vevők.

Mi ebből a tanulság? Ha el akarsz tüntetni egy címet a Google indexből, arra nem az a megoldás, hogy robots.txt-ben letiltod. És még mi a tanulság? Hogy a link nem minden a Google-nél sem, mert egy árva link sem mutat a fejlesztői szerverre.

1 hozzászólás

Ha egyszer be van idexelve

Ha egyszer be van idexelve nem elég a robots.txt. El is kell távolítani az indexből, különben hosszú ideig él a beindexelt hivatkozás (míg a robot visszatér - aloldalaknál ez sok idő lehet). Ez persze az az eset, amikor elvileg nincs indexelve, mindent jól csinálunk - s mégis gáz lett belőle :)