Code Snippets (Webentwicklung)

Brauchbare und praktische Code Snippets für Webmaster
Letzter Beitrag
doo!media

doo!media
20 Beiträge
15.08.2014 23:37

Semalt Crawler blocken - Semalt.com aussperren

Semalt ist sehr bekannt für seine penetrante Art, Websites auf Inhalte zu durchsuchen. Der Crawler steht offenbar einer Art SEO-Dienst zur Verfügung und soll Nutzern beim Auswerten von Konkurrenten dienen. Da dieser Bot aber sehr nervig ist und unnötig Performance frisst, ist es empfehlenswert, dem Crawler von Semalt.com einen Riegel vorzuschieben.

Dies kann man ganz einfach über eine .htaccess Datei im gewünschten Verzeichnis realisieren. Möchte man Semalt von der kompletten Website mit allen Verzeichnissen ausschließen, so kann man einfach eine .htaccess Datei in das Hauptverzeichnis legen oder eine ggf vorhandene Datei ergänzen.

Der folgende Schnipsel sperrt Semalt komplett vom Verzeichnis und den Unterverzeichnissen, sowie allen Dateien aus:


SetEnvIfNoCase referer semalt\.com bad_bot=1

<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>

Danach einfach die .htaccess Datei speichern in das Webverzeichnis schieben. Ab diesem Zeitpunkt wird der Crawler von Semalt ausgesperrt und man hat seine Ruhe. Das Ganze funktioniert übrigens auch wunderbar mit anderen Bots, die einen Referrer mitsenden. Für das Aussperren anderer Kandidaten, gibt es hier in der Devzone weitere Threads mit Informationen.

Editiert von doo!media - 16.08.2014 02:46




 

Aktuell in der Devzone

Starten Sie noch heute Ihr Wunschprojekt!Wir beraten Sie gerne und ausführlich - natürlich kostenfrei!

Los geht's
Hinweis: Unser kommerzielles Angebot richtet sich ausschließlich an Gewerbetreibende, Industrie und Handwerk, öffentliche Einrichtungen und die freien Berufe.