WordPress Robot.txt Dosyası

Robot.txt dosyası, bir internet sitesinin arama motorları robotları ve diğer indeks siteleri robotları tarafından nasıl indeksleneceği, takip edileceğini belirleyen ve bu durumun site yöneticisi tarafından kontroledilmesini sağlayan, robotlara verilen  izinlerin nasıl olacağını belirleyen bir dosyadır. Bu dosya internet sitesinin ana dizininde olmalı. Hostinginizin dosya yönetici kısmından ya da bir ftp programı aracılığı ile web sitenize yükleyebilir ya da oradan indirip değişiklik yapıp yeniden geriye yükleyebilirsiniz. Notepad programı ile bu dosyayı oluşturabilirsiniz.

Robot.txt dosyası herhangi bir internet sitesi için hemen hemen aynı olabilir. WordPress sistemi ile yapılan bir internet sitesi için biraz farklılıklar var. İzin verilecek klasörler gibi. WordPress siteler için örnek bir robot.txt dosyası şöyle olabilir.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /author
Disallow: /wget/
Disallow: /httpd/
Disallow: /i/
Disallow: /f/
Disallow: /t/
Disallow: /c/
Disallow: /j/

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: ia_archiver-web.archive.org
Disallow: /

Sitemap: http://www.askapache.com/sitemap.xml

kaynak: askapache – perishablepress.com