IHS Ücretsiz Seo Araçlarından bir diğeri olan Robots.txt Oluşturucu Aracı, web sitelerini Googlebot ile daha uyumlu hale getirebilmeleri konusunda webmasterlar için son derece yararlı bir araçtır. Tamamiyle ücretsiz olan aracımız bu yardımı robot.txt dosyası oluşturarak yapıyor.
IHS'nin Robots.txt Oluşturucu Aracı, sadece birkaç tıklama ile Googlebot dostu olan robots.txt dosyası oluşturuyor ve webmasterların hayatlarını kolaylaştırıyor.
Aracımızda ayrıca kullanıcı dostu bir arayüz bulunuyor. Bu arayüzde neyin yer alıp neyin yer almayacağını seçme seçeneğine de sahipsiniz. Aracı nasıl kullanacağınıza gelecek olursak:

  • Tüm arama botlarının mı yoksa sadece belli başlı botların mı web sitenize erişebileceğini seçin. Bu konuda seçme şansını araca bırakırsanız, varsayılan olarak tüm robotlara izin verilir.
  • Geciktirme komutlarının ne kadar olması gerektiğini seçin. Seçeceğiniz değer 5 saniye ile 120 saniye arasında olabilir. Eğer bir seçim yapmazsanız varsayılan olarak 'gecikme yok' seçeneği seçilir.
  • Eğer sitenizde bir sitemap mevcut ise bu adımda onu yapıştırmalısınız. Eğer sitemap yoksa bu adımı geçiniz.
  • Hangi arama botlarının web sitenizi taramasını istediğinizi seçin, seçmediğiniz botlar sitenizde tarama yapamayacaklar.
  • Son olarak da, dizinleri kısıtlama aşaması var. İlgili dizinin sonuna konulacak olan eğik çizgi "/" işareti o dizini kısıtlayacaktır.
  • Bu adımları izleyerek Robots.txt Oluşturucu aracımız ile Googlebot dostu bir robots.txt dosyası oluşturmuş oldunuz. Artık tek yapmanız gereken sitenizin kök dizinine bu dosyayı yüklemek.

Webmasterlar, IHS Ücretsiz Seo Araçları'ndan biri olan Robots.txt Oluşturucusunu kullanarak, herhangi bir arama botunun web sitelerinin kök dizinlerinde yer alan hangi kayıtları ya da dosyaları tarayabileceğini belirleyebilirler. Ayrıca dilerseniz sitenizin dizinine hangi robotların erişebileceğini seçebilir ve seçtikleriniz dışında kalan robotları sınırlayabilirsiniz. Hatta bu seçtiğiniz robotlardan hangisinin kök dizindeki bir dosyaya ya da hangisinin bir başka dosyaya erişebileceğini bile belirleyebilirsiniz.
Robot.txt aracı site sahipleri için harikulade bir araçtır ve şüphesiz ki site sahiplerinin hayatları bu araçla tanıştıktan sonra çok daha kolay bir hal alacaktır.