Robots .txt bir web sitemizin google botların hangi sayfayı tarayacağını hangi sayfayı taramayacağını gösteren bir dosyadır bu dosyayı kendimiz oluşturabiliriz.
Robots txt doğru kullanıldığında SEO‘ya katkı sağlar ve web sitenizin ön planda çıkmasını sağlarsınız ve Google’nin sizi taramasını sık hale getirebilirsiniz
Robots.Txt Ne İşe Yarar?
Robots Txt arama motoru botlarının hangi sayfayı tarayacağını hangi sayfayı taramayacağını belirten dosyadır arama motorlarına şu dosyayı tara şu dosyayı tarama diye bilgi veriyoruz bu bilgiyi gören arama motoru botları bu bilgiyi görüp ona göre tarayacağı sayfayı tarıyor taramayacağı sayfayı taramıyor.
Robots.Txt Dosyasının Seo’ya Etkisi
Robots txt dosyası oluşturduğumuzda arama motorlarına belirttiğimiz sayfaları tara veya tarama diye komut veriyoruz boş anlamsız işe yaramayan sayfaları arama motorlarına tarama diye bilgi verirsek arama motorlarının isini kolaylaştırdığınız için size + puan verir.
Robots.Txt dosyası tüm sitelerde olması gereken bir dosyadır. Robots.Txt dosyası olmayan bir web sitedi diğer sitelere göre daha geridedir.
Robots.Txt Dosyası Nasıl Oluşturulur?
Robots.txt dosyası oluşturmak çok basit bir işlemdir bir not defteriyle bile oluşturmak mümkündür
Robots.txt ile Google’nin yazdığı makaleyi incelemek için tıkayınız.
Google Robots.txt
Robots.Txt Komutları
User-agent: *
User-agent Tüm arama motoru otların sitemize girmesini sağlayan bir koddur
Örnek olarak gösterilirse User-agent:yandex bot yazarsak sadece yandex botları sayfamıza girer.
Allow:
Bu komut ile arama moyoru botlarının hangi sayfayı tarayacağını gösteririz.
Örnek olarak
Allow: /index.php
robots.txt bilgi
Disallow:
Disallow komutu ise arama motoru botlarının hangi sayfayı taramayacağını gösteririz
Örnek olarak
Disallow: /Wp-admin/
Sitemap.xml:
Bu komut ise site haritamızın nerde olduğunu arama botlarına bildiririz
Örnek olarak
Sitemap:abubekirataibis.com/sitemap.xml
Komutları öğrendikten sonra nasıl oluşturacağımıza ve websitemize nasıl yükleyeceğimize geçelim.
Robots.Txt Dosyası Oluşturma Aşamaları
- Bir not defteri açalım yukarda verdiğim bilgiler ile komut yazalım
- Farklı kaydet diyerek Robots.txt olarak kaydedelim
robots.txt hazırlama
- Cpanel veya Ftp kullanarak web sitemizin ana bölümüne gelelim
Oraya oluşturduğumuz robots.txt dosyasını atalım
robots.txt
