Robots.txt dosyası Google, Yandex, Bing gibi arama motorlarına web sitenizde hangi sayfaların ve dosyaların taranıp taranmayacağını açıklayan dosyadır. Web sitenizi tarayacak olan botlar ilk önce robots.txt dosyasına bakarlar. Bu nedenle Robots.txt dosyası SEO açısından çok önemli bir dosyadır.
Robots.txt Dosyası Nedir?
Robots.txt, arama motoru robotlarına web sitenizin sayfalarını nasıl tarayacaklarını ve dizine ekleyeceklerini söylemek için oluşturulan bir metin dosyasıdır. Genellikle web sitenizin ana klasörü olarak da bilinen kök dizininde depolanır.
Bir robots.txt dosyasının temel biçimi şu şekildedir:
User-agent: [user-agent adı]
Disallow: [Taranması itenilmeyen URL]
User-agent: [user-agent adı]
Allow: [Taranması istenen URL]
Sitemap: [XML Site haritanızın olduğu URL]
Belirli URL’lere izin vermek veya vermemek ve birden çok site haritası eklemek için birden çok talimat satırınız olabilir. Bir URL’yi Allow veya Disallow kısmında belirtmezseniz arama motoru botları onu taramalarına izin verildiğini varsayarlar.
Robots.txt örnek dosyası aşağıdaki gibi olabilir:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://www.efehanyildiz.com/sitemap.xml/
Yukarıdaki robots.txt örneğinde, arama motorlarının wp-content/uploads klasörümüzdeki dosyaları taramasına ve dizine eklemesine izin verdik. Arama motoru robotlarının eklentileri ve WordPress yönetici klasörlerini taramasına ve dizine eklemesine izin vermedik. Son olarak, XML site haritamızın URL’sini de ekledik.
Her Site İçin Bir Robots.txt Dosyası Olması Gerekir Mi?
Bir robots.txt dosyanız yoksa, arama motorları yine de web sitenizi tarar ve dizine ekler. Ancak, arama motorlarına hangi sayfaları veya klasörleri taramamaları gerektiğini söyleyemezsiniz. Yani arama motorları sizin istemediğiniz dosyaları ve sayfaları dizine ekleyebilir. Bu da size güvenlik açısından bir problem olarak dönüş yapabilir.
Web siteniz büyüdükçe ve çok fazla içeriğe sahip olduğunuzda, web sitenizin nasıl taranacağı ve dizine eklendiği konusunda kontrol sahibi olmak isteyebilirsiniz. Bu, bir tarama oturumu sırasında arama motorlarının belirli sayıda sayfayı taradıkları anlamına gelir. Sitenizdeki tüm sayfaları taramayı bitirmezlerse, bir sonraki oturumda geri gelirler ve taramaya devam ederler. Bu, web sitenizin indeksleme oranını yavaşlatabilir.
Arama botlarının sitenizin yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi gereksiz sayfaları taramasına izin vermeyerek bunu düzeltebilirsiniz.
Gereksiz sayfalara izin vermeyerek, tarama kotanızı aşmayabilirsiniz. Bu, arama motorlarının sitenizdeki daha fazla sayfayı taramasına ve bunları olabildiğince hızlı bir şekilde dizine eklemesine yardımcı olur. Robots.txt dosyasını kullanmanın bir başka iyi nedeni, arama motorlarının web sitenizdeki bir gönderiyi veya sayfayı dizine eklemesini durdurmasıdır.
İdeal Robots.txt Dosyası Nasıl Olmalıdır?
Çoğu web sitesi neredeyse aynı robots.txt dosyasını kullanır. Robots.txt dosyasının içeriği belli ihtiyaçlara göre değişim gösterebilir.
User-agent: *
Disallow: /wp-admin/
Sitemap: https://www.efehanyildiz.com/post-sitemap.xml
Sitemap: https://www.efehanyildiz.com/page-sitemap.xml
Bu robots.txt dosyası, tüm botların tüm içeriği dizine eklemesine izin verir ve onlara web sitesinin sayfa ve içerik site haritalarına bir bağlantı sağlar.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Bu, arama robotlarına tüm resimlerinizi ve dosyalarınızı dizine eklemesini söyler. Arama robotlarının Eklenti dosyalarınızı, yönetici alanınızı, readme.html dosyasını ve bağlı kuruluş bağlantılarınızı indekslemesine izin vermez.
Robots.txt dosyasına site haritaları ekleyerek, Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.
Artık ideal bir robots.txt dosyasının neye benzediğini bildiğinize göre, WordPress’te robots.txt dosyasını nasıl oluşturabileceğinize bir göz atalım.
WordPress’te Robots.txt Dosyası Nasıl Oluşturulur?
WordPress’te robots.txt dosyası oluşturmanın iki yolu vardır. İki yol da doğru yoldur. Size en uygunu hangisi ise onu yapmalısınız.
ALL in One SEO Pack Kullanarak Robots.txt Dosyasını Düzenleme:
AIOSEO olarak da bilinen All in One SEO , 2 milyondan fazla web sitesi tarafından kullanılan piyasadaki en iyi WordPress SEO eklentisidir. Kullanımı kolay, en detaylı SEO eklentisidir. Bir robots.txt dosya oluşturucu ile birlikte gelir.
Not: AIOSEO’nun ücretsiz sürümü de mevcuttur ve bu özelliğe sahiptir.
Eklenti yüklendikten ve etkinleştirildikten sonra, robots.txt dosyanızı doğrudan WordPress yönetici alanınızdan oluşturabilirsiniz.
Robots.txt dosyanızı düzenlemek için ALL in One SEO → Araçlar’a gidin.
Öncelikle, ‘Özel Robots.txt’yi Etkinleştir’ düğmesini maviye çevirerek düzenleme seçeneğini açmanız gerekir. Bu özellik açıkken, WordPress’te özel bir robots.txt dosyası oluşturabilirsiniz.
ALL in One SEO, mevcut robots.txt dosyanızı ekranınızın altındaki ‘Robots.txt Önizlemesi’ bölümünde gösterir. Bu sürüm, WordPress tarafından eklenen varsayılan kuralları gösterecektir. Bu varsayılan kurallar, arama motorlarına temel WordPress dosyalarınızı taramamalarını söyler, botların tüm içeriği dizine eklemesine izin verir ve onlara sitenizin XML site haritalarına bir bağlantı sağlar. Artık, SEO için robots.txt dosyanızı geliştirmek için kendi özel kurallarınızı ekleyebilirsiniz. Bir kural eklemek için ‘User Agent’ alanına * sembolünü girebilirsiniz. * sembolünü girmek tüm kullanıcılar için geçerlidir anlamına gelmektedir. Ardından, arama motorlarının taramasına ‘İzin Ver’ veya ‘İzin Verme’ isteyip istediğinizi seçebilirsiniz. Ardından, ‘Dizin Yolu’ alanına dosya adını veya dizin yolunu girin.
Kural, robots.txt dosyanıza otomatik olarak uygulanacaktır. Başka bir kural eklemek için ‘Kural Ekle’ düğmesine tıklayın. İdeal robots.txt biçimini oluşturana kadar kural eklemenizi öneririm.
Özel kurallarınız yukarıdaki gibi görünecek.
Robots.txt dosyasını FTP Kullanarak Manuel Olarak Düzenleme
Bu yöntem için, robots.txt dosyasını düzenlemek için bir FTP istemcisi kullanmanız gerekecektir. Bir FTP istemcisi kullanarak (Önerim Filezilla’dır) WordPress barındırma hesabınıza bağlanmanız yeterlidir. İçeri girdikten sonra, robots.txt dosyasını web sitenizin kök klasöründe görebileceksiniz. (Göremezseniz siz oluşturmalısınız)
Eğer kök dizinde yoksa:
Robots.txt düz bir metin dosyasıdır; bu, onu bilgisayarınıza indirebileceğiniz ve Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyicisini kullanarak düzenleyebileceğiniz anlamına gelir. Değişikliklerinizi kaydettikten sonra, web sitenizin kök klasörüne geri yükleyebilirsiniz.
Robots.txt Dosyanız Nasıl Test Edilir?
Robots.txt dosyanızı oluşturduktan sonra, bir robots.txt test aracı kullanarak test etmek her zaman iyi bir fikirdir. Pek çok robots.txt test aracı var, ancak Google Arama Konsolu içindeki aracı kullanmanızı öneririz. Öncelikle, web sitenizin Google Arama Konsolu ile bağlantılı olması gerekir. Ardından, Google Search Console Robots.txt Test Aracı’nı kullanabilirsiniz.
