Bir web sitesinin, arama motorları tek bir sayfaya bile bakmadan önce onlarla nasıl iletişim kurduğunu hiç merak ettiniz mi? O ilk iletişim çoğu zaman robots.txt dosyası üzerinden gerçekleşir. Küçük ama güçlü olan bu dosya, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini ve hangilerini tarayamayacaklarını söyler. Onu yanlış ayarlamak, en önemli sayfalarınızdan bazılarının Google tarafından hiç görülmemesine neden olabilir. Bu yüzden robots.txt, teknik SEO’nun temel yapı taşlarından biri olarak kabul edilir.

Robots.txt Dosyası Gerçekte Ne Yapar?

Robots.txt, web sitenizin kök dizininde bulunan düz metin bir dosyadır. Googlebot dahil olmak üzere arama motoru tarayıcıları, sitenizi ziyaret ettiklerinde ilk olarak bu dosyayı kontrol eder. Dosyanın içinde, hangi botların hangi dizinlere erişebileceğini ve hangilerinin erişemeyeceğini belirtebilirsiniz. Örneğin, bunu tarayıcıları test ortamınızdan, yönetim panellerinizden veya yinelenen içerik içeren sayfalardan uzak tutmak için kullanabilirsiniz.

Ancak akılda tutulması gereken önemli bir ayrım vardır: robots.txt bir sayfayı Google’dan gizlemez, yalnızca taranmasını engeller. Başka bir web sitesi robots.txt dosyanızda engellenmiş bir sayfaya bağlantı veriyorsa, o sayfa yine de Google’ın dizininde yer alabilir. Arama sonuçlarından gerçekten uzak tutulmasını istediğiniz içerikler için yalnızca Disallow kuralı değil, noindex etiketi veya parola koruması gerekir.

Robots.txt Dosyası Nasıl Oluşturulur?

Teknik açıdan bakıldığında robots.txt dosyası oluşturmak oldukça basittir. Düz bir metin düzenleyici açar, doğru sözdizimini uygular ve dosyayı kök alan adınıza yüklersiniz. Temel yapı şu şekilde çalışır: User-agent, kuralın hangi bot için geçerli olduğunu belirtir; Disallow belirli bir dizini engeller; Allow belirli bir yolu açıkça izinli hale getirir; Sitemap satırı ise tarayıcıları doğrudan XML site haritanıza yönlendirir.

Temel bir robots.txt dosyası şöyle görünür:

User-agent: *

Disallow: /admin/

Disallow: /test/

Allow: /blog/

Sitemap: https://yourdomain.com/sitemap.xml

User-agent: * satırı, kuralın tüm botlar için geçerli olduğu anlamına gelir. Belirli bir tarayıcıyı hedeflemek istiyorsanız, yıldız işaretini adıyla değiştirebilirsiniz; örneğin User-agent: Googlebot. Dosyanız hazır olduğunda, onu simply yourdomain.com/robots.txt adresine yükleyin. Ayrıca Google Search Console içinde doğrudan test edip doğrulayabilirsiniz.

Hangi Sayfaları Robots.txt ile Engellemelisiniz?

Tarayıcıların sitenizin her köşesine girmesine izin vermeniz gerekmez ve bazı durumlarda serbestçe girmelerine izin vermek performansınıza gerçekten zarar verebilir. Arama motoru tarama bütçesi sınırlıdır, bu yüzden botları en değerli sayfalarınıza yönlendirmek önemlidir. Aşağıdaki tablo, engellenmeye değer yaygın sayfa türlerini ve her birinin arkasındaki nedeni özetlemektedir.

Öte yandan, ana sayfanızı, blog yazılarınızı veya hizmet sayfalarınızı asla engellemeyin. Teknik SEO denetimlerinde yapılan en yaygın hatalardan biri, kritik sayfaların yanlışlıkla bir Disallow kuralına eklenmiş olduğunu bulmaktır.

Robots.txt ile Noindex Arasındaki Fark Nedir?

Bu ikisini karıştırmak en sık yapılan SEO hatalarından biridir. Robots.txt, taramayı kontrol eder; yani bir botun sayfayı hiç ziyaret edip etmeyeceğine karar verir. Noindex etiketi ise dizine eklemeyi kontrol eder; yani taranan bir sayfanın arama sonuçlarında görünüp görünmeyeceğine karar verir. Bunlar iki ayrı süreçtir. Robots.txt ile engellenmiş bir sayfa, başka bir site ona bağlantı verirse yine de Google’ın dizininde görünebilir; fark şu ki Google içeriğini okuyamaz.

Peki hangisini kullanmalısınız? Bir sayfanın ne taranmasını ne de dizine eklenmesini istiyorsanız, genellikle yalnızca noindex kullanmak daha güvenli bir yaklaşımdır. Bunun nedeni şudur: Bir sayfa taramadan engellenirse, Googlebot onu okuyamaz ve dolayısıyla noindex etiketini de göremez. Bu çelişki, sitenizde beklenmedik dizine ekleme davranışlarına yol açabilir.

Robots.txt Hataları SEO’nuzu Nasıl Zarar Verebilir?

robots.txt dosyanızdaki tek bir hata ciddi sonuçlar doğurabilir. Yanlış yazılmış tek bir Disallow satırı, tüm sitenizin taranmasını durdurabilir ve organik trafik birkaç gün içinde neredeyse sıfıra düşebilir. Bunu özellikle riskli yapan şey, bu hataların çoğu zaman aylarca fark edilmemesidir. Google Search Console’daki Kapsam ve URL Denetimi raporlarını düzenli olarak kontrol etmek, sorunları erkenden yakalamanın en etkili yollarından biridir.

Yüksek trafik alan sayfalarınızdan hiçbirinin yanlışlıkla bir Disallow listesine eklenmediğinden emin olmak için periyodik incelemeler yapmak da önemlidir. Eğer alan otoritesini artırmak için çalışıyorsanız, tarama hatalarını temizlemek bu sürecin vazgeçilmez bir parçasıdır.

Robots.txt ve Sitemap Birlikte Nasıl Çalışır?

robots.txt dosyasının içine site haritası URL’nizi eklemek, Googlebot’un site haritanızı ek bir adım olmadan bulmasını sağlar. Bu küçük ekleme, özellikle büyük veya karmaşık web sitelerinde tarama verimliliğini artırır. Yapmanız gereken tek şey, robots.txt dosyanızın alt kısmına Sitemap satırını eklemektir.

Birden fazla site haritanız varsa, her birini ayrı bir satıra yazabilirsiniz. Böylece Googlebot hem neyi taramaması gerektiğini hem de hangi sayfaların öncelik taşıdığını tek bir yerde öğrenir. Bu iki dosyanın uyum içinde çalışmasını sağlamak, sağlam teknik SEO performansının temel unsurlarından biridir.

Robots.txt Dosyanızı Nasıl Test Edebilirsiniz?

Yayına almadan önce test etmek, ileride ciddi sorunlardan kaçınmanın en basit yoludur. Google Search Console, herhangi bir URL’nin engellenip engellenmediğini veya erişilebilir olup olmadığını kontrol edebileceğiniz özel bir Robots.txt Test Aracı içerir. Ayrıca, dosyanın doğru yüklendiğini ve kuralların beklendiği gibi göründüğünü doğrulamak için yourdomain.com/robots.txt adresini doğrudan bir tarayıcıda açabilirsiniz.

Test sırasında akılda tutulması gereken bir şey: Yeni bir kural ekledikten sonra Google’ın değişikliği fark etmesi biraz zaman alır. Güncellemenin hızlıca etkili olmasını istiyorsanız, Search Console üzerinden yeniden tarama isteğinde bulunarak süreci hızlandırabilirsiniz.

Robots.txt Hakkında Sık Sorulan Sorular

robots.txt gerekli mi?

Teknik olarak hayır. Olmadığında tarayıcılar sitenizdeki her sayfayı tarar. Bununla birlikte, tarama bütçesini yönetmek ve alakasız sayfaları tarama kuyruğundan uzak tutmak için her siteye önerilir.

Engellenmiş bir sayfa yine de Google’da görünebilir mi?

Evet. Başka bir site ona bağlantı veriyorsa, Disallow kuralı olsa bile dizine eklenebilir. Arama sonuçlarından tamamen kaldırmak için noindex etiketi gerekir.

robots.txt büyük/küçük harfe duyarlı mı?

Linux tabanlı sunucularda evet. /Admin/ ve /admin/ iki farklı dizin olarak değerlendirilir, bu yüzden büyük/küçük harf kullanımı önemlidir.

Birden fazla bot için kural ekleyebilir miyim?

Evet. Her tarayıcı için ayrı User-agent blokları oluşturabilirsiniz. Örneğin, aynı dosyada Googlebot ve Bingbot için farklı kurallar belirleyebilirsiniz.

robots.txt doğrudan sıralamaları etkiler mi?

Doğrudan bir sıralama faktörü değildir. Ancak yanlış yapılandırılmış bir dosya, önemli sayfaların taranmasını engelleyebilir; bu da sıralamalarınıza dolaylı ve önemli ölçüde zarar verir.