SEO çoğunlukla içerik ve bağlantı konusu olarak konuşulur. Oysa arama motorlarının sitenizi nasıl gördüğü, büyük ölçüde hosting tarafındaki iki dosyaya ve birkaç yapılandırma ayarına bağlıdır.
Bu yazı, hosting hesabınızda arama motorlarını doğrudan ilgilendiren teknik temelleri anlatıyor.
robots.txt: Ne Yapar, Ne Yapmaz
Bu dosya, arama motoru botlarına hangi bölümleri taramamalarını söyler. Kritik nokta, ne yapmadığını anlamaktır:
| Yanlış inanış | Gerçek |
|---|---|
| Sayfayı gizler | Yalnızca taranmasını engeller |
| İndekslenmeyi önler | Dış bağlantı varsa yine indekslenebilir |
| Güvenlik sağlar | Herkese açık bir dosyadır |
| Tüm botlar uyar | Yalnızca uyumlu botlar dikkate alır |
Üçüncü satır ciddi bir hataya yol açar: gizli kalmasını istediğiniz bir dizini robots.txt'de yazmak, o dizini herkese duyurmaktır. Dosya tarayıcıdan okunabilir; "burayı taramayın" yazdığınız yol, ilgilenen herkesin ilk bakacağı yer olur.
Gerçekten korunması gereken içerik için parola koruması veya erişim kısıtı kullanın — robots.txt bir güvenlik aracı değildir.
Doğru Kullanım
Bu dosyanın asıl işlevi tarama bütçesini yönetmektir. Uygun kullanım alanları:
- Filtreleme ve sıralama adresleri. Aynı içeriğin sayısız varyantını taratmanın anlamı yoktur.
- Arama sonuç sayfaları. Sonsuz sayıda üretilebilen ve değeri olmayan adresler.
- Yönetim ve sepet sayfaları. Arama sonuçlarında yeri olmayan bölümler.
- Site haritası konumu. Dosyanın sonunda site haritanızın adresini belirtin.
sitemap.xml: Sayfalarınızın Listesi
Site haritası, arama motorlarına hangi sayfalarınızın olduğunu ve ne zaman güncellendiğini bildirir. Özellikle yeni sitelerde ve derin bağlantılı yapılarda değerlidir.
Sağlıklı bir site haritasının özellikleri:
- Yalnızca indekslenebilir sayfaları içerir. Yönlendirilen, engellenen veya hata veren adresler yer almamalıdır.
- Kanonik adresleri kullanır. Aynı sayfanın farklı varyantlarını değil, tercih edilen hâlini listeler.
- Güncel tutulur. Otomatik üretilmeli; elle güncellenen haritalar hızla eskir.
- Doğru tarih bilgisi taşır. Her sayfa için gerçek son güncelleme tarihi olmalı.
Dördüncü madde sık suistimal edilir: tüm sayfalara bugünün tarihini yazmak, arama motorlarının bu bilgiye olan güvenini azaltır. Gerçek tarihi verin.
Hosting Yapılandırmasının SEO Etkisi
Tek Adres Politikası
Siteniz farklı adreslerden aynı içeriği sunuyorsa — www'lu ve www'suz, http ve https — arama motorları bunları ayrı siteler gibi değerlendirebilir.
Çözüm, bir tanesini tercih edip diğerlerini kalıcı yönlendirme (301) ile ona göndermektir. Bu, hosting yapılandırma dosyanızda tanımlanır.
HTTPS Zorunluluğu
Güvenli bağlantı artık bir tercih değil beklentidir. SSL sertifikanız kurulu olsa bile, http adreslerinin https'e yönlendirildiğinden emin olun.
Sayfa Hızı
Sunucu yanıt süresi, arama motorlarının dikkate aldığı bir sinyaldir. Hosting tarafında yapılabilecekler: güncel PHP sürümü kullanmak, sıkıştırmayı etkinleştirmek ve tarayıcı önbelleği başlıklarını tanımlamak.
Doğru Hata Kodları
Silinen bir sayfa 404 döndürmeli, taşınan bir sayfa 301 ile yönlendirilmelidir. Silinen sayfalar için ana sayfaya yönlendirme yapmak yaygın ama yanlış bir alışkanlıktır — arama motorlarına kafa karıştırıcı sinyal gönderir.
Bakım Modu
Site geçici olarak kapalıysa 503 kodu döndürün. 200 veya 404 döndüren bir bakım sayfası, sayfalarınızın indeksten düşmesine yol açabilir.
Sık Yapılan Hatalar
- Test ortamının indekslenmesi. Geliştirme kopyanız açık ve engellenmemişse arama sonuçlarında görünür — üstelik içerik tekrarı üretir.
- Yayına alırken engeli kaldırmayı unutmak. Geliştirme sırasında konan tarama engeli, canlıya geçişte kaldırılmazsa site hiç indekslenmez.
- Site haritasında hatalı adresler. 404 veya yönlendirme dönen adresler haritanın güvenilirliğini düşürür.
- Yönlendirme zincirleri. Bir adresin birkaç yönlendirmeden geçmesi hem yavaşlatır hem sinyal kaybettirir.
İkinci madde, yeni yayınlanan sitelerde "neden hiç görünmüyoruz" sorusunun en yaygın cevabıdır. Yayına aldıktan sonra ilk kontrol edilecek şeylerden biri budur.
Yayın Sonrası Kontrol Listesi
- robots.txt erişilebilir mi ve genel bir tarama engeli içermiyor mu?
- Site haritası erişilebilir mi ve doğru adresleri listeliyor mu?
- www ve http varyantları tek adrese yönleniyor mu?
- Silinen sayfalar 404 döndürüyor mu?
- Sunucu yanıt süresi makul mü?
- Arama motoru araçlarında site doğrulandı mı?
Bu kontrolleri her büyük değişiklikten sonra tekrarlayın. Site taşıma, tema değişimi ve sunucu yükseltmesi, bu ayarların sessizce bozulduğu anlardır. Yeni bir hosting hesabına geçişte listeyi baştan çalıştırmak iyi bir alışkanlıktır.
Sonuç
Arama motoru performansının teknik zemini hosting tarafında kurulur. İki dosyanın rolünü karıştırmayın: robots.txt tarama yönetimi içindir, gizlilik aracı değildir — orada yazdığınız yol herkese duyurulur. Site haritanız yalnızca indekslenebilir ve kanonik adresleri içermeli, otomatik üretilmelidir. Yapılandırma tarafında ise tek adres politikası, HTTPS yönlendirmesi ve doğru hata kodları belirleyicidir. Ve yayına aldıktan sonra ilk kontrolü yapın: geliştirme sırasında konan tarama engeli hâlâ duruyor olabilir.
Sıkça Sorulan Sorular (SSS)
robots.txt ile sayfamı gizleyebilir miyim?
Hayır. Bu dosya yalnızca taramayı engeller; başka bir siteden bağlantı verilmişse sayfa yine indekslenebilir. Ayrıca dosyanın kendisi herkese açıktır — gizlemek istediğiniz yolu orada yazmak onu duyurmak olur. Gerçek koruma için parola veya erişim kısıtı kullanın.
Site haritası şart mı?
Küçük ve iyi bağlantılanmış sitelerde zorunlu değildir ama faydalıdır. Yeni siteler, çok sayfalı yapılar ve derin bağlantılı bölümler için belirgin fayda sağlar. Önemli olan güncel tutulması ve yalnızca indekslenebilir adresleri içermesidir.
Sitem yayında ama arama sonuçlarında yok, neden?
En yaygın neden, geliştirme sırasında konan tarama engelinin kaldırılmamış olmasıdır. robots.txt dosyanızı ve sayfa düzeyindeki indeksleme etiketlerini kontrol edin. Ayrıca yeni sitelerde indekslenmenin zaman aldığını unutmayın.
Bakım sırasında hangi kodu döndürmeliyim?
503. Bu kod, durumun geçici olduğunu bildirir ve arama motorları daha sonra tekrar dener. 200 veya 404 döndüren bir bakım sayfası, sayfalarınızın indeksten düşmesine yol açabilir.
