# robots.txt dosyası your-business-directory.com için - Güncelleme
# Bu dosya, uyumlu botları yönlendirir. Kötü niyetli botlar bu kuralları göz ardı edebilir.

# Tüm meşru Google tarayıcılarına (Googlebot ve AdSense botları dahil) izin ver
User-agent: Googlebot
# Disallow: /wp-admin/
Allow: /

User-agent: Mediapartners-Google
Allow: / # AdSense reklam alaka düzeyi ve yerleşimi için hayati öneme sahiptir [13, 15]

User-agent: Google-Display-Ads-Bot
Allow: / # AdSense reklam alaka düzeyi ve yerleşimi için hayati öneme sahiptir [15]

# Yandex botuna izin ver (Türkiye'de önemli pazar payı)
User-agent: YandexBot
# Disallow: /wp-admin/
Allow: /

# Bing botuna izin ver (önemli küresel arama motoru)
User-agent: Bingbot
# Disallow: /wp-admin/
Allow: /

# Diğer tüm botları varsayılan olarak engelle (bilinmeyen, genel ve potansiyel ticari kazıyıcılar dahil)
# Bu genel bir yönergedir ve kötü niyetli botlar tarafından göz ardı edilecektir.
User-agent: *
Disallow: / # Diğer botlar için varsayılan olarak her şeyi engelle
#Disallow: /wp-admin/ # Tüm botlar için yönetici alanını engelle [28, 46]
#Disallow: /wp-includes/ # WordPress çekirdek dosyalarını engelle
#Disallow: /wp-content/plugins/ # Eklenti dizinlerini engelle
#Disallow: /wp-content/themes/ # Tema dizinlerini engelle
#Disallow: /tag/ # Etiket sayfalarını engelle (genellikle SEO için düşük değerlidir) [46]
#Disallow: /author/ # Yazar arşiv sayfalarını engelle [46]
Disallow: /*?* # Yinelenen içerik sorunlarını önlemek için sorgu parametreli URL'leri engelle [27, 29]
Disallow: /*.json$ # Genel tarama için tasarlanmamış JSON dosyalarını engelle
Disallow: /*.xml$ # XML dosyalarını engelle (site haritaları hariç)
Disallow: /*.css$ # CSS dosyalarını engelle (işleme için gerekliyse izin verilebilir, ancak genellikle dizine ekleme için değil)
Disallow: /*.js$ # JavaScript dosyalarını engelle (işleme için gerekliyse izin verilebilir, ancak genellikle dizine ekleme için değil)
#Disallow: /search/ # Dahili arama sonuç sayfalarını engelle [25, 46]
#Disallow: /private/ # Örnek: Belirli bir özel dizini engelle [27]
#Disallow: /temp/ # Örnek: Geçici dizinleri engelle
#Disallow: /test/ # Örnek: Test dizinlerini engelle

# Engellenecek belirli ticari/kötü niyetli kullanıcı-aracıları (örnek, günlüklerden gerektiği gibi genişletin)
# Bu, onların uyumluluğuna bağlıdır, ancak bazı trafiği azaltabilir [34]
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: Facebot
Disallow: /

User-agent: BLEXBot
Disallow: /
# Arama motorlarının içeriğinizi keşfetmesi için site haritalarınızı ekleyin [23, 25, 27]
#Sitemap: https://www.firmarehberi.tv.tr    /     sitemaps  /  sitemap-index.xml   # şimdilik kaldırdım