Robots.txt Nedir?
Robots.txt dosyası, genellikle sitenize gelen arama mtorlarının çoğu sitenizi taramadan önce siteniniz kök dizinini tarar ve orada bulunan robots.txt dosyasındaki verileri baz alır. Robots.txt dosyasında arama motorlarının taramasını istemediğiniz konuları belirtebilir ve indexlenmesini önleyebilirsiniz. Fakat bazı kalitesiz arama motorları robots.txt dosyasına bakmaksızın direk konunuzu indexleyebilirde.
Bütün arama motorlarının sitenizi indexlemelerini istemiyorsanız robots.txt dosyanınızın şu şekilde olması gerekir:
Bütün arama motorlarının sitenizi indexlemelerini istiyorsanız robots.txt dosyanınızın şu şekilde olması gerekir:
Buna ek olarak boş bir robots.txt dosyasıda sitenizi bütün robotların indexlemesine izin verir.
Ücretsiz blog servisi veren sitelerde robots.txt dosyasının kontrolü blog sağlayıcısına aittir. Kullanıcılar robots.txt dosyasında değişiklik yapamazlar.
Sitenizin bir dizininin arama motorları tarafından indexlenmesini istemiyorsanız:
Umarım siz site kullanıcılarına robot.txt dosyası hakkında gerekli bilgileri vermişimdir. Bu konu hakkındaki yorumlarınızı istek ve şikayetlerinizi bana uluştırısanız sevinirim ...
0 Response to "Robots.txt Nedir?"
Yorum Gönder
Yorum Yazarken Lütfen Aşağılayıcı ve Argo Kelimeler Kullanmayınız.