..:: BİLGİ VADİSİ ::.. - Google Robots.txt Oluşturma

Google Robots.txt Oluşturma

Arkadaşlar Biliyorsunuz Ki robots.txt dosyası olusturdugunuz zaman google boceklerı sıtenızı daha cabuk ındexler ve google arama motoruna kayıt eder.

Bu Yazımda Sizlere Nasıl Robots.txt dosyası oluşturulduğunu anlatacam.

Saçma Sapan Sitelerdeki robots.txt dosya oluşturucusu bı işe yaramıyor.

Bu İşi Sağlama Almak İstiyorsanız kendı dosyanızı kendiniz yapacaksınız.

Öncelikle masaüstüne yeni metin belgesi olusturalım. ve açalım

1. DERS

Kod:

User-agent: *Disallow:

Bu Kod tum boceklere kayıt izni veriyor yani bu kodu kullandığınız zaman sıtenıze gelen tum bocekler tarama yapa bılecek.
Bu Kodu actıgımız metinbelgesine atalım.

2. DERS

Kod:

User-agent: GooglebotDisallow: User-agent: googlebot-imageDisallow: User-agent: googlebot-mobileDisallow: User-agent: MSNBotDisallow: User-agent: SlurpDisallow: User-agent: TeomaDisallow: User-agent: twicelerDisallow: User-agent: GigabotDisallow: User-agent: ScrubbyDisallow: User-agent: RobozillaDisallow: User-agent: NutchDisallow: User-agent: ia_archiverDisallow: User-agent: baiduspiderDisallow: User-agent: naverbotDisallow: User-agent: yetiDisallow: User-agent: yahoo-mmcrawlerDisallow: User-agent: psbotDisallow: User-agent: asteriasDisallow: User-agent: yahoo-blogs/v3.9Disallow:

Bu Kodlar Google Ve Google İle Anlaşmalı Olan Sıtelerın Boceklerını cagırıyor.

Bu Koduda 1. ders deki eklediğimiz kodun hemen ardına eklıyelım arada boşluk kalmamasına ozen gosterelım(zaten ders sonunda sızlere ornek gosterıcem.

3.DERS

Kod:

User-agent: *Disallow: /yonetim/Disallow: /deneme/Disallow: /include/ Disallow: /db/

Bu Kodlar Sitenizde Boceklerın Kayıtlara Almasını Engelledıgınız Dosya İsimleri Yer Almaktadır.

Mesela Benım Sitemin yonetici panelıni kayıtlara almasını istemiyorum ozaman (yonetım panel adı 'yonetim' olsun )

Kod:

User-agent: * Disallow: /yonetim/

Şeklinde Olucak
Dikkat Disallow: /yonetim/ yazarken dosya adının her iki tarafındada slah (/) olması Gerekiyor.
bunun anlamı hem yonetım dosyasını hemde içindeki dosyaları koruyor.

Diyelimki Siteniz Seklinde İse

Kod:

User-agent: * Disallow: forum/yonetim/

Şeklinde Olucak.

eger bırden fazla dosya korumak ıstıyorsanız.

Kod:

User-agent: * Disallow: /yonetim/ Disallow: /deneme/ Disallow: /include/ Disallow: /db/

Yukardakı Sekıldekı Gıbı Yapılmalıdır.

4. DERS

Sitemap:

Yani Burada sitemap adresımızı verıcez kı sıtemap dakı adreslerı daha hızlı kaydetsın.

Arkadaşlar Dersimizin Sonuna Geldik Umarım Birseyler paylaşa bılmısımdır.

Şimdi sizlere Bu Kodlar'ın Tamamı nasıl olmalı onu gostercem yanı ornek gostercem.

Kod:

User-agent: *Disallow:User-agent: GooglebotDisallow: User-agent: googlebot-imageDisallow: User-agent: googlebot-mobileDisallow: User-agent: MSNBotDisallow: User-agent: SlurpDisallow: User-agent: TeomaDisallow: User-agent: twicelerDisallow: User-agent: GigabotDisallow: User-agent: ScrubbyDisallow: User-agent: RobozillaDisallow: User-agent: NutchDisallow: User-agent: ia_archiverDisallow: User-agent: baiduspiderDisallow: User-agent: naverbotDisallow: User-agent: yetiDisallow: User-agent: yahoo-mmcrawlerDisallow: User-agent: psbotDisallow: User-agent: asteriasDisallow: User-agent: yahoo-blogs/v3.9Disallow: User-agent: *Disallow: /yonetim/Disallow: /deneme/Disallow: /include/ Disallow: /db/Sitemap:

Alıntıdır.