Webmastır Teknik Rehber (Webmaster Technical guidelines)

Webmastırlar olarak sitenin örümcek ya da arama robotları (Webbots) kolayca taranması ve arama motorunda indekslenebilmesi için aşağıdaki teknik ayrıntılara dikkat etmelisiniz.
* Lynx gibi bir metin tarayıcıyla sitenizi test edin. Neden Lynx derseniz: arama motoru robotları sitenizi Lynx’in gördüğü şekilde görürler. Lynx UNIX ve LINUX altındaki standart internet tarayıcının adıdır. İlk sayfada flash koyduğunuzda arama motoru robotu geldiği gibi gider. Ne kadar güzel olursa olsun Flash içindeki linkler arama robotlarınca hiç sevilmez. (Sanattan anlamazlar demiştik bknz ). JavaScript, çerezler (cookies), session ID, frame, DHTML, ve Flash hepsi arama robotlarının sevmediği şeylerdir.
* Arama robotlarının sitenizi tararken session ID ile taramalarını engelleyin. Örneğin, Moodle kullanıyorsanız Moodle’ı Google’a açık edin ve Konuklar için Otomatik Giriş seçeneği koyun. Yoksa sayfalarınız Session ID ile birlikte indekslenir. Bu da pek istenmeyen birşeydir. Zira session ID kullanıcı ID için geçerlidir. Aramadan gelen kullanıcı sitenize farklı Session ID ile geleceğinden bu tür bağlantılar kırık link olarak telakki edilir.
* Web sunucunuzun If-Modified-Since HTTP başlığına sahip olduğundan emin olun. Bu özellikle web sunucunuzun Google’a ya da arama motoruna önceki taramaya göre değişip değişmediğini bildirir. Bu da size bant genişliği kazandırır.
* robots.txt dosyasının sunucunuzda olduğundan emin olun ve dikkat edin. Bir olay: Google sitemdeki yüzlerce sayfayı indeksledikten robots.txt içine dinamik içeriği tarama yönergesi koymuştum. Birkaç gün içinde site:www.alanadım.com ile tarama yaptığımda bu yüzlerce indekslenen sayfanın kalktığını gördüm. Bunları geri getirmek epey zaman aldı.    * http://www.robotstxt.org/wc/faq.html sayfasını ziyaret ederek sitenizi ziyaret eden robotlara nasıl talimat vereceğinizi öğrenin. ‘Google webmaster’ araçları ile robots.txt dosyanızın nasıl çalıştığını test edebilirsiniz..
* Firmanız ya da siz bir içerik yönetimi sistemi (content management system) almadan önce, içeriğinin arama motorlarınca algılandığından emin olun. Adsense kullananlara tavsiye: arama motoru dostu (seacrh engine friendly) araçlar kullanırsanız AdSense oldukça iyi (İngilizce sayfalarda mükemmel) çalışıyor. Pekçok yazılım örnek, vBulletin, wordpress bu özelliklere sahip. Permalinkleri kullanarak sayfaların statik html olarak görünmesini sağlayabilirsiniz.
* robots.txt kullanarak örneğin login sayfası gibi, ya da admin sayfası gibi sayfaların indekslenmesini önleyebilirsiniz.