Spider adalah tool yang bertugas untuk menggali informasi dari blog anda. Spider-lah yang menentukan relevansi dari blog anda dan memutuskan dimana blog anda akan tampil di Search Engine Result Page (SERP). Oleh sebab itu, dengan belajar bagaimana mengontrol arah spider, anda bisa berharap mengalami peningkatan ranking di search engine. Anda mungkin berpikir bahwa mengontrol search engine spider adalah suatu hal yang mustahil, tapi sebenarnya hal itu sangatlah mudah yakni dengan memanfaatkan sebuah file bernama robots.txt

Dengan file robots.txt anda bisa mengarahkan spider untuk menuju lokasi-lokasi halaman yang paling penting dan mencegahnya membuang-buang waktu dengan halaman-halaman yang kurang penting seperti misalnya About Us atau Privacy Policy sebab halaman-halaman tersebut tidak berpengaruh banyak untuk meningkatkan ranking search engine. Aspek positif lain dari pemakaian robots.txt adalah untuk mencegah spider meng-index halaman kembar (duplicate pages). Hal ini cukup penting mengingat duplicate content dapat menurunkan ranking search engine anda. Sehingga saat anda melakukan perubahan terhadap website anda atau bekerja di area yang belum sepenuhnya selesai, anda dapat menginstruksikan spider untuk menghindari area tersebut sampai selesai sepenuhnya dan siap untuk di-crawl.

Membuat file Robots.txt

Anda bisa gunakan text-editor seperti Notepad atau Textpad. Sebagai contoh jika anda menghendaki spider untuk tidak meng-index folder archives dari blog anda, isikan baris berikut ini di file robots.txt :

User-agent: * Disallow: /archives/

User-agent untuk mendefinisikan search engine spider mana yang ingin di-block. Dengan mengisikan asterisk (*), anda menginstruksikan semua search engine untuk menghindari halaman tertentu. Anda pun dapat menentukan search engine spider secara spesifik dengan mengisikan kode berikut:
- Google : Googlebot
- Yahoo : Slurp
- Microsoft : msnbot
- Ask : Teoma

Contoh lain, anda menghendaki semua spider untuk menghindari sebuah folder, namun mengijinkan Google AdWords bot mengunjungi folder tersebut:

User-agent: * Disallow: /folder/
User-agent: Mediapartners-Google Allow: /folder/

Anda juga bisa gunakan robots.txt untuk mencegah pengindexan terhadap dynamic URL:

User-agent: * Disallow: /*&

Sebagai contoh, anda mempunyai dynamic URL berikut:
/nokia/detail.php?id=PRODUK&SRCH=5800
/nokia/detail.php?id=PRODUK&vr=1
/nokia/detail.php?id=PRODUK

Maka robots.txt akan menginstruksikan spider untuk meng-index contoh yang nomer 3 karena dia akan mencegah URL yang dimulai dengan slash (/) dan mengandung simbol “&”. Anda dapat gunakan cara yang sama untuk mem-block URL yang mengandung question-mark (?)

User-agent: * Disallow: /*?

Atau anda dapat mem-block semua directory yang mengandung sebuah kata spesifik di dalam URL. Sebagai contoh:

User-agent: * Disallow: /3G*/

Dengan command tersebut, semua halaman yang memiliki URL yang mengandung kata “3G” tidak akan di-index oleh spider. Namun, anda juga bisa membuat pengecualian untuk beberapa halaman yang mengandung kata “3G” seperti berikut:

User-agent: * Disallow: /3G*/ Allow: /hp/nokia/3G/details.html

Artikel yang berhubungan:

1. Cara Meningkatkan Pagerank
   Hari ini saya mendapat surprise yang luar biasa… Blog infogaptek.com ini telah mendapatkan hadiah berupa Pagerank dari mbah Google Tidak tanggung-tanggung setelah 3 bulan (lebih...
2. Tips Meningkatkan Traffic Blog Anda
   Pada waktu saya baca pertama kali kirain bagaimana.. ternyata system nya begini..Just try it .. Ga ada Ruginya asal sama-sama jujur Aja ga akan Merusak...
3. Learn SEO – Basic Information
   Search engine optimization (SEO) is the process of improving the volume and quality of traffic to a web site from search engines via “natural” search...
4. Mengenal Internet (lanjutan)
   …lanjutan dari artikel Mengenal Internet Internet browser (program penjelajah web) yang paling banyak digunakan saat ini adalah Firefox. Untuk mendapatkannya anda bisa klik icon berikut...
5. Cara Dahsyat Meningkatkan Traffic Blog + Dapat Uang!
   Meningkatkan traffic blog atau website dengan cara tukaran link mungkin sudah umum dilakukan. Tapi kalau tujuan anda adalah meningkatkan traffic, mungkin cara itu kurang tepat....

Jika anda merasa artikel ini bermanfaat, silakan dukung blog ini >>