Cara Optimasi Dengan Setting Robot.txt Dan Tag Header Di Blog

ali ini ingin berbagi tips-trik berupa tehnik optimasi dengan cara setting Robot.txt dan Tag Header Robor khusus pada platform blogger. Tehnik ini merupakan bagian dari tehnik Optimasi SEO OnPage sesuai dengan format blogger terbaru, yang bertujuan untuk mempermudah proses crawling atau perayapan oleh mesin pencari, Google search engine khususnya.

Robot sering digunakan mesin pencari untuk mengkategorikan dan atau mengarsip sebuah situs/ web/blog, atau web master untuk mengkoreksi Source code. Dari beberapa artikel yang saya baca, penggunanan robot.txt ini sangat berguna untuk mendongkrak upaya-upaya SEO pada sebuah blog/website.

Robot.txt merupakan aplikasi yang sangat penting untuk sebuah website atau blog. Manfaatnya berguna untuk membuat url suatu artikel  dapat bertengger di barisan elite search engine. Namun fungsi dari Robots.txt  itu sendiri seringkali digunakan untuk membatasi atau mencegah spider atau bot search engine untuk dapat mengakses file-file tertentu pada sebuah blog/website. Atau kata-kata sederhananya, aplikasi ini memberitahu spiders atau bot, mana saja yang boleh diakses dan mana yang tidak boleh diakses.

Robot.txt adalah kumpulan perintah yang ditujukan kepada mesin pencari pada saat mulai untuk menelusuri isi dari sebuah web/blog. File robots.txt menginformasikan kepada spider mesin pencari tentang bagaimana cara berinteraksi dengan mengindeks atau tidak mengindeks konten web/blog Anda.

Gambar di bawah ini menunjukkan perbandingan kerja robot.txt pada sebuah web/blog tanpa setting robot.txt dengan web/blog yang mempergunakan setting robot.txt

Cara setting Robot.txt di blogspot :

• Login kedalam Blogger
• Pada Dasbhoard Blogger, pilih Setelan ► Preferensi Penelusuran ► Robots.txt ► Edit ► Pilih Ya.

• Salin kode berikut pada form tersebut di atas.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Sitemap: http://flaviopg.blogspot.com/feeds/posts/default?orderby=UPDATED&max-results=999

Ganti url yang berwarna merah dengan url blog anda sendiri. kemudian simpan.

Keterangan:

• Kelompok baris pertama merupakan informasi user agent milik Google menandakan bahwa blog ini adalah partner dari Google, hal ini memudahkan bagi anda yang ingin menggunakan jasa Google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
• Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search  yang menandakan semua robot mesin pencari tidak boleh mengindeks page label. Script ini berguna untuk mencegah terjadinya duplikasi artikel yang sangat tidak disukai oleh google.
• Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda, Tambahan &max-results=999 ini dimaksudkan sebagai solusi mengatasi daya tampung feed blogspot yang hanya mampu menampung 26 artikel baru. 
• Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.

Variasi lain pemasangan atau setting robot.txt ini adalah dengan mempergunakan format berikut  :

User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*
User-agent:*
Disallow: /search
Disallow: /?m=0
Disallow: /view/*
Sitemap: http://flaviopg.blogspot.com/feeds/posts/default?orderby=updated&max-results=999 

Cara setting Tag Header Khusus di blogspot :

Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
Centang sesuai gambar berikut ini :

Langkah terakhir adalah simpan hasil perubahan tersebut, sampai di sini, semoga bermanfaat. Terimakasih

Terima kasih telah membaca Artikel Cara Optimasi Dengan Setting Robot.txt Dan Tag Header Di Blog . Jika Anda ingin Copy Paste Artikel ini, Harap cantumkan Link Cara Optimasi Dengan Setting Robot.txt Dan Tag Header Di Blog sebagai sumbernya.
<a href="http://flaviopg.blogspot.com/2014/01/cara-optimasi-dengan-setting-robottxt.html">Cara Optimasi Dengan Setting Robot.txt Dan Tag Header Di Blog</a>