Cara Setting Robots.txt Khusus dan Tag Header Robot Khusus

Cara Setting Robots.txt Khusus dan Tag Header Robot khusus di blog ini merupakan bagian dari optimasi on page yang sangat penting, dengan settingan yang tepat dapat mempermudah mesin pencari merayapi blog kita.

Salah satu faktor penting dalam SEO yang perlu diperhatikan adalah kemudahan akses bagi mesin pencari ke blog kita. Tapi ingat kemudahan akses pengunjung juga penting, baik visitor atau google lebih suka blog yang mudah di telusuri, untuk google atau mesin pencari lain adalah dengan memperbaiki struktur blog kita, dengan :
► Memilih template yang SEO Friendly
baca disini Cara Memilih Template yang SEO Friendly

► Pengaturan tag heading
baca disini Cara Mengatur Tag Heading dengan Benar

► Pemasangan meta tag SEO Friendly
baca disini Cara Memasang Meta Tag SEO Friendly,

► Meringankan loading blog
baca disini Cara Meringankan Loading Blog

► Pasang breadcrumb, dan masih banyak lagi lainnya.

Sedangkan untuk visitor sendiri tidak perlu desain yang terlalu wahhh yang memberatkan loading blog, cukup dengan desain yang simpel tapi mudah dinavigasi dan nyaman di lihat, itu sudah cukup.

Tips cara mengatur tag header robot khusus di blog :

1. Login ke akun blogger sobat

2. Masuk ke Setelan ► Preferensi Penelusuran

3. Kemudian pada perayap dan pengindeksan silahkan di aktifkan robots.txt khusus ► Edit ► Pilih Ya

4. Setting robots.txt blog sobat seperti di bawah ini :

User-agent: Mediapartners-Google

Disallow:

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*?showComment=
Allow: /

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.tugasku4u.com/feeds/posts/default?orderby=UPDATED

Penejelasan dari kode-kode di atas :

User-agent: Mediapartners-Google

Robot Google Adsense merayapi blog

Disallow:

Yang tidak diperbolehkan tidak ada

User-agent: Googlebot

Robot Google merayapi blog

Disallow: /search

Tidak diperbolehkan merayapi folder search dan seterusnya, seperti ..../search/label dan ... search/search?updated... dan lain-lain

Disallow: /?m=1

Tidak diperbolehkan merayapi tampilan homepage pada mobile...

Disallow: /?m=0

Tidak diperbolehkan merayapi tampilan homepage pada smartphone atau tablet...

Disallow: /*?m=1

Tidak diperbolehkan merayapi tampilan postpage pada mobile...

Disallow: /*?m=0

Tidak diperbolehkan merayapi tampilan postpage pada smartphone atau tablet...

Disallow: /*?showComment=

Tidak diperbolehkan merayapi link komentar

User-agent: *

Semua robot Search Engine / mesin pencari

Allow: /

Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://www.tugasku4u.com/feeds/posts/default?orderby=UPDATED

sitemap atau alamat feed blog kita.

Ganti tulisan berwarna biru di atas dengan alamat blog sobat.

5. Kemudian aktifkan juga Tag tajuk robot khusus ► Edit ► Pilih Ya

6. Setting seperti gambar di bawah ini :

Penejelasan mengenai fungsi-fungsi yang ada di atas :

all : Tidak ada batasan untuk mengindeks atau melayani. catatan: direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar

noindex : Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "cached" link dalam hasil pencarian

nofollow : Jangan ikuti link di halaman ini

none : Sama dengan tag noindex, nofollow.

noarchive : Tidak menunjukkan "cached" link dalam hasil pencarian

nosnippet : Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.

noodp : Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini

notranslate : Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian

noimageindex : Jangan indeks gambar di halaman ini

unavailable_after: [RFC-850 date/time] : Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format.

Settingan diatas adalah settingan yang saya rekomendasikan, Anda boleh memilih settingan Anda sendiri sesuai dengan keinginan Anda, tapi setelan di atas merupakan settingan yang bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog. Sekian tutorial dari saya dan semoga dapat membantu SEO blog sobat.

Tolong bantu saya klik Tombol Vote ini...

Share : Facebook Twitter Google+

Unknown | 9:30 AM | 9 komentar

Artikel Terkait : Cara Setting Robots.txt Khusus dan Tag Header Robot Khusus