Meta robots tag merupakan salah satu alat yang sering kali terlewatkan, namun sangat penting dalam pengelolaan situs web. Tag ini memberikan instruksi langsung kepada mesin pencari tentang bagaimana halaman tertentu di situs Anda harus diperlakukan selama proses perayapan dan pengindeksan.
Memahami dan menggunakan robots tag meta dengan benar dapat memberikan kendali yang lebih besar atas bagaimana konten Anda muncul di hasil pencarian dan memastikan bahwa hanya halaman yang relevan yang diindeks oleh mesin pencari.
Di artikel ini, kami akan membahas konsep dasar meta robots tag, cara kerjanya, dan bagaimana Anda dapat memanfaatkannya untuk mengelola SEO situs web secara efektif. Kami juga akan menjelaskan berbagai perintah yang dapat digunakan dalam meta robots dan bagaimana masing-masing dapat mempengaruhi visibilitas dan peringkat halaman.
Apa Itu Meta Robots Tag?
Meta Robots Tag adalah tag HTML yang ditempatkan di bagian <head> halaman web Anda. Tag ini berfungsi sebagai directive untuk mesin pencari, memberi tahu mereka apakah harus mengindeks halaman tersebut atau mengikuti tautan di dalamnya.
Ada beberapa perintah yang dapat digunakan dalam elemen SEO ini, termasuk noindex untuk mencegah pengindeksan halaman dan nofollow untuk mencegah mesin pencari mengikuti tautan di halaman tersebut.
Meta Robots Tag adalah elemen penting dalam SEO yang memainkan peran krusial dalam mengelola perayapan dan pengindeksan situs web oleh mesin pencari. Ini adalah bagian dari tag HTML yang memberi instruksi kepada mesin pencari tentang bagaimana harus menangani halaman tertentu di situs Anda.
Baca Juga: 5 Cara Kerja dan Manfaat Menggunakan HTML Sitemap SEO
Fungsi dan Jenis Meta Robots Tag
Berikut ini adalah berbagai fungsi dan jenis Meta Robots Tag yang dapat Anda gunakan untuk mengatur bagaimana mesin pencari berinteraksi dengan konten Anda.
1. Index dan Noindex
- Index: Perintah index dalam Meta Robots Tag memberi tahu mesin pencari untuk mengindeks halaman tersebut. Ini adalah pengaturan default dan memungkinkan halaman Anda muncul dalam hasil pencarian. Jika Anda tidak menambahkan tag apapun atau menggunakan index, halaman Anda akan terindeks oleh mesin pencari seperti Google.
- Noindex: Perintah noindex menginstruksikan mesin pencari untuk tidak mengindeks halaman tersebut. Halaman yang memiliki tag noindex tidak akan muncul di hasil pencarian, yang berguna untuk konten yang tidak relevan atau halaman yang Anda tidak ingin tampil di hasil pencarian. Contoh tag HTML untuk ini adalah <meta name=”robots” content=”noindex”>.
2. Follow dan Nofollow
- Follow: Perintah follow memberitahu mesin pencari untuk mengikuti tautan yang terdapat pada halaman tersebut. Ini adalah pengaturan default, dan tautan di halaman akan diteruskan nilai link juice ke halaman tujuan, membantu dalam distribusi link authority.
- Nofollow: Perintah nofollow menginstruksikan mesin pencari untuk tidak mengikuti tautan yang ada di halaman. Ini membantu mencegah link juice diteruskan ke halaman tujuan dan dapat digunakan untuk menghindari tautan spam atau untuk mengatur distribusi link authority. Contoh tag HTML untuk ini adalah <meta name=”robots” content=”nofollow”>.
3. Noarchive
Perintah noarchive memberitahu mesin pencari untuk tidak menyimpan salinan cache dari halaman tersebut. Ini berarti bahwa pengunjung tidak akan dapat melihat versi yang di-cache dari halaman ketika mengklik “cache” di hasil pencarian. Ini berguna untuk halaman yang sering diperbarui atau untuk konten yang tidak ingin Anda simpan dalam bentuk cache.
4. Nosnippet
Perintah nosnippet mencegah mesin pencari menampilkan cuplikan teks atau video dari halaman di hasil pencarian. Ini berarti bahwa hanya judul dan URL halaman yang akan ditampilkan, tanpa pratinjau konten. Ini berguna jika Anda tidak ingin konten tertentu terlihat secara langsung di hasil pencarian.
5. Noodp
Perintah noodp memberitahu mesin pencari untuk tidak menggunakan deskripsi dari Open Directory Project (DMOZ) untuk menampilkan cuplikan halaman dalam hasil pencarian. Ini berguna jika deskripsi yang ada di DMOZ tidak sesuai dengan konten halaman atau jika Anda lebih memilih deskripsi yang Anda buat sendiri.
Perbedaan antara Meta Robots Tag dan Robots.txt
Berikut ini adalah perbedaan mendasar antara Meta Robots dan robots.txt serta bagaimana masing-masing dapat digunakan secara efektif dalam strategi SEO.
Fungsi dan Penggunaan
- Meta Robots Tag: Meta Robot adalah tag HTML yang ditempatkan di bagian <head> halaman web individu. Tag ini memberikan instruksi langsung kepada mesin pencari tentang bagaimana halaman tersebut harus diperlakukan dalam hal pengindeksan dan perayapan. Perintah seperti index, noindex, follow, dan nofollow mengatur apakah halaman harus diindeks atau tautan di halaman harus diikuti. Meta Robots berguna untuk kontrol per halaman yang lebih detail, memungkinkan Anda untuk mengatur bagaimana setiap halaman individual diperlakukan.
- Robots.txt: Robots.txt adalah file konfigurasi yang ditempatkan di direktori root situs web Anda. File ini berisi instruksi global untuk mesin pencari tentang bagian mana dari situs Anda yang boleh atau tidak boleh dipindai. Dengan menggunakan direktif seperti Disallow dan Allow, Anda dapat mengontrol akses mesin pencari ke seluruh situs atau ke direktori tertentu. Robots.txt ideal untuk mengelola perayapan di tingkat situs secara keseluruhan dan mengatur kontrol akses untuk banyak halaman sekaligus.
Perbedaan Utama
Tingkat Kontrol
- Meta Robots Tag menawarkan kontrol yang lebih terperinci dan spesifik pada tingkat halaman. Anda dapat mengatur setiap halaman secara individual menggunakan tag ini untuk menentukan apakah halaman tersebut harus diindeks atau tautan di dalamnya harus diikuti.
- Robots.txt memberikan kontrol yang lebih umum dan luas pada tingkat direktori atau situs. Ini lebih cocok untuk pengaturan yang berlaku untuk banyak halaman atau seluruh situs sekaligus.
Pengaruh pada Pengindeksan dan Perayapan
- Meta Robots mempengaruhi pengindeksan dan perayapan halaman spesifik. Misalnya, noindex akan mencegah halaman dari hasil pencarian, sementara nofollow akan mencegah tautan di halaman dari diikuti.
- Robots.txt mengatur perayapan di tingkat direktori atau situs dan tidak secara langsung mengatur pengindeksan. Mesin pencari masih bisa mengindeks halaman yang terdaftar dalam robots.txt, tetapi tidak akan memindai konten yang dilarang.
Kapan Menggunakan Masing-Masing
- Meta Robots Tag: Gunakan Meta Robots ketika Anda memerlukan kontrol spesifik pada halaman tertentu. Misalnya, jika Anda memiliki halaman dengan konten duplikat yang tidak ingin diindeks atau halaman dengan tautan yang tidak ingin diikuti, Meta Robots Tag adalah pilihan yang tepat.
- Robots.txt: Gunakan robots.txt untuk mengelola perayapan secara umum dan untuk mencegah mesin pencari mengakses direktori atau bagian tertentu dari situs Anda. Ini berguna untuk mencegah perayapan pada area yang tidak relevan atau yang dapat membebani server.
Cara Mengatur Meta Robots Tag di Situs Web
Berikut adalah panduan langkah demi langkah untuk menambahkan dan mengatur Meta Robots Tag di situs web Anda, baik melalui kode HTML atau dengan menggunakan CMS seperti WordPress.
1. Mengatur Meta Robots Tag di HTML
Jika Anda mengelola situs web dengan HTML langsung, Anda dapat menambahkan Meta Robots Tag ke bagian <head> dari halaman HTML Anda. Berikut adalah langkah-langkahnya:
- Buka File HTML:
Akses file HTML halaman yang ingin Anda atur menggunakan editor HTML.
- Tambahkan Tag Meta Robots:
Tambahkan tag berikut di dalam elemen <head> dari file HTML:
<meta name=”robots” content=”noindex, nofollow”>
Dalam contoh ini, noindex mencegah halaman diindeks oleh mesin pencari, dan nofollow mencegah mesin pencari mengikuti tautan di halaman tersebut. Anda dapat menyesuaikan nilai content sesuai dengan kebutuhan, seperti index, follow, noarchive, atau nosnippet.
- Simpan Perubahan:
Simpan file HTML dan unggah kembali ke server jika diperlukan.
2. Mengatur Meta Robots Tag di WordPress
Jika situs Anda dibangun menggunakan WordPress, Anda dapat mengatur Meta Robots dengan lebih mudah menggunakan plugin SEO atau melalui pengaturan tema. Berikut adalah dua metode:
Metode 1: Menggunakan Plugin SEO
Instal dan Aktifkan Plugin SEO:
- Masuk ke dasbor WordPress Anda dan navigasikan ke “Plugins” > “Add New”.
- Cari plugin SEO seperti Yoast SEO, All in One SEO Pack, atau Rank Math, lalu instal dan aktifkan.
Konfigurasi Meta Robots Tag:
- Setelah plugin diaktifkan, pergi ke halaman atau pos yang ingin Anda atur.
- Di bagian bawah editor post atau halaman, plugin SEO akan menyediakan opsi untuk mengatur Meta Robots.
- Anda dapat memilih opsi seperti noindex, nofollow, noarchive, dll., sesuai kebutuhan.
Simpan Perubahan:
Setelah mengatur Meta Robots Tag, klik “Update” untuk menyimpan perubahan pada halaman atau pos.
Metode 2: Mengedit Template Header
Akses Editor Tema:
Masuk ke dasbor WordPress dan navigasikan ke “Appearance” > “Theme Editor”.
Edit File header.php:
- Cari file header.php dalam daftar file tema dan klik untuk mengedit.
- Tambahkan kode berikut di dalam elemen <head> untuk mengatur Meta Robots global:
<meta name=”robots” content=”noindex, nofollow”>
Pastikan untuk menyesuaikan tag sesuai kebutuhan spesifik halaman atau jenis konten.
Simpan Perubahan:
Klik “Update File” untuk menyimpan perubahan.
3. Contoh Kode Meta Robots Tag
Berikut adalah beberapa contoh kode Meta Robots Tag yang umum digunakan:
Untuk mengizinkan pengindeksan dan mengikuti tautan:
<meta name=”robots” content=”index, follow”>
Untuk mencegah pengindeksan tetapi mengikuti tautan:
<meta name=”robots” content=”noindex, follow”>
Untuk mencegah pengindeksan dan mengikuti tautan:
<meta name=”robots” content=”noindex, nofollow”>
Untuk mencegah mesin pencari menyimpan salinan cache:
<meta name=”robots” content=”noarchive”>
Untuk mencegah mesin pencari menampilkan cuplikan halaman:
<meta name=”robots” content=”nosnippet”>
Mengatur Meta Robots di situs web Anda adalah langkah penting untuk mengontrol bagaimana mesin pencari berinteraksi dengan konten Anda. Dengan menggunakan kode HTML langsung atau memanfaatkan CMS seperti WordPress dan plugin SEO, Anda dapat dengan mudah mengatur bagaimana halaman diindeks dan dirayapi.
Memahami cara mengatur Meta Robots Tag akan membantu Anda mengelola SEO dengan lebih efektif, memastikan bahwa konten Anda ditampilkan sesuai dengan strategi optimasi yang diinginkan. Sekian artikel dari The Daily Martech kali ini semoga bermanfaat dan jangan lupa untuk membaca artikel tentang SEO kami lainnya.