Mengontrol cara Google meng-crawl dan mengindeks situs Anda

Pastikan Anda memahami apa itu halaman kanonis, serta bagaimana halaman tersebut memengaruhi crawling dan pengindeksan situs. Pahami juga cara menghapus atau menangani konten duplikat di situs Anda jika diperlukan.

Pastikan bahwa setiap resource (gambar, file CSS, dan sebagainya) atau halaman yang ditujukan bagi Google untuk di-crawl dapat diakses oleh Google; yaitu tidak diblokir oleh aturan robots.txt dan dapat diakses oleh pengguna anonim. Halaman yang tidak dapat diakses tidak akan muncul dalam Laporan Cakupan Indeks, dan Alat Inspeksi URL akan menampilkannya sebagai tidak di-crawl. Resource yang diblokir hanya ditampilkan di level URL individual dalam Alat Inspeksi URL. Jika resource penting pada halaman diblokir, Google mungkin tidak dapat meng-crawl halaman Anda sebagaimana mestinya. Gunakan alat Inspeksi URL untuk merender halaman aktifnya guna memastikan apakah Google melihat halaman tersebut seperti yang diharapkan.

Gunakan aturan robots.txt untuk mencegah crawling, serta peta situs untuk mendorong crawling. Blokir crawling konten duplikat di situs Anda, atau resource tidak penting (seperti grafis kecil yang sering digunakan, misalnya ikon atau logo) yang mungkin membebani server Anda dengan permintaan. Jangan gunakan robots.txt sebagai mekanisme untuk mencegah pengindeksan; gunakan persyaratan noindex atau login sebagai gantinya. Baca selengkapnya cara memblokir akses ke konten Anda.

Peta situs

Peta situs adalah cara yang sangat penting untuk memberi tahu Google tentang halaman mana yang penting bagi situs Anda. Peta situs juga menyediakan informasi tambahan (seperti frekuensi update), serta sangat penting untuk crawling konten non-tekstual (seperti gambar atau video). Meskipun tidak akan membatasi crawling ke halaman yang tercantum di peta situs, Google akan memprioritaskan crawling halaman ini. Hal ini sangat penting terutama untuk situs yang kontennya berubah dengan cepat, atau yang halamannya kemungkinan tidak ditemukan melalui link. Penggunaan peta situs membantu Google dalam menemukan dan memprioritaskan halaman mana yang akan di-crawl di situs Anda. Baca semua hal tentang peta situs di sini.

Situs versi internasional atau multibahasa

Jika situs Anda menyertakan beberapa bahasa, atau ditargetkan kepada pengguna di lokal tertentu:

Baca situs multiregional dan multibahasa untuk mendapatkan saran efektif terkait cara mengelola situs yang kontennya telah dilokalkan untuk berbagai bahasa atau wilayah.
Gunakan hreflang untuk memberi tahu Google tentang beberapa variasi bahasa halaman di situs Anda.
Jika situs Anda menyesuaikan konten halamannya berdasarkan lokal permintaan, baca bagaimana hal ini dapat memengaruhi crawl Google pada situs Anda.
Jika situs Anda memiliki domain level teratas generik (.com, .org), bukan domain level teratas spesifik lokal (.ch, .in), Anda dapat memberi tahu Google lokasi mana yang akan ditargetkan dengan hasil penelusuran.
Memigrasikan halaman atau situs
Untuk situasi ketika Anda perlu memindahkan satu URL atau bahkan seluruh situs, ikuti panduan berikut:

Memigrasikan satu URL

Ketika memindahkan halaman secara permanen ke lokasi lain, jangan lupa untuk mengimplementasikan pengalihan 301 untuk halaman Anda. Jika perpindahan ini hanya sementara karena beberapa alasan, tampilkan 302 untuk menunjukkan kepada Google bahwa mereka harus terus meng-crawl halaman Anda.

Saat pengguna meminta halaman yang telah dihapus, Anda dapat membuat halaman 404 kustom untuk memberikan pengalaman yang lebih baik. Pastikan bahwa saat pengguna meminta halaman yang sudah tidak ada lagi, Anda menampilkan error 404 yang sebenarnya, bukan soft 404.

Memigrasikan satu situs

Ketika memigrasikan seluruh situs, implementasikan semua 301 dan perubahan peta situs yang diperlukan, lalu beri tahu Google tentang perpindahan tersebut sehingga kami dapat mulai meng-crawl situs yang baru dan meneruskan sinyal Anda ke situs baru tersebut. Pelajari cara memigrasikan situs Anda.

Praktik terbaik

Atur link agar dapat di-crawl. Google hanya dapat mengikuti link yang menggunakan tag <a> dengan atribut href. Link yang menggunakan format lain tidak akan dapat diikuti oleh crawler Google. Google tidak dapat mengikuti link <a> tanpa tag href atau tag lain yang berfungsi sebagai link karena peristiwa klik yang diatur oleh skrip.

Gunakan rel=nofollow untuk link berbayar, link yang memerlukan login, atau konten tidak tepercaya (seperti konten yang dikirim oleh pengguna) agar sinyal kualitas Anda tidak diteruskan kepada pengguna, atau agar kualitasnya yang buruk tidak direfleksikan kepada Anda.

Mengelola anggaran crawl: Jika situs Anda sangat besar (ratusan juta halaman yang berubah secara berkala, atau mungkin puluhan juta halaman yang sering berubah), Google mungkin tidak dapat meng-crawl seluruh situs sesering yang Anda inginkan sehingga perlu diarahkan ke halaman yang paling penting pada situs Anda. Mekanisme terbaik untuk melakukannya saat ini adalah dengan mencantumkan halaman yang baru saja diperbarui atau yang paling penting di peta situs, serta (mungkin untuk sementara) menyembunyikan halaman yang tidak terlalu penting menggunakan aturan robots.txt.

Situs berbasis AJAX: Jika menggunakan AJAX untuk situs Anda, baca cara Google meng-crawl halaman AJAX.

Penggunaan JavaScript: Lihat rekomendasi Google untuk JavaScript di situs.

Artikel multihalaman: Jika Anda memiliki artikel yang dibagi menjadi beberapa halaman, pastikan ada link berikutnya dan sebelumnya yang mudah dilihat oleh pengguna untuk diklik (dan merupakan link yang dapat di-crawl). Anda hanya membutuhkan hal-hal tersebut agar kelompok halaman Anda dapat di-crawl oleh Google.

Halaman dengan scrolling tanpa batas: Google dapat mengalami kesulitan untuk men-scroll halaman dengan scrolling tanpa batas; Anda harus menyediakan versi dengan penomoran halaman agar halaman dapat di-crawl. Pelajari lebih lanjut halaman dengan scrolling tanpa batas yang mudah ditelusuri.

Blokir akses ke URL yang mengubah status, seperti memposting komentar, membuat akun, menambahkan item ke keranjang, dan sebagainya. Gunakan robots.txt untuk memblokir URL tersebut.

Lihat daftar jenis file yang dapat diindeks oleh Google. Jika jenis file Anda tidak dapat di-crawl secara default, pastikan file tersebut ditautkan oleh teks yang menjelaskannya, atau (video, gambar, atau feed podcast) menyediakan metadata di peta situs.

Dalam situasi yang jarang terjadi, yaitu saat Google tampak terlalu banyak meng-crawl situs Anda, Anda dapat menurunkan kecepatan crawling untuk situs tersebut. Namun, hal ini jarang terjadi.

Jika situs masih berupa http, sebaiknya migrasikan ke https, demi keamanan pengguna dan keamanan Anda.

Membantu Google memahami situs Anda

Berikan informasi penting dalam bentuk teks, bukan grafis, di situs Anda. Meskipun Google dapat mengurai dan mengindeks banyak jenis file, teks tetap menjadi yang paling aman untuk membantu kami memahami konten halaman. Jika Anda menggunakan konten non-teks, atau ingin memberikan panduan tambahan tentang konten situs, tambahkan data terstruktur ke halaman Anda untuk membantu kami memahami konten (dan dalam beberapa kasus, menyediakan fitur penelusuran khusus seperti hasil kaya).

Jika Anda memahami HTML dan coding dasar dengan baik, Anda dapat menambahkan data terstruktur sendiri dengan mengikuti pedoman developer. Jika Anda memerlukan sedikit bantuan, gunakan pemandu Markup Data Terstruktur WYSIWYG untuk membantu membuat data terstruktur dasar.

Jika Anda tidak mengetahui cara menambahkan data terstruktur ke halaman, gunakan alat Data Highlighter untuk menyorot bagian pada halaman dan memberi tahu Google tentang hal yang direpresentasikan oleh setiap bagian (peristiwa, tanggal, harga, dan seterusnya). Cara ini cukup mudah, tetapi dapat gagal jika Anda mengubah tata letak halaman.

 

Ikuti panduan kami

Penting: Pastikan untuk mengikuti Pedoman Webmaster kami. Beberapa di antaranya adalah rekomendasi dan praktik terbaik; yang lainnya dapat menyebabkan dihapusnya situs dari Indeks Google jika tidak diikuti.
Pedoman khusus konten
Jika memiliki jenis konten tertentu di situs Anda, berikut beberapa rekomendasi untuk menampilkannya di Google dengan cara yang paling efektif:

Video: Pastikan untuk mengikuti praktik terbaik video kami agar Google dapat menemukan, meng-crawl, dan menampilkan hasil untuk video yang dihosting di situs Anda.

Podcasting: Anda dapat menunjukkan podcast kepada Google dengan mengikuti panduan ini. Google dapat menemukan feed RSS podcast jika ditampilkan dalam data terstruktur seperti yang dijelaskan dalam pedoman tersebut, atau jika Anda mengikuti persyaratan halaman beranda di halaman beranda podcast Anda. Google akan mendeteksi dan meng-crawl ulang feed RSS yang diperbarui.

Gambar: Ikuti praktik terbaik gambar kami agar gambar Anda muncul dalam Penelusuran. Anda dapat menampilkan informasi tambahan tentang gambar dalam Penelusuran gambar dengan memberikan metadata hak gambar di halaman host gambar. Agar gambar tidak diindeks, gunakan aturan Disallow pada robots.txt.

Google akan secara otomatis mengoptimalkan ukuran gambar bagi pengguna yang koneksi jaringannya cukup lambat. Jika karena beberapa alasan Anda tidak menginginkannya, Anda dapat menghentikan pengoptimalan seluler untuk hasil gambar.

Untuk anak-anak: Jika konten Anda dikhususkan bagi anak-anak, beri tag pada halaman atau situs sebagai ditujukan untuk anak-anak agar sesuai dengan Children’s Online Privacy Protection Act (COPPA).

Situs dewasa: Jika situs Anda (atau halaman tertentu) berisi konten khusus dewasa, harap pertimbangkan untuk memberinya tag sebagai konten khusus dewasa yang akan memfilternya dalam hasil SafeSearch.

Blogger: Jika situs Anda merupakan blog, berikut beberapa tips cara membuat blog yang bermanfaat dan membantu Google meng-crawlnya.

Berita: Jika Anda menjalankan situs berita, berikut beberapa hal yang perlu dipertimbangkan:

Jika memiliki konten berita, pastikan Anda membaca dokumentasi bantuan Pusat Penerbit Google.
Selain itu, buat Peta Situs Berita untuk membantu Google menemukan konten dengan lebih cepat.
Pastikan untuk mencegah spam komentar di situs Anda.
Jika ingin membatasi jumlah penayangan gratis bagi pengunjung, baca pemberian sampel fleksibel untuk mempelajari beberapa praktik terbaik mengenai penyediaan akses gratis terbatas ke konten Anda.
Lihat cara menunjukkan langganan dan konten berbayar berpenghalang di situs Anda ke Google sembari tetap mengaktifkan crawling.
Lihat cara menggunakan tag meta untuk membatasi penggunaan teks atau gambar saat membuat cuplikan hasil penelusuran.
Sebaiknya gunakan AMP atau Cerita Web agar konten dapat dimuat dengan cepat.
Situs lainnya (bisnis, buku/aplikasi/karya ilmiah): Lihat layanan Google lainnya tempat Anda dapat memposting informasi Anda.

Lihat apakah Google mendukung fitur penelusuran khusus untuk jenis konten Anda. Google mendukung fitur penelusuran khusus untuk resep, acara, situs pemasangan lowongan pekerjaan, dan lainnya.

Mengelola pengalaman pengguna

Memberikan pengalaman pengguna yang baik harus menjadi tujuan utama situs Anda, dan pengalaman pengguna yang baik merupakan salah satu faktor yang memengaruhi peringkat situs. Ada banyak elemen untuk memberikan pengalaman pengguna yang baik, dan berikut beberapa di antaranya.

Google merekomendasikan agar situs menggunakan HTTPS, bukan HTTP, untuk meningkatkan keamanan pengguna dan situs. Situs yang menggunakan http dapat ditandai sebagai “tidak aman” di browser Chrome. Baca pedoman tentang cara mengamankan situs Anda dengan HTTPS.

Pastikan situs berjalan dengan baik di berbagai browser dan platform.

Halaman yang cepat dimuat biasanya lebih disukai pengguna. Anda dapat menggunakan laporan Data Web Inti untuk melihat angka performa seluruh situs, atau PageSpeed Insights untuk menguji performa setiap halaman. Anda dapat mempelajari lebih lanjut cara membuat halaman yang cepat dimuat di situs web.dev. Selain itu, pertimbangkan juga penggunaan AMP untuk halaman yang cepat dimuat.

Pertimbangan untuk perangkat seluler

Dengan penelusuran seluler yang kini melebihi penelusuran desktop, penting untuk menjadikan situs Anda sebagai situs yang mobile-friendly. Googlebot kini menggunakan crawler seluler sebagai crawler default untuk situs. Baca cara menjadikan situs Anda mobile-friendly.

Anda juga harus membaca halaman tambahan ini tentang penggunaan seluler di Google, termasuk perilaku pada ponsel menengah, cara kerja Google Discover di perangkat seluler, serta pedoman tentang mengumumkan biaya tagihan seluler apa pun dengan jelas di situs Anda untuk mencegah peringatan di Google Chrome.

Penghalang konten berbayar dan mengontrol akses

Jika ingin membatasi jumlah penayangan gratis bagi pengunjung, baca pemberian sampel fleksibel untuk mempelajari beberapa praktik terbaik tentang cara menyediakan akses gratis terbatas ke konten Anda atau memungkinkan Google meng-crawl konten berbayar berpenghalang.

Mengontrol tampilan penelusuran Anda

Mendekorasi hasil penelusuran atau menyediakan fitur penelusuran khusus: Google menyediakan berbagai jenis fitur dan pengalaman hasil penelusuran di Google Penelusuran, termasuk bintang ulasan, kotak penelusuran situs tersemat, dan jenis hasil khusus untuk jenis informasi tertentu seperti acara atau resep. Temukan yang sesuai untuk situs Anda dan pertimbangkan untuk mengimplementasikannya. Anda dapat memberikan favicon untuk ditampilkan dalam hasil penelusuran bagi situs Anda. Anda juga dapat memberikan tanggal artikel untuk ditampilkan dalam hasil penelusuran.

Pastikan untuk membaca artikel tentang cara membantu Google memberikan judul dan cuplikan yang baik. Anda juga dapat membatasi panjang cuplikan, atau menghilangkannya sepenuhnya jika diinginkan. Lihat cara menggunakan tag meta untuk membatasi penggunaan teks atau gambar saat membuat cuplikan hasil penelusuran.

Jika Anda merupakan penerbit pers di Eropa, harap beri tahu Search Console tentang informasi tersebut.

Menggunakan Search Console

Kami merekomendasikan penggunaan properti Domain jika memungkinkan; meskipun proses verifikasinya akan sedikit lebih rumit, properti domain mencakup semua variasi protokol (http/https) dan semua subdomain sehingga akan memudahkan pengelolaan beberapa variasi. Jika perlu melihat subdivisi data situs Domain, Anda dapat membuat properti Domain turunan atau awalan URL tambahan.

Baca ringkasan solusi dan laporan yang ditawarkan Search Console untuk mendapatkan gambaran umum tentang semua solusi dan laporan yang selalu tersedia.

Saat error atau peristiwa baru muncul pada situs, Anda akan mendapatkan pesan dari Search Console. Baca email tersebut untuk memahami masalahnya dan ikuti saran proses debug yang diberikan.

Periksa Laporan Cakupan Indeks secara berkala untuk memastikan bahwa cakupan situs Anda meningkat seiring dengan bertambahnya ukuran situs. Jangan berharap semua halaman di situs Anda akan diindeks, khususnya jika situs berukuran besar dengan halaman duplikat; cukup pastikan bahwa semua halaman penting Anda diindeks. Jika sebagian besar situs tidak diindeks tetapi memiliki peran yang cukup penting, Anda dapat men-debugnya dengan alat inspeksi URL.

Jika memiliki data terstruktur, bagian Penyempurnaan pada halaman ringkasan harus menunjukkan sparklines (diagram thumbnail) tentang error, peringatan, dan data terstruktur valid yang ada di situs Anda. Perbaiki semua error terkait data terstruktur.

Jika terdapat AMP di situs Anda, verifikasi status AMP seluruh situs dalam laporan status AMP.

Gunakan laporan Peta Situs untuk mengirimkan peta situs baru, atau pantau keberhasilan Google dalam membaca peta situs Anda.

Pastikan pengguna mendapatkan pengalaman yang baik dengan memeriksa performa pengguna di seluruh situs Anda di laporan Data Web Inti, dan kegunaan seluler Anda di laporan Kegunaan Seluler, terutama saat mengubah template situs atau membuat perubahan lain yang memengaruhi sebagian besar situs Anda.

Temukan pedoman pemecahan masalah di sini, atau kunjungi halaman forum untuk mendapatkan bantuan dari pengguna lain.

Laporan SEO utama Anda adalah Laporan performa untuk halaman web. (Laporan performa untuk Discover juga tersedia). Laporan ini memberikan metrik utama yang mencakup tayangan dan CTR menurut kata kunci (kueri), perangkat, dan banyak lagi. Anda dapat menemukan banyak informasi tentang praktik terbaik SEO di web menggunakan data ini; pastikan Anda tidak mengikuti rumor atau praktik yang buruk. Baca Panduan Memulai SEO dan blog Pusat Google Penelusuran, ajukan pertanyaan di Komunitas Bantuan Pusat Penelusuran Google, hadiri acara komunitas atau jam kerja online, atau gunakan sumber resmi lainnya untuk mendapatkan informasi tepercaya tentang praktik terbaik untuk situs Anda.

× Chat WA