./prontouso.com

WEB & JARINGAN

Generator & Validator robots.txt

Susun berkas robots.txt yang valid dengan direktif User-agent, Allow, Disallow, Crawl-delay, dan tautan Sitemap XML untuk mengoptimalkan perayapan SEO situs web Anda.

Status alatBerjalan di browser Anda
Pratinjau
prontouso://jaringan/robots.txt
LOKALUTF-8PEMBARUAN OTOMATIS

Konfigurasi

Aturan di bawah ini memperbarui file secara otomatis.

MASUKAN
Templat
Grup 1
Pilih pintasan atau tulis sendiri.
Aturan yang diizinkan
1 aturan
Allow
Aturan yang diblokir
0 aturan
Sitemap
0

Belum ada sitemap yang ditambahkan.

File dan uji coba

Tinjau, salin, unduh, atau sesuaikan konten akhir secara manual.

KELUARAN
robots.txtDibuat otomatis
2 baris23 karakter

Uji akses perayap

Simulasikan bagaimana file saat ini merespons untuk bot dan jalur tertentu.

Akses diizinkan
Aturan Allow / adalah kecocokan paling spesifik.
Diproses secara lokal di browser Anda Perubahan diterapkan secara otomatis

Cara kerja

  1. Masukkan data Anda

    Isi nilai yang diperlukan, tempel teks Anda, atau unggah file yang ingin diproses.

  2. Lihat hasil seketika

    Sebagian besar alat diperbarui secara langsung saat Anda mengetik; beberapa menggunakan satu tombol tindakan.

  3. Gunakan hasil Anda

    Salin, unduh, atau bagikan hasil yang dihasilkan — Anda selalu memiliki kendali penuh atas data Anda.

Privasi dan pemrosesan data — Berjalan secara lokal di browser Anda. Alat ini tidak mengunggah data Anda.

Apa itu Generator & Validator robots.txt?

Generator robots.txt adalah alat untuk membuat dan memvalidasi berkas instruksi perayapan mesin pencari (Googlebot, Bingbot) guna mengontrol akses bot ke direktori situs web Anda.

PAHAMI CARA KERJA ALAT

Panduan Membuat & Mengonfigurasi robots.txt

Pelajari aturan sintaks robots.txt, direktif User-agent, Allow, Disallow, Crawl-delay, serta cara menautkan berkas Sitemap XML untuk optimasi perayapan SEO.

Fungsi utama berkas robots.txt

Berkas robots.txt diletakkan di root domain situs web Anda (misalnya domain.com/robots.txt) untuk memberi tahu bot mesin pencari bagian mana dari situs yang boleh atau tidak boleh dirayapi.

Direktif penting: User-agent, Disallow, dan Allow

Gunakan 'User-agent: *' untuk menerapkan aturan ke semua bot. Gunakan 'Disallow: /admin/' untuk melarang perayapan halaman administratif, dan 'Allow: /admin/public.js' untuk mengecualikan berkas tertentu di dalam folder yang dilarang.

Konfigurasi standar situs web

Mengizinkan semua bot merayapi seluruh situs kecuali folder privat /admin/ dan /api/, serta menyertakan tautan sitemap.

User-agent: * Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml

Penting: robots.txt bukan alat keamanan

Direktif Disallow pada robots.txt mencegah bot yang patuh merayapi halaman, tetapi tidak mengenkripsi atau melindungi data dari pengguna publik atau bot jahat. Gunakan autentikasi kata sandi untuk melindungi halaman privat.

Privasi & Pemrosesan Data

Pembuatan dan penyesuaian aturan robots.txt diproses 100% secara lokal di browser Anda. Tidak ada URL atau konfigurasi server yang dikirim ke server.

Pertanyaan yang Sering Diajukan (FAQ)

Di mana berkas robots.txt harus disimpan?

Berkas harus disimpan di direktori akar utama domain Anda, dapat diakses langsung melalui URL publik seperti https://domainanda.com/robots.txt.

Apakah Disallow pada robots.txt otomatis menghapus halaman dari Google?

Tidak. Jika halaman tersebut memiliki tautan dari situs lain, Google mungkin masih mengindeks URL tersebut tanpa merayapi isinya. Gunakan tag meta 'noindex' untuk mencegah pengindeksan secara permanen.

Apakah saya harus mencantumkan tautan Sitemap di robots.txt?

Sangat dianjurkan. Menambahkan baris 'Sitemap: https://domainanda.com/sitemap.xml' membantu mesin pencari menemukan seluruh daftar halaman penting situs Anda dengan cepat.

Apakah aturan robots.txt bersifat case-sensitive?

Ya, direktif path pada robots.txt membedakan huruf besar dan huruf kecil. /Admin/ tidak sama dengan /admin/.

Alat Terkait