Isi kandungan:
Definisi - Apa maksud Crawler Web?
Penjelajah Web adalah bot Internet yang membantu dalam pengindeksan Web. Mereka merangkak satu halaman pada satu masa melalui laman web sehingga semua halaman diindeks. Penjelajah web membantu dalam mengumpulkan maklumat tentang tapak web dan pautan yang berkaitan dengannya, dan juga membantu mengesahkan kod HTML dan hiperpautan.
Penjelajah Web juga dikenali sebagai labah-labah Web, pengindeksan automatik atau crawler.
Techopedia menerangkan Crawler Web
Crawler web mengumpul maklumat seperti URL tapak web, maklumat meta tag, kandungan laman web, pautan dalam laman web dan destinasi yang membawa dari pautan tersebut, tajuk laman web dan maklumat lain yang berkaitan. Mereka menjejaki URL yang telah dimuat turun untuk mengelakkan muat turun halaman yang sama sekali lagi. Gabungan dasar seperti dasar semula lawatan, dasar pemilihan, dasar penyesuaian dan dasar kesopanan menentukan kelakuan crawler Web. Terdapat banyak cabaran untuk perayap web, iaitu World Wide Web yang besar dan terus berkembang, pemilihan kandungan yang mengutamakan, kewajiban sosial dan menangani musuh.
Crawler web adalah komponen utama enjin carian web dan sistem yang melihat ke dalam laman web. Mereka membantu dalam mengindeks entri web dan membolehkan pengguna menghantar pertanyaan terhadap indeks dan juga menyediakan halaman web yang sepadan dengan pertanyaan. Satu lagi penggunaan crawler Web adalah dalam arkib Web, yang melibatkan set halaman web yang besar untuk dikumpulkan secara berkala dan diarkibkan. Crawler web juga digunakan dalam perlombongan data, di mana halaman dianalisis untuk sifat yang berbeza seperti statistik, dan analisis data kemudian dilakukan pada mereka.
