Isi kandungan:
Definisi - Apakah maksud MapReduce?
MapReduce adalah model pengaturcaraan yang diperkenalkan oleh Google untuk memproses dan menghasilkan set data yang besar pada kelompok komputer.
Google pertama kali merangka kerangka untuk tujuan menghidupkan pengindeksan laman web Google, dan kerangka baru digantikan algoritma pengindeksan sebelumnya. Pemaju pemula mencari rangka kerja MapReduce yang bermanfaat kerana rutin perpustakaan boleh digunakan untuk membuat program selari tanpa sebarang kebimbangan mengenai komunikasi infra-kluster, pemantauan tugas atau proses pengendalian kegagalan.
MapReduce berjalan pada kluster besar mesin komoditi dan sangat berskala. Ia mempunyai beberapa bentuk pelaksanaan yang disediakan oleh pelbagai bahasa pengaturcaraan, seperti Java, C # dan C ++.
Techopedia menerangkan MapReduce
Rangka Kerja MapReduce mempunyai dua bahagian:
- Fungsi yang dipanggil "Peta, " yang membolehkan titik-titik yang berlainan daripada kumpulan yang diedarkan untuk mengedarkan karya mereka
- Fungsi yang dinamakan "Kurangkan, " yang direka untuk mengurangkan bentuk terakhir hasil kluster kepada satu output
Kelebihan utama rangka kerja MapReduce adalah toleransi kesalahannya, di mana laporan berkala dari setiap nod dalam kelompok dijangka apabila kerja selesai.
Satu tugas dipindahkan dari satu simpul ke yang lain. Jika nod induk mendapati bahawa nod telah diam untuk selang yang lebih panjang daripada yang dijangkakan, nod utama melaksanakan proses penukaran semula kepada tugas beku / tertunda.
Rangka Kerja MapReduce diilhami oleh fungsi "Peta" dan "Mengurangkan" yang digunakan dalam pengaturcaraan berfungsi. Pemprosesan komputasi berlaku pada data yang disimpan dalam sistem fail atau dalam pangkalan data, yang mengambil satu set nilai utama input dan menghasilkan satu set nilai kunci output.
Setiap hari, banyak program MapReduce dan MapReduce pekerjaan dilaksanakan di kluster Google. Program secara automatik dipasangkan dan dilaksanakan pada kelompok besar mesin komoditi. Sistem runtime berkenaan dengan pembahagian data input, menjadualkan pelaksanaan program merentas satu set mesin, pengendalian kegagalan mesin dan menguruskan komunikasi intermachine yang diperlukan. Pengaturcara tanpa pengalaman dengan sistem yang selari dan diedarkan dengan mudah boleh menggunakan sumber-sumber sistem teragih yang besar.
MapReduce digunakan dalam grep teragih, jenis diedarkan, pembalikan pautan pautan web, statistik log akses Web, clustering dokumen, pembelajaran mesin dan terjemahan mesin statistik.
