Data, besar dan kecil: di manakah nilai sebenar?

Data besar adalah perkataan selimut yang digunakan untuk merujuk kepada pengendalian jumlah data yang besar. Kita semua faham bahawa semakin besar jumlah data, semakin rumitnya. Penyelesaian pangkalan data tradisional sering gagal menguruskan jumlah data yang banyak dengan betul kerana kerumitan dan saiz mereka. Oleh itu, menguruskan jumlah data yang besar dan mengekstrak wawasan sebenar adalah tugas yang mencabar. Konsep "nilai" yang sama juga digunakan untuk data kecil.

Bagaimana Data Besar Digunakan

Penyelesaian pangkalan data konvensional berdasarkan konsep RDBMS dapat mengurus data transaksi dengan sangat baik dan digunakan secara meluas dalam berbagai aplikasi. Tetapi apabila ia datang untuk mengendalikan satu set data yang besar (data yang diarkibkan dan terabytes atau petabytes), penyelesaian pangkalan data ini sering gagal. Set data ini terlalu besar dan kebanyakan masa, mereka tidak sesuai dengan seni bina pangkalan data tradisional. Hari-hari ini, data besar telah menjadi pendekatan yang kos efektif untuk menangani set data yang lebih besar. Dari sudut pandang organisasi, penggunaan data besar boleh dipecah ke dalam kategori berikut, di mana nilai sebenar data besar berada:

• Penggunaan Analisis

  Penganalisis data besar telah mendedahkan banyak aspek tersembunyi data penting yang terlalu mahal untuk diproses. Sebagai contoh, jika kita perlu menyemak minat trend pelajar mengenai topik baru tertentu, kita boleh melakukan ini dengan menganalisis rekod kehadiran harian dan fakta sosial dan geografi yang lain. Fakta-fakta ini ditangkap dalam pangkalan data. Sekiranya kita tidak dapat mengakses data ini secara cekap, kita tidak dapat melihat hasilnya.

• Dayakan Produk Baru

  Pada masa lalu, banyak syarikat Web baru, seperti Facebook, telah mula menggunakan data besar sebagai penyelesaian untuk melancarkan produk baru. Kita semua tahu betapa popularnya Facebook - ia telah berjaya menyediakan pengalaman pengguna berprestasi tinggi menggunakan data besar.

Di manakah nilai sebenar?

Penyelesaian data besar yang berbeza berbeza dengan pendekatan di mana mereka menyimpan data, tetapi pada akhirnya, mereka semua menyimpan data dalam struktur fail rata. Umumnya, Hadoop terdiri daripada sistem fail dan beberapa abstraksi data peringkat sistem operasi. Ini termasuk enjin MapReduce dan Sistem Fail Teragih Hadoop (HDFS). Kelompok Hadoop mudah termasuk satu nod induk dan beberapa nod pekerja. Node induk terdiri daripada yang berikut:

• Penjejakan Tugas
• Penjejak Kerja
• Nod Nama
• Node Data

Node pekerja terdiri daripada yang berikut:

• Penjejakan Tugas
• Node Data

Sesetengah pelaksanaan mempunyai nod data sahaja. Nod data adalah kawasan sebenar di mana data terletak. HDFS menyimpan fail besar (dalam julat terabytes kepada petabytes) yang diagihkan merentasi pelbagai mesin. Kebolehpercayaan data pada setiap nod dicapai dengan mereplikasi data di semua tuan rumah. Oleh itu, data boleh didapati walaupun salah satu daripada nod tersebut turun. Ini membantu dalam mencapai tindak balas yang lebih cepat terhadap pertanyaan. Konsep ini sangat berguna dalam hal aplikasi besar seperti Facebook. Sebagai pengguna, kami mendapat sambutan kepada permintaan sembang kami, sebagai contoh, hampir serta-merta. Pertimbangkan satu senario di mana pengguna perlu menunggu masa yang lama semasa berbual. Sekiranya mesej dan tindak balas seterusnya tidak dihantar dengan serta-merta, berapa ramai orang yang akan menggunakan alat-alat berbual ini?

Kembali ke pelaksanaan Facebook, jika data tidak direplikasi di seluruh cluster, tidak akan mungkin untuk melaksanakan yang menarik. Hadoop mengedarkan data ke seluruh mesin dalam kelompok yang lebih besar, dan menyimpan fail sebagai urutan blok. Blok ini mempunyai saiz yang sama kecuali blok terakhir. Saiz blok dan faktor replikasi boleh disesuaikan mengikut keperluan. Fail dalam HDFS tegas mengikut pendekatan penulisan sekali dan oleh itu hanya boleh ditulis atau diedit oleh satu pengguna pada satu masa. Keputusan mengenai replikasi blok dibuat oleh nod nama. Node nama menerima laporan dan tindak balas nadi dari setiap nod data. Maklum balas nadi memastikan ketersediaan nod data yang sepadan. Laporan ini mengandungi butiran blok pada nod data.

Satu lagi pelaksanaan data besar, Cassandra, juga menggunakan konsep pengedaran yang serupa. Cassandra mengedarkan data berdasarkan lokasi geografi. Oleh itu, di Cassandra, data diasingkan berdasarkan lokasi geografi penggunaan data.

Kadang-kadang Data Kecil Membuat Impak yang Lebih Besar (dan Kurang Mahal)

Seperti yang dinyatakan oleh Rufus Pollock dari Yayasan Pengetahuan Terbuka, tidak ada gunanya mencipta hype di sekeliling data besar sementara data kecil masih merupakan tempat di mana nilai sebenar terletak.

Seperti namanya, data kecil adalah satu set data yang disasarkan daripada satu set data yang lebih besar. Data kecil bertujuan untuk mengalihkan tumpuan dari penggunaan data dan juga bertujuan untuk mengatasi trend bergerak ke arah data besar. Pendekatan data kecil membantu dalam mengumpulkan data berdasarkan keperluan khusus menggunakan usaha kurang. Akibatnya, ia adalah amalan perniagaan yang lebih cekap semasa melaksanakan perisikan perniagaan.

Di terasnya, konsep data kecil berputar di sekitar perniagaan yang memerlukan keputusan yang memerlukan tindakan selanjutnya. Keputusan ini perlu diambil dengan cepat dan tindakan berikutnya juga perlu dilaksanakan dengan segera. Oleh itu, kita boleh menghapuskan jenis sistem yang biasa digunakan dalam analisis data besar.

Secara umumnya, jika kita mempertimbangkan beberapa sistem tertentu yang diperlukan untuk pemerolehan data besar, syarikat mungkin melabur dalam menyediakan banyak storan pelayan, menggunakan pelayan high-end yang canggih dan aplikasi perlombongan data terkini untuk mengendalikan bit data yang berbeza, termasuk tarikh dan masa tindakan pengguna, maklumat demografi dan maklumat lain. Keseluruhan set data ini bergerak ke gudang data pusat, di mana algoritma kompleks digunakan untuk menyusun dan memproses data untuk dipaparkan dalam bentuk laporan terperinci.

Kita semua tahu bahawa penyelesaian ini memberi manfaat kepada banyak perniagaan dari segi skalabiliti dan ketersediaan; terdapat organisasi yang mendapati bahawa penggunaan pendekatan ini memerlukan usaha yang besar. Memang benar bahawa dalam beberapa kes, hasil yang serupa dapat dicapai dengan menggunakan strategi perlombongan data yang kurang mantap.

Data kecil menyediakan cara untuk organisasi mundur dari obsesi dengan teknologi terkini dan terkini yang menyokong proses perniagaan yang lebih canggih. Syarikat-syarikat yang mempromosikan data kecil berpendapat bahawa adalah penting dari sudut perniagaan untuk menggunakan sumber mereka dengan cara yang cekap, sehingga overspending pada teknologi dapat dielakkan sampai batas tertentu.

Kami telah banyak membincangkan data besar dan realiti data kecil, tetapi kita harus memahami bahawa memilih platform yang betul (data besar atau data kecil) untuk penggunaan yang betul adalah bahagian paling penting dalam keseluruhan latihan. Dan sebenarnya adalah bahawa walaupun data besar dapat memberikan banyak manfaat, itu tidak selalu terbaik.