Q:
Apakah keadaan yang menyebabkan peningkatan ekosistem data yang besar?
A:Terdapat banyak faktor yang menyumbang kepada kemunculan ekosistem data besar hari ini, tetapi terdapat satu konsensus umum bahawa data besar berlaku kerana pelbagai reka bentuk perkakasan dan perisian yang hanya membolehkan data besar wujud.
| Webinar: Big Iron, Bertemu Big Data: Membebaskan Data Mainframe dengan Hadoop & Spark Daftar disini |
Takrifan konvensional bagi data besar adalah seperti berikut: Set data yang cukup besar dan kompleks yang mereka menentang pengurusan berulang yang mudah, atau pengurusan dengan tangan. Set data besar sering dikenalpasti sebagai set data yang tidak dapat dimasukkan ke dalam rangkaian pangkalan data yang mudah, kerana analisis mereka memerlukan terlalu banyak kerja di pihak pelayan yang mengendalikan data.
Dengan itu, sebahagian besar daripada apa yang mencipta data besar ialah idea yang kita ketahui sebagai Undang-undang Moore, atau menggandakan transistor pada litar setiap dua tahun, mewujudkan peranti keras dan penyimpanan data yang lebih kecil (serta mikropemproses yang lebih kuat) . Bersempena dengan Undang-undang Moore, dan mungkin kerana itu, keupayaan pengkomputeran sistem perisian yang mudah diakses terus meningkat, sehingga komputer bahkan dapat menangani sejumlah besar data yang lebih besar, dan sistem perniagaan dan pelopor mula dapat mengendalikan saiz data tidak dapat difahami hanya beberapa tahun sebelum ini. Sistem peribadi dipindahkan dari kilobytes ke megabait, dan kemudian ke gigabytes, dalam proses yang telus kepada pengguna. Sistem Vanguard berpindah dari gigabait ke terabytes dan petabytes, dan pada pesanan magnitud seperti zetabytes, dengan cara yang kurang telus kepada warganegara biasa.
Satu lagi data akauntan yang lebih besar adalah perubahan dalam cara yang diproses oleh pengendali set data. Daripada pemprosesan linear melalui reka bentuk pangkalan data hubungan konvensional, pengendali mula menggunakan alat seperti Apache Hadoop dan kepingan pengurusan perkakasan yang berkaitan untuk menghapuskan kesesakan dalam proses data.
Hasilnya adalah dunia data besar yang kita tinggal di, di mana set data besar disimpan dan dikelola di pusat data, dan semakin diakses oleh berbagai teknologi untuk pelbagai kegunaan. Dari perdagangan kepada ekologi, dari perancangan awam ke ubat, data besar menjadi lebih dan lebih mudah diakses. Sementara itu, agensi-agensi kerajaan dan organisasi-organisasi besar yang lain masih meneruskan perbatasan saiz data besar dan melaksanakan penyelesaian yang lebih maju.
