Evolusi data besar

Pada awal tahun 2000, jelas bahawa terdapat keperluan besar untuk inovasi mengenai data. Batasan mengenai apa yang boleh dilakukan oleh firma dengan data mereka yang kecewa eksekutif dan mengurangkan kecekapan dengan sangat. Banyak syarikat yang menyimpan sejumlah besar maklumat tetapi tidak dapat mengurus, menganalisis atau memanipulasinya dengan kelebihan mereka. Ini adalah tekanan yang semakin meningkat yang memberi laluan kepada sempadan data besar.

Pada tahun 2003, Google mencipta MapReduce, aplikasi data yang membolehkan firma memproses dan menganalisis maklumat mengenai pertanyaan cariannya di ribuan pelayan dalam jangka masa yang singkat. Kedua-duanya berskala dan boleh disesuaikan, program ini membenarkan Google untuk melakukan beribu-ribu tugas data dalam beberapa minit sahaja, yang meningkatkan produktiviti dan mendefinisikan semula batas-batas yang diperkirakan tentang apa yang dapat dilakukan dengan data. Hampir 10 tahun kemudian, data besar telah menjadi asas teknologi maklumat. Skop dan keupayaannya yang luas telah mengubah pengurusan data pada dasarnya di tempat kerja. Tetapi apa yang mendorong evolusi ini dan bagaimana sebenarnya data besar akan mempengaruhi masa depan? Kami fikir anda tidak akan pernah bertanya. (Untuk bacaan latar belakang pada data besar, periksa Data Big: Bagaimana Ia Ditangkap, Crunched dan Digunakan untuk Membuat Keputusan Perniagaan.)

Mencari Jawapan kepada Soalan Big Data

Keindahan MapReduce adalah cara ia memudahkan tugas yang sangat rumit. Komunikasi boleh diuruskan di seluruh mesin, kegagalan sistem boleh ditangani dan data input boleh diatur secara automatik, satu proses yang boleh diawasi oleh individu yang tidak lagi memerlukan kemahiran teknikal yang tinggi. Dengan membuat pemprosesan data bukan sahaja mungkin tetapi mudah didekati, Google mengilhami peralihan budaya dalam pengurusan data. Tidak lama sebelum ribuan firma utama menggunakan MapReduce untuk data mereka.

Tetapi ada satu masalah: MapReduce hanyalah model pengaturcaraan. Walaupun ia memudahkan asas-asas pemprosesan data, ia bukanlah sendiri jawapan kepada kelemahan data sedia ada; ia hanya langkah yang sangat diperlukan dalam arah yang betul. Syarikat-syarikat masih memerlukan sistem yang dapat menangani keperluan data unik mereka dan melampaui pentingnya pengurusan data. Singkatnya, teknologi perlu berkembang.

Masukkan Hadoop

Masukkan Hadoop, perisian kerangka sumber terbuka yang dibuat oleh beberapa pengaturcara, termasuk Doug Cutting. Di mana MapReduce adalah asas dan luas, Hadoop menyediakan kekhususan yang menyegarkan. Syarikat-syarikat boleh merekabentuk aplikasi khusus mereka sendiri yang menangani keperluan data dengan cara yang tidak boleh digunakan oleh perisian lain, dan ia umumnya bersesuaian dengan sistem fail lain. Firma dengan pengaturcara berbakat boleh merangka sistem fail yang akan mencapai tugas unik dengan data yang kelihatannya tidak dapat dicapai sebelum ini. Mungkin bahagian yang terbaik mengenainya ialah pemaju akan berkongsi aplikasi dan program antara satu sama lain yang dapat dijelaskan dan disempurnakan.

Dengan mendemokasikan sumber yang penting, Hadoop menjadi trend. Lagipun, banyak syarikat besar, terutama firma enjin carian, merasakan mereka memerlukannya selama beberapa dekad! Tidak lama sebelum gergasi enjin carian seperti Yahoo mengumumkan pelaksanaan aplikasi Hadoop besar yang menghasilkan data yang digunakan dalam pertanyaan carian Web. Dalam apa yang kelihatan seperti gelombang, beberapa syarikat terkemuka mengumumkan penggunaan teknologi ini untuk pangkalan data mereka yang besar, termasuk Facebook, Amazon, Fox, Apple, eBay dan FourSquare. Hadoop menetapkan piawaian baru untuk pemprosesan data.

Data Besar, Masalah Besar

Walaupun kemajuan dalam teknologi data telah membentuk semula cara syarikat melayan data, ramai eksekutif masih mendapati mereka tidak dapat diselesaikan untuk pelbagai tugas yang diperlukan. Pada bulan Julai 2012, Oracle mengeluarkan kaji selidik lebih daripada 300 eksekutif peringkat C, yang mendedahkan bahawa walaupun 36 peratus daripada syarikat bergantung kepada IT untuk mengurus dan menganalisis data, 29 peratus daripada mereka merasakan bahawa sistem mereka tidak mempunyai kebolehan yang cukup untuk memenuhi syarikat- keperluan. Mungkin kajian yang paling menarik adalah 93 peratus responden percaya bahawa firma mereka kehilangan sehingga 14 peratus daripada hasilnya dengan tidak dapat menggunakan data yang dikumpulkan. Itulah pendapatan yang boleh dibelanjakan untuk membuat produk yang lebih baik dan menyewa lebih ramai pekerja. Pada masa di mana syarikat berjuang untuk terus menguntungkan, meningkatkan data supaya firma boleh menjadi lebih menguntungkan adalah satu keperluan. Kajian menunjukkan bahawa walaupun orang-orang yang percaya bahawa pengaruh besar data mengenai perdagangan telah berlalu, peluang untuk pertumbuhan dan kemajuan yang dipegangnya belum sepenuhnya direalisasikan.

Apa Masa Hadapan untuk Data Besar

Berita baiknya ialah Hadoop dan MapReduce telah memberi inspirasi kepada banyak alat pengurusan data lain. Banyak syarikat baru mencipta platform data yang luas yang dijalankan di Hadoop, tetapi menawarkan pelbagai fungsi analitik dan integrasi sistem yang lebih mudah. Nampaknya syarikat-syarikat telah melaburkan banyak sumber untuk menangani masalah data dan kejayaan kewangan firma data telah membuktikannya. Pada tahun 2010, firma data membuat anggaran $ 3.2 bilion dalam jualan runcit. Ramai pakar telah menganggarkan bahawa bilangan ini akan meningkat kepada $ 17 bilion menjelang tahun 2015 sahaja. Ini adalah fakta yang tidak hilang pada beberapa syarikat teknologi terbesar. Kedua-dua IBM dan Oracle telah membelanjakan berbilion-bilion dalam beberapa bulan yang lalu untuk memperolehi firma data. Banyak firma lain akan membuat langkah yang sama pada tahun-tahun akan datang kerana mereka terus bersaing untuk berkongsi pasaran yang kompetitif.

Frontier Data Besar

Jumlah data yang dikumpulkan terus berkembang dengan pesat, yang mana ada yang bimbang dan yang lain teruja. Yang terbalik adalah bahawa manusia akan terus menjadi lebih produktif dan adaptif ketika kita mempelajari hal-hal baru tentang dunia kita melalui analisis data. Kelemahannya adalah terdapat begitu banyak data yang banyak yang takut bahawa kita tidak mampu menyimpan semuanya dengan betul, apalagi mengurusnya dengan baik supaya ia dapat digunakan oleh semua yang memerlukannya.

Yang berkata, kemajuan dalam data besar dapat memberikan peluang yang belum pernah terjadi sebelumnya untuk penyelesaian kepada isu-isu mendesak mengenai data. Sebagai contoh, pakar-pakar telah menyarankan bahawa jika data besar dilaksanakan dengan betul dengan penekanan terhadap kecekapan dan kualiti, ia berpotensi untuk menyelamatkan sekitar $ 300 bilion setahun dalam perbelanjaan penjagaan kesihatan sahaja; peruncit akan dapat meningkatkan margin operasi mereka, sektor awam dapat menyediakan perkhidmatan yang lebih baik dan perusahaan besar akan menjimatkan berbilion-bilion. Dan, seolah-olah menyelesaikan masalah data kami tidak hanya diperlukan dalam bilik lembaga syarikat, tetapi di mana-mana sahaja. Yang mengatakan perkara yang baik tentang masa depan data besar - dan mungkin kita juga.