Apa itu hadoop betul-betul? teori sinis

Apa-apa yang kelihatan terlalu baik untuk menjadi kenyataan biasanya. Begitu juga dengan Apache Hadoop, projek sumber terbuka yang banyak digunakan oleh semua orang untuk terus bercakap. Jadi, apa sebenarnya perkara ini? Soalan yang baik!

Pakar Ragu-ragu

Penganalisis Mark Madsen dari Alam Ketiga memahatnya ke dinding seketika dalam sekeping keperitan di InsideAnalysis.com: "Apa yang Hadoop Apakah Apa yang Hadoop Tidak." Sebagai seseorang yang tahu bagaimana untuk mereka bentuk penyelesaian dunia sebenar, maka sebenarnya mereka menggunakannya, nasihatnya tidak boleh diabaikan.

Tetapi ada arus yang lebih mendalam yang mengalir di sini, dan waktunya sudah dekat untuk menggali akar flora yang menarik ini, untuk melihat jika kita tidak dapat melihat perspektif mengenai apa yang berlaku pada tahap makro yang lebih tinggi. Lagipun, vendor tetap mengatakan ia adalah masalah besar, dan terdapat banyak peserta.

Pakai Pemimpin! (?)

Tiga syarikat kini memiliki majoriti pasaran baru Hadoop: Cloudera, Hortonworks dan MapR. Pada taklimat yang agak kontroversial melalui Boulder BI Brain Trust (#BBBT), Jim Walker dari Hortonworks membuat komen yang aneh ini:

"Anda tidak dapat memajukan teknologi jika anda tidak mengupah pengirim!"

Datang lagi?

Tidakkah ini seperti Senator Palpatine yang boleh dikatakan dalam filem Star Wars?

Sen. Palpatine: "Pakai pembina!"

Minion berhampiran: "Tetapi, tetapi, Sir! Pikirkan anak-anak!"

Bagi orang awam di luar sana hanya cuba untuk menyelesaikan sesuatu, pemberi komitmen adalah orang yang berdedikasi untuk projek sumber terbuka tertentu. Yayasan Apache mempunyai protokol yang ketat di mana projek-projek mereka bergerak ke depan, yang sering menjadi perkara yang baik.

Yang berkata, ulasan Walker memerlukan pemeriksaan. Satu soalan yang menujukkan (pada risiko merangkumi hari-hari permainan) adalah: Adakah itu janji atau ancaman? Adakah dia mengatakan bahawa Hortonworks mungkin hanya mengambil bola mereka dan pulang ke rumah?

Kerjasama atau Persaingan?

Yang menarik jika sudut paradoks di sini adalah yang dilaporkan, sebahagian besar komitator pada pasukan Hadoop (sekitar 30 atau lebih dalam semua) adalah dari Hortonworks dan Cloudera-yang merupakan pesaing. Ini adalah kes persoalan yang sangat aneh.

Jadi, apa urusannya? Berikut adalah satu teka-teki yang berpendidikan: Hadoop sebahagian besarnya berhutang kemasyhurannya kepada pelan bijak yang dikandung oleh sekumpulan kapitalis teroka Lembah Silicon dan jurutera yang pada dasarnya cuba untuk melindung nilai pertarungan mereka terhadap Oracle.

Idea umum adalah untuk membenamkan pasaran dengan asas kod yang dapat dipertingkatkan dan disokong oleh kumpulan pemaju pelapis yang berpengalaman, dari masa ke masa, membuat semua alat pengurusan data, termasuk produk pangkalan data. Para VC boleh melabur dan meluangkan masa beberapa hari. Tetapi terdapat beberapa cabaran serius dalam permainan.

Sama seperti semua perusahaan monolitik, Oracle kerap mendapati dirinya dalam penyamaran ramai pemain yang lebih kecil. Dan siapa yang tidak mahu hanya sebahagian daripada pendapatan minda mereka? Pada suku terakhir sahaja, Oracle telah menempah ~ $ 9 bilion. Tetapi mencabar Big Red dan menewaskan mereka adalah dua realiti yang sangat berbeza.

Webcast percuma: Apakah Hadoop dan Ke mana Ia Pergi? Sertai Eric Kavanagh, Robin Bloor dan Techopedia untuk perbincangan tentang bagaimana Hadoop jauh berbeza daripada Linux atau SOA, dan mengapa masa depannya tidak banyak diterbitkan.

Masalah Pembungkusan

Perkara mengenai Hadoop, seolah-olah, ia bukan penyelesaian yang dikemas dengan apa-apa cara. Sebaliknya, ia merupakan koleksi modul yang kompleks yang membolehkan para pengaturcara berkualiti tinggi memanfaatkan algoritma pemprosesan selari secara besar-besaran untuk melakukan perkara yang sangat spesifik. Tetapi tidak ada antara muka pengguna yang mewah, dan manualnya adalah kejam.

Tambah pada cabaran ini halangan penting: anda juga memerlukan orang-orang yang mempunyai sekurang-kurangnya pemahaman umum tentang apa yang dapat dilakukannya. Mereka mestilah dapat menimbulkan gagasan bagaimana ia boleh digunakan, kemudian berkomunikasi dengan pemaju, yang kemudiannya akan menghasilkan, menguji, melaksanakan dan menyokong aplikasi.

Orchestrating dance ini ialah bagaimana Cloudera dan Hortonworks membuat banyak wang mereka. Masalahnya, kebanyakan penyelesaian yang dibuat melalui kaedah ini adalah unik, dan biasanya memberi tumpuan kepada sistem operasi berbanding dengan yang analitis. Terjemahan? Perkara seperti itu tidak semestinya memberi pinjaman kepada produk perisian yang dibungkus.

Keuntungan Pembungkusan!

Yang membawa kita kembali ke Oracle. Larry Ellison dan anak lelaki membuat perisian berteknologi tinggi, perkakasan, perkhidmatan (dan menunggu …). Cloudera nampaknya menggambarkan hal ini, oleh itu tumpuan mereka pada Impala. Tetapi Hortonworks?

Model mereka nampak lebih meniru Redhat, orang-orang yang membina perniagaan bilion dolar di atas sistem operasi Linux. Nary seorang vendor utama dalam industri perisian perusahaan tidak menulis untuk Linux, OS di mana IBM mengetuai Microsoft di pas. Tetapi Hadoop bukanlah Linux, bukan dengan tembakan panjang.

Dr. Geoffrey Malafsky, bekas ahli nanoteknologi untuk Tentera Laut Amerika Syarikat, kini seorang saintis data dengan Phasic Systems dan Institut PSIKORS, menggambarkan cadangan nilai Hadoop seperti ini:

"Hadoop sangat bagus untuk mencari, analisis trend yang sangat besar untuk keputusan stokastik, dan mungkin beberapa pemprosesan selari pintar yang sangat murah seperti bekas isteri saya yang digunakan: pengiraan fungsi gelombang mekanik kuantum keadaan tindak balas pepejal dan kimia. pada superkomputer dan berpindah agak ke dalam pemprosesan selari, tetapi ia adalah perubahan pendekatan pengaturcaraan yang sukar. Pelajar siswazah yang muda, pintar dan bertenaga akan menjadi orang yang membuat ini berlaku. Saya mengesyaki geran penyelidikan mula ke arah ini untuk beberapa pengkomputeran berkuasa tinggi aplikasi. "

Anda akan melihat bahawa tidak ada suara seperti pergudangan data, risikan perniagaan, integrasi data atau data yang lebih besar. Ia kelihatan seperti superkomputer. Dan untuk beberapa sebab yang menarik, dunia pengkomputeran prestasi tinggi dan kecerdasan perniagaan tidak pernah benar-benar berlanggar atau bersatu dalam cara yang bermakna.

Long Road Ahead untuk Hortonworks and Cloudera

Dan inilah berita yang benar-benar buruk untuk Hortonworks dan mungkin Cloudera. Para vendor besar seperti IBM dan SAP dan Oracle dan Teradata-untuk meletakkan ini sedikit, dan mengutip Dire Straits: "Mereka semua tidak bodoh!" Tiga tahun yang lalu, mereka semua melancarkan strategi Hadoop yang serius.

Pusat kepada rancangan ini adalah jenis perkara yang diharapkan oleh pengguna perniagaan: antara muka pengguna grafik, fungsi drag-and-drop, pemodelan dan alatan penemuan, aliran kerja, tadbir urus, keselamatan; Pendek kata, semua bit dan potongan yang membuat perisian perusahaan dapat digunakan. Dan tentu saja, para vendor besar ini memiliki basis pemasangan besar-besaran.

Pasti, Cloudera dan Hortonworks kedua-duanya telah mendarat perniagaan yang baik, tetapi hanya sebahagian kecil daripada apa yang pemain utama itu mendapat setiap tahun. Adakah matematik berapa banyak penantang yang mengenakan caj kepada pelanggan mereka, berbanding dengan berapa banyak overhead mereka, dan gambar itu tidak begitu mewah. Diberikan, itu adalah tuan untuk kursus dengan kebimbangan perisian tahap awal, tetapi masih …

Masa Depan Hadoop?

Jadi, mungkin kita dapat melihat gelombang pengambilalihan klasik, seperti yang kita telah kembali dalam keadaan, apabila IBM membeli Cognos, Oracle mendapat Hyperion dan SAP yang ditangkap BusinessObjects? Mungkin, tetapi anak-anak baru di blok ini tidak memiliki Hadoop; mereka hanya meminjamnya. Dan yang menjanjikan seperti YARN dan Tez mungkin, kitaran pelepasan nampaknya tertinggal di belakang apa yang dihasilkan oleh pemukul berat.

Hanya pada hari yang lain, orang dalam industri berkata bahawa politik di Apache boleh menjadi hambatan yang serius. Ini tidak menghairankan, terutamanya apabila anda mempertimbangkan dolar yang terlibat-ada motivasi hebat untuk para inovator memukulnya dengan kaya. Dan adakah sesiapa yang perasan bagaimana Chrome nampaknya telah melampaui Firefox dalam fungsionaliti dan kebolehkendalian kebelakangan ini? Sumber yang tertutup, sesiapa sahaja?

Satu perkara yang pasti: permainan ini akan bermain dalam beberapa cara yang menarik. Ya, mamalia (baca: vendor kecil) sering dapat melewati dinosaurus; tetapi masih ada buaya dan buaya di seluruh dunia; dan jika anda tersandung pada satu perkara yang tidak disengajakan, anda mungkin mengetahui betapa tajam gigi tersebut. Beberapa crocs bersama-sama juga dapat menurunkan seekor gajah atau dua.