Memanfaatkan firehose: mendapatkan nilai perniagaan dari analisis streaming: transkrip webinar

Dengan Staf Techopedia, 24 Februari 2016

Takeaway: Tuan Rumah Rebecca Jozwiak membincangkan analisis aliran dengan ahli industri teratas.

Anda tidak log masuk sekarang. Sila log masuk atau mendaftar untuk melihat video.

Rebecca Jozwiak: Tuan-tuan dan puan-puan, hello dan selamat datang ke Hot Technologies 2016! Judul hari ini ialah "Memanfaatkan Firehosa: Mendapatkan Nilai Perniagaan dari Analitis Streaming." Ini ialah Rebecca Jozwiak. Saya adalah yang kedua dalam arahan untuk tuan rumah web apabila Eric Kavanagh yang kita sayangi tidak boleh berada di sini, jadi senang melihat begitu banyak daripada anda di luar sana hari ini.

Episod ini sedikit berbeza daripada yang lain. Kami jenis bercakap tentang apa yang panas dan sudah tentu tahun ini panas. Beberapa tahun kebelakangan ini telah panas. Selalu ada perkara baru yang keluar. Hari ini, kami bercakap tentang analisis streaming. Analisis streaming adalah jenis baru itu sendiri. Sudah tentu streaming, data pusat, data RFID, itu tidak semestinya baru. Tetapi dalam konteks arsitektur data, kami telah memberi tumpuan kepada data pada rehat selama beberapa dekad. Pangkalan data, sistem fail, repositori data - semua untuk tujuan kebanyakannya pemprosesan batch. Tetapi sekarang dengan peralihan untuk mencipta nilai dari data streaming, emosi data, ada yang memanggilnya aliran hidup, mereka benar-benar memerlukan senibina berasaskan aliran, bukan data pada arsitektur sisa yang telah kami gunakan dan ia perlu mengendalikan pengambilan cepat, masa nyata atau berhampiran pemprosesan masa nyata. Ia harus dapat memenuhi bukan sahaja Internet Perkara tetapi Internet Semuanya.

Sudah tentu, idealnya, ia akan mempunyai kedua-dua seni bina yang hidup bersebelahan, satu tangan mencuci yang lain, jadi untuk bercakap. Walaupun data hari-hari, data berumur seminggu, data tahun-tahun yang lalu masih tentu mempunyai nilai, analisis sejarah, analisis trend, itu adalah data langsung yang memacu perisikan hidup hari ini dan itulah sebabnya streaming analisis telah menjadi sangat penting.

Saya bercakap lebih lanjut mengenai hari ini. Kami mempunyai saintis data kami, Dez Blanchfield, memanggil dari Australia. Ia awal pagi untuknya sekarang. Kami mempunyai penganalisis ketua kami, Dr. Robin Bloor. Kami disertai oleh Anand Venugopal, ketua produk untuk StreamAnalytix di Impetus Technologies. Mereka benar-benar memberi tumpuan kepada aspek analisis streaming ruang ini.

Dengan itu, saya akan teruskan dan lulus kepada Dez.

Dez Blanchfield: Terima kasih. Saya perlu merebut skrin di sini dan muncul ke hadapan.

Rebecca Jozwiak: Di sini anda pergi.

Dez Blanchfield: Walaupun kita merebut slaid, saya hanya menutup topik teras.

Saya akan mengekalkan tahap yang cukup tinggi dan saya akan menyimpannya kira-kira 10 minit. Ini adalah topik yang sangat besar. Saya telah mengambil bahagian dalam satu peristiwa di mana kami menghabiskan dua hingga tiga hari menyelam ke dalam butir-butir mengenai pemprosesan aliran dan kerangka kerja yang sedang kami usahakan dan apa yang melakukan analisis dalam aliran-aliran jumlah tinggi ini harus bermakna.

Kami hanya akan menjelaskan apa yang kami maksudkan dengan menanam analisis dan kemudian menyelidiki sama ada nilai perniagaan boleh diperolehi kerana itu benar-benar perniagaan yang dicari. Mereka ingin agar mereka menjelaskan kepada mereka dengan sangat cepat dan ringkas, di manakah saya dapat memperoleh nilai dengan menggunakan beberapa bentuk analisis ke data strim kami?

Apakah analisis streaming?

Analisis streaming memberikan organisasi satu cara untuk mengekstrak nilai dari data volum tinggi dan halaju tinggi yang mereka datang melalui perniagaan dalam pelbagai bentuk yang bergerak. Perbezaan penting di sini ialah kita mempunyai sejarah panjang untuk membangunkan analisis dan lensa dan pandangan data yang telah kami pemprosesan beristirehat selama beberapa dekad sejak kerangka utama dicipta. Anjakan paradigma besar-besaran yang telah kita lihat dalam tiga hingga lima tahun yang lalu pada apa yang kita panggil "skala web" sedang mengetuk aliran data masuk ke dalam kita dalam masa nyata atau dekat masa sebenar dan bukan hanya memproses dan mencari korelasi peristiwa atau peristiwa mencetuskan tetapi melaksanakan analitik yang mendalam dan mendalam mengenai aliran tersebut. Ini merupakan peralihan yang ketara kepada apa yang telah kami lakukan sebelum ini, sama ada mengumpul data, meletakkannya dalam beberapa jenis repositori, pangkalan data tradisional yang besar sekarang, kerangka data besar yang besar seperti platform Hadoop dan melakukan pemprosesan mod-batch pada itu dan mendapatkan semacam pemahaman.

Kami sangat pandai melakukannya dengan cepat dan mencuba banyak besi berat pada barangan itu, tetapi kami masih benar-benar menangkap data, menyimpan dan kemudian melihatnya dan mendapatkan beberapa pandangan atau analisis mengenainya. Peralihan untuk melakukan analisis tersebut sebagai data yang sedang dihidupkan telah menjadi kawasan pertumbuhan yang sangat baru dan menarik untuk jenis perkara yang berlaku di sekitar data besar. Ia memerlukan pendekatan yang sama sekali berbeza untuk hanya menangkap, menyimpan dan memproses dan menjalankan analisis.

Salah satu pemacu kunci untuk peralihan dan tumpuan untuk melakukan analitik dalam strim ialah anda dapat memperoleh nilai perniagaan yang signifikan daripada mendapatkan pandangan-pandangan tersebut lebih cepat dan lebih mudah apabila data datang kepada anda, sebagai maklumat sedang tersedia untuk perniagaan. Idea untuk melakukan pemprosesan akhir hari kini tidak lagi relevan dalam industri tertentu. Kami mahu dapat melakukan analisis dengan cepat. Menjelang akhir hari, kita sudah tahu apa yang telah berlaku kerana ia telah berlaku dan bukannya sampai ke penghujung hari dan melakukan kerja kelompok 24 jam dan mendapatkan pandangan-pandangan tersebut.

Analisis aliran adalah mengenai mengetuk ke dalam aliran tersebut sementara aliran data biasanya berbilang aliran data dan data yang sangat tinggi yang datang kepada kami bergerak sangat, sangat cepat dan mendapat pandangan atau analitik pada aliran tersebut ketika mereka datang kepada kami bertentangan untuk membenarkan yang keluar dari rehat dan melakukan analisis ke atasnya.

Seperti yang saya nyatakan, kami telah berpuluh-puluh dekad dalam melaksanakan apa yang saya panggil analisis batch. Saya telah meletakkan gambar yang sangat sejuk di sini. Ini adalah gambar seorang lelaki yang berdiri di hadapan sebuah komputer yang dicuri yang dicipta oleh RAND Corporation seumur hidup yang lalu dan inilah yang mereka lihat komputer di rumah untuk kelihatan seperti itu. Apa yang menarik ialah walaupun pada masa itu, mereka mempunyai konsep ini mengenai semua panggilan kecil ini dan maklumat ini datang dari rumah dan diproses dalam masa nyata dan memberitahu anda apa yang berlaku. Satu contoh mudah ialah satu set tekanan barometrik dan suhu yang dapat kita lihat di mana kita melihat apa yang berlaku dalam masa nyata. Tetapi saya membayangkan bahawa walaupun pada masa itu ketika RAND Corporation meletakkan mockup itu bersama-sama, mereka sebenarnya sudah memikirkan data pemprosesan dan melakukan analisis di atasnya kerana ia datang dalam format aliran. Saya tidak pasti mengapa mereka meletakkan stereng pada komputer, tetapi itu agak sejuk.

Sejak penciptaan pencetak, kami mempunyai pandangan menangkap data dan melakukan analisis batch di atasnya. Seperti yang telah saya katakan dengan peralihan besar sekarang dan kami telah melihat ini dari orang-orang seperti pemain skala web yang kita semua tahu, mereka semua jenama isi rumah seperti Twitter, Facebook dan LinkedIn, bahawa tingkah laku interaktif yang kita ada dengan orang-orang sosial platform memerlukan bukan sahaja menangkap, menyimpan dan kemudian proses dalam mod batch tetapi mereka sebenarnya menangkap dan memacu analisis secara langsung dari aliran data yang datang melalui. Apabila saya Tweet sesuatu, bukan sahaja mereka perlu menangkap dan menyimpan dan melakukan sesuatu kemudian, tetapi mereka juga perlu dapat memasukkannya kembali ke aliran saya dan berkongsi dengan orang lain yang mengikuti saya. Itulah model pemprosesan batch.

Kenapa kita akan turun laluan ini? Kenapa organisasi melabur masa, usaha dan wang walaupun mempertimbangkan cabaran untuk meneruskan jalan analisis aliran? Organisasi mempunyai keinginan besar-besaran ini untuk mendapatkan keuntungan prestasi terhadap pesaing mereka dalam industri yang mereka ada dan keuntungan prestasi dapat dilaksanakan dengan cepat melalui analitik aliran mudah dan dapat dimulakan dengan mudah hanya mengesan data real-time yang sudah kami biasa dengan. Saya mendapat tangkapan skrin kecil di Google Analytics. Ini mungkin adalah salah satu kali pertama yang kita benar-benar mendapat analisis gred pengguna. Jadi, ketika orang melawat laman web anda dan anda mendapat jumlah hit tersebut, dengan sedikit JavaScript di bahagian bawah halaman web anda dalam HTML yang tertanam di laman web anda, kod-kod kecil ini dibuat secara real-time kembali ke Google dan mereka melaksanakan analitik pada aliran data yang datang dari setiap halaman di laman web anda, setiap objek di laman web anda dalam masa nyata dan mereka mengirimkannya kembali kepada anda dalam laman web kecil yang sangat comel ini di papan pemuka grafik masa nyata, histogram kecil yang comel dan graf garis menunjukkan anda bilangan orang X yang memukul halaman anda secara bersejarah, tetapi di sini berapa banyak yang ada sekarang.

Seperti yang anda lihat pada tangkapan skrin itu, ia mengatakan 25 sekarang. Itulah 25 orang sekarang pada masa screenshot itu berada di halaman itu. Itulah peluang nyata pertama yang kami mainkan pada alat analisis gred pengguna. Saya fikir ramai orang benar-benar mendapatnya. Mereka hanya memahami kuasa mengetahui apa yang sedang berlaku dan bagaimana mereka dapat memberi respons kepadanya. Apabila kita memikirkan skala avionik, pesawat terbang terbang, terdapat seperti 18, 700 penerbangan domestik sehari di Amerika Syarikat sahaja. Saya membaca kertas beberapa ketika dahulu - kira-kira enam atau tujuh tahun yang lalu - bahawa jumlah data yang dihasilkan oleh pesawat itu adalah sekitar 200 hingga 300 megabait dalam model kejuruteraan lama. Dalam reka bentuk pesawat hari ini, pesawat ini menghasilkan kira-kira 500 gigabait data atau kira-kira setengah terabyte data setiap penerbangan.

Apabila anda melakukan matematik dengan cepat dari bahagian atas kepala anda, 18, 700 penerbangan domestik setiap 24 jam di ruang udara AS sahaja, jika semua pesawat moden menghasilkan kira-kira setengah terabyte, itulah 43 hingga 44 petabytes data yang datang dan ia berlaku semasa pesawat berada di udara. Ia berlaku ketika mereka mendarat dan mereka melakukan pembuangan data. Itulah ketika mereka pergi ke kedai dan mempunyai dump data penuh dari pasukan kejuruteraan untuk melihat apa yang berlaku dalam galas, roda, dan di dalam enjin. Beberapa data itu perlu diproses dalam masa nyata supaya mereka boleh membuat keputusan mengenai jika terdapat isu sebenar sementara pesawat berada di udara atau semasa ia berada di lapangan. Anda tidak boleh melakukannya dalam mod batch. Di industri lain yang kita lihat di sana di sekitar kewangan, kesihatan, pembuatan, dan kejuruteraan, mereka juga melihat bagaimana mereka boleh mendapatkan wawasan baru ini mengenai apa yang berlaku dalam masa nyata berbanding dengan apa yang disimpan dalam pangkalan data pada terma.

Terdapat juga konsep menangani data seperti apa yang saya panggil kebaikan yang mudah rosak atau komoditi yang mudah rosak - bahawa banyak data kehilangan nilai dari masa ke masa. Ini semakin banyak kes dengan aplikasi mudah alih dan alat media sosial kerana apa yang dikatakan oleh orang dan apa yang sedang trend sekarang adalah apa yang anda mahu menjawab. Apabila anda berfikir tentang bahagian-bahagian lain dalam kehidupan kita dengan logistik dan makanan perkapalan, kita memahami konsep komoditi yang mudah rosak dalam erti kata itu. Tetapi fikirkan tentang data yang akan melalui organisasi anda dan nilai yang ada. Sekiranya seseorang melakukan perniagaan dengan anda sekarang dan anda boleh berinteraksi dengan mereka pada masa nyata, anda tidak mahu menunggu sejam supaya data boleh ditangkap dan dimasukkan ke dalam sistem seperti Hadoop dan kemudian tekan butang ini, anda tidak dapat berurusan dengannya sekarang dan anda mahu dapat melakukannya dengan permintaan pelanggan dengan segera. Ada satu istilah yang anda akan lihat sekarang banyak di mana orang bercakap tentang aliran data masa nyata ini yang dapat memberi anda keperibadian, dan peribadinya dalam sistem yang anda gunakan untuk pengalaman individu anda. Jadi, apabila anda memukul alat seperti alat Carian Google misalnya, jika saya melakukan pertanyaan dan anda melakukan pertanyaan yang sama, selalu, kami tidak mendapat data yang sama. Kami mendapat apa yang saya rujuk sebagai pengalaman selebriti. Saya dirawat dengan satu kali. Saya mendapat versi peribadi saya sendiri mengenai apa yang berlaku dalam sistem ini berdasarkan profil dan data yang mereka kumpulkan kepada saya dan saya dapat melakukan analisis dalam masa nyata dalam aliran.

Idea data yang menjadi komoditi yang mudah rosak adalah perkara sebenar buat masa kini dan nilai data yang semakin berkurang dari masa ke masa adalah sesuatu yang perlu kita hadapi hari ini. Ia bukan satu perkara semalam. Saya suka gambar beruang ini merebut salmon melompat keluar dari sungai kerana ia benar-benar melukis dengan tepat apa yang saya lihat dalam streaming analisis. Ini sungai besar data yang datang kepada kami, firehose jika anda akan, dan beruang sedang duduk di tengah-tengah sungai. Ia akan melakukan analisa masa nyata mengenai apa yang berlaku di sekelilingnya supaya ia dapat benar-benar menanam kemampuannya menangkap ikan di udara. Ia tidak seperti hanya mencelup di arus dan meraih satu. Perkara ini melompat di udara dan ia perlu berada di tempat yang betul pada masa yang sesuai untuk menangkap ikan itu. Jika tidak, dia tidak mendapat sarapan atau makan tengahari.

Organisasi mahu melakukan perkara yang sama dengan data mereka. Mereka mahu mengekstrak nilai dari apa yang kini besar-besaran data dalam gerakan. Mereka mahu melakukan analitik pada data dan data halaju yang tinggi sehingga tidak hanya jumlah data yang datang kepada kami tetapi ia adalah kelajuan di mana ia datang dari ini. Sebagai contoh keselamatan, itu semua router, suis, pelayan, firewall dan semua peristiwa yang datang dari mereka dan puluhan ribu jika tidak beratus-ratus ribu peranti, dalam beberapa kes yang data mudah rosak. Apabila kita berfikir mengenainya di Internet Perkara dan Internet perindustrian, kita bercakap tentang berjuta-juta jika tidak berbilion-bilion sensor akhirnya, dan ketika data yang datang melalui yang melakukan analisis, kita sekarang sedang mencari untuk memproses peristiwa kompleks pada perintah magnitud dan kelajuan yang belum pernah kita lihat sebelum ini dan kita perlu berurusan dengan hari ini. Kita perlu membina alat dan sistem di sekelilingnya. Ini cabaran sebenar untuk organisasi kerana pada satu pihak, kami mempunyai jenama yang sangat besar yang melakukan DIY, membakarnya sendiri, apabila mereka mempunyai keupayaan untuk melakukan itu dan menetapkan kemahiran dan kejuruteraan. Tetapi untuk organisasi purata, itu bukanlah kes itu. Mereka tidak mempunyai set kemahiran. Mereka tidak mempunyai keupayaan atau masa atau wang untuk melabur dalam memikirkannya. Mereka semua menumpukan kepada konsep ini membuat pengambilan keputusan yang hampir tepat masa.

Gunakan kes yang saya jumpai, dan mereka merentasi setiap spektrum luas setiap sektor yang boleh anda bayangkan, orang duduk dan memberi perhatian dan berkata, bagaimana kita menggunakan beberapa analisis pada data strim kami? Kami bercakap tentang perkhidmatan dalam talian berskala web. Terdapat platform media sosial tradisional dan e-tailing dalam talian dan peruncitan - aplikasi misalnya. Mereka semua cuba memberi kami pengalaman selebriti masa sebenar ini. Tetapi apabila kita turun ke lebih banyak perkhidmatan stack teknologi, perkhidmatan telefon, suara dan video, saya melihat orang ramai berjalan di sekitar melakukan FaceTime pada telefon. Ia hanya meletup. Ia menggembirakan fikiran saya bahawa orang memegang telefon di hadapan mereka dan bercakap dengan aliran video seorang kawan berbanding menahannya ke telinganya lagi. Tetapi mereka tahu mereka boleh melakukannya dan mereka menyesuaikan diri dan mereka menyukai pengalaman itu. Pengembangan aplikasi dan platform yang menyampaikan ini perlu melakukan analisa masa nyata pada lalu lintas dan profil lalu lintas sehingga mereka dapat melakukan hal-hal sederhana seperti mengarahkan video itu dengan sempurna sehingga kualitas suara dalam video yang anda dapatkan adalah mencukupi untuk mendapatkan pengalaman yang baik. Anda tidak dapat memproses proses data semacam itu. Ia tidak akan menjadikan aliran video masa nyata perkhidmatan berfungsi.

Terdapat cabaran tadbir urus dalam transaksi kewangan. Tidak baik untuk sampai ke penghujung hari dan mengetahui bahawa anda melanggar undang-undang yang mengarahkan data peribadi di sekitar tempat itu. Di Australia, kami mempunyai cabaran yang sangat menarik di mana pemindahan data berkaitan privasi adalah luar biasa. Anda tidak boleh mengambil PID saya, data pengenalan diri peribadi saya, luar pesisir. Terdapat undang-undang di Australia untuk menghentikannya daripada berlaku. Penyedia perkhidmatan kewangan khususnya, perkhidmatan kerajaan dan agensi, mereka perlu melakukan analisa masa nyata pada data dan arahan mereka dengan saya untuk memastikan bahawa apa yang mereka berikan kepada saya tidak meninggalkan pantai. Semua barangan perlu kekal di dalam negara. Mereka perlu melakukannya pada masa sebenar. Mereka tidak boleh melanggar undang-undang dan meminta pengampunan kemudian. Pengesanan penipuan - ia adalah satu perkara yang jelas yang kita dengar tentang dengan transaksi kad kredit. Tetapi kerana jenis urus niaga yang kita lakukan dalam perkhidmatan kewangan berubah sangat, sangat cepat, terdapat pelbagai perkara yang PayPal lakukan terlebih dahulu sekarang dalam mengesan penipuan dalam masa sebenar di mana wang tidak bergerak dari satu perkara ke yang lain tetapi ia transaksi kewangan antara sistem. Platform pembidaan Ebay, mengesan penipuan perlu dilakukan secara langsung di pejabat penstriman.

Terdapat trend yang bergerak sekarang untuk melakukan pengekstrakan dan mengubah aktiviti beban dalam aliran supaya kami tidak mahu menangkap apa-apa yang akan ke aliran. Kita tidak boleh melakukannya. Orang ramai telah mengetahui bahawa data suka patah dengan cepat jika kita menangkap segala-galanya. Silap mata kini adalah untuk melakukan analitik pada aliran tersebut dan melakukan ETL di atasnya dan hanya menangkap apa yang anda perlukan, berpotensi metadata, dan kemudian memandu analisis ramalan di mana kita sebenarnya boleh memberitahu apa yang akan berlaku sedikit lagi ke bawah laluan pada apa yang kita baru sahaja dilihat di aliran berdasarkan analitik yang kami lakukan pada itu.

Penyedia tenaga dan utiliti mengalami keinginan besar ini daripada pengguna untuk mendapatkan harga permintaan. Saya mungkin memutuskan bahawa saya mahu membeli kuasa hijau pada satu masa tertentu kerana saya hanya tinggal di rumah sahaja dan saya tidak menggunakan banyak peranti. Tetapi jika saya mempunyai pesta makan malam, saya mungkin mahu mempunyai semua peranti saya dan saya tidak mahu membeli kuasa murah dan menunggu ia dihantar tetapi sanggup membayar lebih banyak kos untuk mendapatkan kuasa itu. Harga permintaan ini terutamanya dalam utiliti dan ruang tenaga telah berlaku. Uber sebagai contoh adalah contoh klasik perkara yang boleh anda lakukan setiap hari dan semuanya didorong oleh harga permintaan. Terdapat beberapa contoh klasik orang di Australia yang mendapat tambang $ 10, 000 kerana permintaan besar-besaran pada Malam Tahun Baru. Saya pasti mereka telah menangani masalah itu tetapi aliran analisis dilakukan secara real time ketika di dalam kereta memberitahu anda berapa banyak yang harus saya bayar.

Internet Perkara dan aliran sensor - kita hanya melanda permukaan ini dan kita benar-benar hanya mempunyai perbualan asas yang berlaku pada ini tetapi kita akan melihat peralihan yang menarik bagaimana teknologi berkaitan dengan itu kerana apabila anda bercakap tidak hanya kira-kira beribu-ribu atau puluhan ribu tetapi beratus-ratus ribu dan berpotensi berbilion-bilion peranti yang mengalir kepada anda, hampir tidak ada susunan teknologi yang kami ada sekarang direka bentuk untuk mengatasinya.

Terdapat beberapa topik yang sangat panas yang akan kita lihat di sekitar tempat seperti risiko keselamatan dan siber. Mereka adalah cabaran yang sangat nyata bagi kami. Terdapat alat yang benar-benar kemas dipanggil Utara di web di mana anda boleh duduk dan menonton di laman web pelbagai cyberattacks berlaku dalam masa nyata. Apabila anda melihatnya, anda fikir "oh itu laman web kecil yang comel, " tetapi selepas kira-kira lima minit di sana, anda menyedari kelantangan data sistem yang melakukan analitik pada semua aliran yang berlainan dari semua peranti yang berlainan di seluruh dunia yang sedang diberi makanan kepada mereka. Ia mula boggle fikiran tentang bagaimana mereka melakukan itu di tepi rekod itu pada asasnya dan memberikan anda skrin kecil yang mudah yang memberitahu anda apa yang ada atau yang lain menyerangnya masa nyata dan jenis serangan apa. Tetapi ia adalah cara yang sangat kemas untuk mendapatkan citarasa yang bagus tentang analitik aliran apa yang mungkin berpotensi untuk dilakukan pada anda dalam masa nyata dengan hanya menonton halaman ini dan mendapat semangat hanya jumlah dan cabaran untuk mengambil aliran, memproses pertanyaan analisis pada mereka dan mewakilinya dalam masa nyata.

Saya fikir perbualan yang saya miliki untuk sepanjang sesi ini akan mengatasi semua jenis perkara dengan satu pandangan yang menarik, dari pandangan saya, dan itulah cabaran DIY, membakarnya sendiri, sesuai dengan beberapa perkara unicorns klasik yang mampu untuk membina jenis perkara. Mereka mempunyai berbilion ringgit untuk membina pasukan kejuruteraan ini dan untuk membina pusat data mereka. Tetapi untuk 99.9% organisasi di luar sana yang ingin memacu nilai dalam perniagaan analitik aliran mereka, mereka perlu mendapatkan perkhidmatan di luar rak. Mereka perlu membeli produk di luar kotak dan mereka secara amnya memerlukan beberapa perkhidmatan perundingan dan perkhidmatan profesional untuk membantu mereka melaksanakannya dan mereka memperoleh nilai itu kembali dalam perniagaan dan menjualnya kembali ke perniagaan sebagai penyelesaian kerja.

Dengan itu, saya akan berikan kembali kepada anda, Rebecca, kerana saya percaya itu yang akan kita teliti secara terperinci sekarang.

Rebecca Jozwiak: Cemerlang. Terima kasih banyak, Dez. Itu persembahan yang hebat.

Sekarang, saya akan lulus bola kepada Robin. Mengambilnya.

Robin Bloor: Baiklah. Kerana Dez telah masuk ke dalam pemprosesan aliran sungai, tidak sepatutnya masuk akal kepada saya untuk menutupnya lagi. Jadi saya hanya akan mengambil pandangan yang benar-benar strategik. Melihat hampir dari tahap yang sangat tinggi ke atas apa yang sedang berlaku dan meletakkannya kerana saya fikir ia mungkin membantu orang, terutama kita orang yang tidak berkhemah di pemprosesan sungai pada kedalaman yang besar sebelum ini.

Pemprosesan aliran telah lama wujud. Kami biasa menyebutnya CEP. Terdapat sistem masa nyata sebelum itu. Sistem kawalan proses asal sebenarnya memproses aliran maklumat - sudah tentu tidak ada yang sejauh ini. Grafik yang anda lihat pada slaid di sini; ia menunjukkan banyak perkara sebenarnya, tetapi ia menunjukkan di atas dan di luar apa-apa lagi - hakikat bahawa terdapat spektrum latensi yang muncul dalam pelbagai warna di sini. Apa yang sebenarnya berlaku sejak penciptaan pengkomputeran atau pengkomputeran komersil yang tiba di sekitar tahun 1960 ialah segala-galanya baru sahaja semakin cepat dan lebih cepat. Kami biasa bergantung kepada cara yang sebenarnya ini keluar jika anda suka dalam gelombang, kerana itulah yang kelihatannya. Ini sebenarnya bergantung padanya. Kerana ia semua didorong oleh undang-undang Moore dan undang-undang Moore 'akan memberi kita faktor sekitar sepuluh kali mempercepatkan selama tempoh kira-kira enam tahun. Kemudian apabila kita benar-benar sampai pada tahun 2013, semuanya pecah, dan kita tiba-tiba mula mempercepat pada kadar yang kita tidak pernah, yang tidak pernah berlaku sebelum ini. Kami mendapat faktor kira-kira sepuluh dari segi peningkatan dalam kelajuan dan oleh itu pengurangan kependaman setiap enam tahun. Dalam enam tahun sejak sekitar tahun 2010, kami mendapat beberapa sekurang-kurangnya seribu. Tiga pesanan magnitud daripada satu.

Itulah yang telah berlaku dan itulah sebabnya industri dalam satu cara atau yang lain nampaknya bergerak pada kelajuan yang hebat - kerana ia adalah. Hanya melalui makna grafik tertentu ini, masa tindak balas sebenarnya dengan cara berada dalam skala algoritmik ke bawah paksi menegak. Masa sebenar adalah kelajuan komputer, lebih cepat daripada manusia. Masa interaktif adalah oren. Ia adalah ketika anda berinteraksi dengan komputer di mana anda benar-benar menginginkan sepersepuluh hingga satu detik kependaman. Di atas, ada transaksinya di mana kita benar-benar berfikir tentang apa yang anda lakukan di komputer tetapi jika itu keluar dalam masa lima belas saat ia menjadi tidak tertahankan. Orang sebenarnya tidak akan menunggu komputer. Segala-galanya telah dilakukan dalam kumpulan. Banyak perkara yang telah dilakukan dalam batch kini turun ke dalam ruang transaksional, terus ke ruang interaktif atau bahkan ke ruang masa nyata. Sedangkan sebelum ini, beralun dengan jumlah data yang sangat kecil yang dapat kami lakukan beberapa ini, kini kami dapat melakukan dengan jumlah data yang sangat besar menggunakan persekitaran yang sangat berskala.

Jadi pada dasarnya, semua ini mengatakan adalah benar-benar urus niaga dan masa respons manusia interaktif. Banyak sekali perkara yang sedang dilakukan dengan sungai sekarang adalah untuk memberitahu manusia tentang perkara-perkara. Sebahagian daripadanya berjalan lebih cepat daripada itu dan ia memaklumkan barang-barang dengan baik jadi ia adalah masa sebenar. Kemudian kami mengambil lesen untuk hanya jatuh seperti batu, membuat analitik segera layak dan kebetulan agak berpatutan. Ia bukan sahaja kelajuan telah turun dan bahagian atasnya baru sahaja runtuh juga. Mungkin impak terbesar dalam semua ini di antara semua aplikasi, anda boleh melakukan semua analisis ramalan ini. Saya akan memberitahu anda kenapa dalam satu minit.

Ini hanya kedai perkakasan. Anda mendapat perisian selari. Kita bercakap tentang pada tahun 2004. Seni bina skala, pelbagai cip, peningkatan ingatan, CPU yang boleh dikonfigurasikan. SSD sekarang menjadi jauh lebih cepat daripada cakera berputar. Anda boleh memulihkan perpindahan cakera berputar yang cukup banyak. SSD berada di pelbagai teras, jadi sekali lagi lebih cepat dan lebih cepat. Tidak lama lagi untuk muncul, kami mempunyai pemristen dari HP. Kami mempunyai XPoint 3D dari Intel dan Micron. Janji mereka adalah bahawa ia akan menjadikannya semua lebih pantas dan lebih cepat. Apabila anda benar-benar memikirkan dua teknologi ingatan baru, kedua-duanya akan menjadikan keseluruhan sekeping kecil asas, papan litar individu pergi dengan lebih cepat, kita belum pernah melihatnya.

Teknologi aliran, yang merupakan mesej seterusnya, berada di sini untuk kekal. Akan ada seni bina baru. Maksud saya, Dez sememangnya disebut dalam beberapa perkara dalam persembahannya. Selama beberapa dekad, kami melihat arsitektur sebagai gabungan tumpukan data dan paip data. Kami cenderung untuk memproses timbunan dan kami cenderung untuk memasukkan data antara timbunan. Kami kini sedang bergerak ke arah asas apa yang kami panggil arsitektur data Lambda yang menggabungkan pemprosesan aliran data dengan timbunan data. Apabila anda benar-benar memproses arus peristiwa yang datang melawan data sejarah sebagai aliran data atau timbunan data, itulah yang saya maksudkan dengan seni bina Lambda. Ini adalah di peringkat awal. Ia hanya sebahagian daripada gambar. Sekiranya anda menganggap sesuatu yang rumit seperti Internet dari Segala sesuatu yang telah disebutkan oleh Dez, anda akan menyedari bahawa terdapat pelbagai masalah lokasi data - keputusan tentang apa yang harus anda proses dalam strim.

Perkara yang saya katakan di sini ialah apabila kami memproses batch, kami sebenarnya memproses aliran. Kami tidak dapat melakukannya satu demi satu. Kami hanya menunggu sehingga ada timbunan besar barangan dan kemudian kami memproses semuanya sekaligus. Kami bergerak ke keadaan di mana kita benar-benar boleh memproses barangan di arus itu. Sekiranya kita boleh memproses bahan-bahan dalam aliran, maka timbunan data yang kita pegang akan menjadi data statik yang kita perlu rujukan untuk memproses data dalam strim.

Ini membawa kita kepada perkara ini. Saya telah menyebut ini sebelum dalam beberapa persembahan dengan analogi biologi. Cara yang saya ingin anda fikirkan adalah pada masa ini kita adalah manusia. Kami mempunyai tiga rangkaian yang berbeza untuk pemprosesan ramalan masa nyata. Mereka dipanggil somatik, autonomi dan enterik. Enteric adalah perut anda. Sistem saraf autonomik kelihatan selepas perjuangan dan penerbangan. Ia sebenarnya kelihatan selepas reaksi cepat terhadap alam sekitar. Somatik yang kelihatan selepas pergerakan badan. Mereka adalah sistem masa nyata. Perkara yang menarik tentang perkara ini - atau saya rasa agak menarik - adalah lebih banyak ramalan daripada yang anda bayangkan. Seolah-olah anda sebenarnya melihat skrin sekitar 18 inci dari wajah anda. Semua yang anda dapat lihat dengan jelas, semua yang tubuh anda mampu melihat dengan jelas adalah dalam fakta sebenarnya tentang segi empat tepat 8 × 10. Segala sesuatu di luar itu sebenarnya kabur sejauh badan anda bimbang tetapi fikiran anda sebenarnya mengisi jurang dan menjadikannya tidak kabur. Anda tidak melihat kabur sama sekali. Anda melihat dengan jelas. Fikiran anda sebenarnya melakukan kaedah ramalan aliran data agar anda dapat melihat kejelasan itu. Itulah sejenis perkara yang ingin tahu tetapi anda sebenarnya boleh melihat cara sistem saraf beroperasi dan cara yang kita dapat mengelilingi dan berkelakuan dengan munasabah - sekurang-kurangnya sebahagian daripada kita - dengan cara yang munasabah dan tidak menimpa segala sesuatu sepanjang masa.

Semuanya dilakukan oleh satu siri skala analisis saraf di dalam sini. Apa yang akan berlaku ialah organisasi akan mempunyai perkara yang sama dan akan membina perkara yang sama dan ia akan menjadi pemprosesan aliran termasuk aliran dalaman organisasi - perkara-perkara yang berlaku dalam ia, perkara-perkara yang berlaku di luarnya, tindak balas segera yang sebenarnya perlu dibuat adalah memberi makan manusia untuk membuat keputusan, untuk membuat semua ini berlaku. Itu di mana kita pergi, sejauh yang saya dapat lihat.

Salah satu perkara yang menjadi akibat daripada itu ialah tahap aplikasi streaming berjalan lancar. Akan ada banyak yang lebih besar daripada yang kita lihat sekarang. Sekarang, kami memilih buah yang gantung rendah untuk melakukan perkara-perkara yang jelas.

Jadi, itulah kesimpulan di sini. Analisa streaming adalah satu bidang khusus tetapi ia menjadi arus utama dan ia tidak lama lagi akan diguna pakai secara amnya.

Dengan itu, saya akan lulus kembali kepada Rebecca.

Rebecca Jozwiak: Terima kasih banyak, Robin. Persembahan hebat seperti biasa.

Anand, awak akan datang. Lantai adalah milik anda.

Anand Venugopal: Cemerlang. Terima kasih.

Nama saya Anand Venugopal dan saya Ketua Produk untuk StreamAnalytix. Ia adalah produk yang ditawarkan oleh Impetus Technologies, dari Los Gatos, California.

Impetus sebenarnya mempunyai sejarah hebat sebagai penyedia penyelesaian data yang besar untuk perusahaan besar. Oleh itu, kami telah melakukan sejumlah pelaksanaan analitik streaming sebagai syarikat perkhidmatan dan kami mempelajari banyak pelajaran. Kami juga mengambil satu perubahan untuk menjadi syarikat produk dan syarikat yang berasaskan penyelesaian dalam beberapa tahun terakhir dan analisis aliran mengetuai pertuduhan dalam mengubah Impetus menjadi sebuah syarikat yang didorong oleh kebanyakan produk. Terdapat beberapa aset kritikal, sangat, sangat penting yang Impetus dibersihkan terima kasih kepada pendedahan kami kepada perusahaan dan StreamAnalytix adalah salah satu daripada mereka.

Kami berumur 20 tahun dalam perniagaan dan terdapat gabungan produk dan perkhidmatan hebat yang menjadikan kami kelebihan yang besar. Dan StreamAnalytix dilahirkan dari semua pelajaran yang dipelajari dari lima atau enam pelaksanaan pertama penstriman.

Saya akan menyentuh beberapa perkara, tetapi para penganalisis, Dez dan Robin, telah melakukan kerja yang hebat untuk meliputi keseluruhan ruang supaya saya akan melangkau banyak kandungan yang bertindih. Saya mungkin akan pergi dengan cepat. Kami melihat selain kes aliran sebenar menggunakan banyak percepatan batch sahaja yang terdapat proses batch sangat penting dan sangat penting dalam perusahaan. Seperti yang anda dapat lihat, kitaran keseluruhan ini merasakan satu peristiwa dan menganalisis dan bertindak di atasnya sebenarnya boleh mengambil minggu di perusahaan besar dan mereka semua cuba mengecilkannya ke dalam beberapa minit dan kadang kala dan milisaat. Jadi apa-apa yang lebih cepat daripada semua proses batch ini adalah calon untuk pengambilalihan perniagaan dan itu sangat baik meletakkan bahawa nilai data secara dramatik berkurang dengan usianya, sehingga semakin banyak nilai yang ada pada bagian awal dalam detik yang baru saja terjadi. Sebaik-baiknya, jika anda boleh meramalkan apa yang akan berlaku, itu adalah nilai tertinggi. Yang bergantung kepada ketepatan, walaupun. Nilai tertinggi seterusnya adalah apabila ia berada di sana apabila ia berlaku, anda boleh menganalisis dan menjawabnya. Sudah tentu, nilai itu secara dramatik mengurangkan selepas itu, BI yang menyekat utama kami.

Ia menarik. Anda mungkin menjangkakan beberapa jawapan saintifik secara mendadak mengapa analisis streaming. Dengan banyak kes, apa yang kita lihat adalah kerana ia sekarang mungkin dan kerana semua orang tahu batch sudah tua, batch membosankan dan batch tidak sejuk. Terdapat pendidikan yang cukup bahawa semua orang kini mempunyai hakikat bahawa ada streaming yang mungkin dan semua orang mempunyai Hadoop sekarang. Sekarang distribusi Hadoop mempunyai teknologi penstriman yang tertanam di dalamnya, sama ada aliran Storm atau Spark dan antrian mesej tentu saja, seperti Kafka, dll.

Perusahaan yang kita lihat melompat ke dalamnya dan mula bereksperimen dengan kes-kes ini dan kita melihat dua kategori yang luas. Satu mempunyai kaitan dengan analisis pelanggan dan pengalaman pelanggan dan kecerdasan operasi kedua. Saya akan masuk ke dalam beberapa butir-butir itu sedikit demi sedikit. Seluruh pengalaman pelanggan dan pelanggan pengalaman sudut dan kami di Impetus StreamAnalytix telah melakukan ini dalam banyak cara yang berbeza benar-benar semua benar-benar, benar-benar menangkap penglibatan berbilang saluran pengguna dalam masa nyata dan memberikan mereka sangat, sangat sensitif pengalaman pengalaman yang tidak biasa hari ini. Jika anda melayari laman web, di laman web Bank of America, dan anda sedang meneliti beberapa produk dan anda hanya menghubungi pusat panggilan. Adakah mereka berkata, "Hey Joe, saya tahu anda sedang meneliti beberapa produk perbankan, adakah anda mahu saya mengisi anda?" Anda tidak menjangkakan hari ini, tetapi itulah jenis pengalaman yang benar-benar mungkin dengan analisis aliran. Dalam banyak kes, ia membuat perbezaan yang sangat besar, terutamanya jika pelanggan mula meneliti cara untuk keluar dari kontrak dengan anda dengan melihat klausa penamatan awal atau terma dan syarat penamatan awal di laman web anda dan kemudian memanggil dan anda tidak dapat secara langsung menghadapi mereka mengenainya tetapi hanya secara tidak langsung membuat tawaran mengenai beberapa jenis promosi pertama kerana sistem mengetahui bahawa orang ini melihat penamatan awal dan anda membuat tawaran itu pada ketika itu, anda boleh melindungi pelanggan yang berpura-pura itu dan melindungi aset tersebut .

Ini akan menjadi satu contoh, ditambah banyak perkhidmatan pelanggan adalah semua contoh yang sangat baik. Kami melaksanakan hari ini membawa kos di pusat panggilan serta menyediakan pengalaman pelanggan dramatik yang menarik. Dez melakukan kerja yang baik dalam meringkaskan beberapa kes penggunaan. Anda boleh merenung carta ini selama beberapa minit. Saya mengklasifikasikannya sebagai kawasan menegak, melintang, dan combo, IoT, aplikasi mudah alih dan pusat panggilan. Mereka semua menegak dan melintang. Ia bergantung pada bagaimana anda melihatnya. Intinya, kita melihat banyak penggunaan melintang yang cukup umum di seluruh menegak industri dan terdapat kes penggunaan tertentu menegak termasuk perkhidmatan kewangan, penjagaan kesihatan, telekom, pembuatan, dan sebagainya. Jika anda benar-benar bertanya pada diri sendiri soalan atau memberitahu diri anda sendiri itu, "oh, saya tidak tahu apa kes penggunaannya ada. Saya tidak pasti sama ada terdapat sebarang nilai perniagaan dalam analitik penstriman untuk syarikat saya atau untuk perusahaan kami, "berfikir dengan keras, berfikir dua kali. Bercakap dengan lebih ramai orang kerana terdapat kes-kes penggunaan di syarikat anda yang relevan hari ini. Saya akan masuk ke dalam nilai perniagaan mengenai betapa tepatnya nilai perniagaan diperolehi.

Di bahagian bawah piramid di sini, anda mempunyai penyelenggaraan ramalan, keselamatan, perlindungan, dan lain-lain. Jenis-jenis kes penggunaannya merupakan perlindungan pendapatan dan aset. Sekiranya Sasaran melindungi pelanggaran keselamatan mereka yang berlaku selama berjam-jam dan minggu, CIO dapat menyelamatkan tugasnya. Ia dapat menjimatkan puluhan atau ratusan juta dolar, dan sebagainya. Analisa streaming masa nyata membantu dalam melindungi aset tersebut dan melindungi kerugian. Itulah nilai perniagaan langsung yang ditambah di sana.

Kategori seterusnya menjadi lebih menguntungkan, menurunkan kos anda dan memperoleh lebih banyak pendapatan daripada operasi semasa. Itulah kecekapan perusahaan semasa. Ini adalah semua kategori kes penggunaan yang kami panggil kecerdasan operasi masa nyata di mana anda mendapat gambaran yang mendalam mengenai bagaimana rangkaian itu berperilaku, bagaimana operasi pelanggan anda berkelakuan, bagaimana proses perniagaan anda berkelakuan, dan anda dapat menapis semua itu dalam masa nyata kerana anda mendapat maklum balas, anda mendapat peringatan. Anda dapat membina, variasi dalam masa nyata dan anda dengan cepat boleh bertindak dan memisahkan proses yang keluar dari batas.

Anda berpotensi juga dapat menjimatkan banyak wang dalam peningkatan modal mahal dan hal-hal yang anda fikir perlu yang mungkin tidak perlu jika anda mengoptimumkan perkhidmatan rangkaian. Kami mendengar satu kes di mana sebuah telco utama menunda peningkatan $ 40 juta dalam infrastruktur rangkaian mereka kerana mereka mendapati bahawa mereka mempunyai kapasiti yang cukup untuk menguruskan lalu lintas mereka sekarang, iaitu dengan mengoptimumkan dan melakukan lebih baik laluan laluan pintar dan perkara-perkara seperti itu. Mereka semua mungkin hanya dengan beberapa analisis dan mekanisme tindakan masa nyata yang bertindak pada pandangan tersebut dalam masa nyata.

Tingkat tambah nilai seterusnya adalah up-sell, menjual silang di mana terdapat peluang untuk membuat lebih banyak pendapatan dan keuntungan daripada penawaran semasa. Ini adalah contoh klasik yang banyak daripada kita tahu tentang mereka yang telah mengalami di mana, anda berfikir dalam kehidupan anda di mana anda bersedia untuk benar-benar membeli produk hari ini yang tidak ditawarkan kepada anda. Dalam banyak kes, banyak kes, yang sebenarnya berlaku. Anda mempunyai perkara dalam fikiran anda bahawa anda ingin membeli yang anda tahu anda mahu membeli, bahawa anda mempunyai senarai tugas atau sesuatu, bahawa isteri anda memberitahu anda atau jika anda tidak mempunyai isteri tetapi anda benar-benar mahu membeli dan anda pergi sama ada membeli-belah di laman web atau anda berinteraksi di kedai runcit, kedai hanya tidak mempunyai konteks, tidak mempunyai kecerdasan untuk mengira apa yang anda perlukan. Oleh itu, mereka tidak mendapat perniagaan mereka selamat. Jika analitik penstriman boleh digunakan untuk benar-benar membuat ramalan yang tepat dan yang benar-benar mungkin untuk apa yang paling sesuai dengan konteks tertentu ini, pelanggan ini pada masa ini di lokasi ini, terdapat banyak up-sell dan jualan silang dan sekali lagi datang dari streaming analisis - dapat membuat keputusan kecenderungan tentang apa yang pelanggan ini mungkin membeli atau membalas pada saat kebenaran ketika ada kesempatan. Itulah sebabnya saya suka gambar yang ditunjukkan Dez dengan beruang itu hanya untuk makan ikan itu. Itu cukup banyak.

Kami juga berpendapat terdapat kategori besar di luar sana, perubahan transformasi dalam perusahaan yang menawarkan produk dan perkhidmatan sepenuhnya baru hanya berdasarkan pemerhatian tingkah laku pelanggan, semuanya berdasarkan pemerhatian tingkah laku perusahaan lain. Jika, katakanlah, sebuah syarikat telekomunikasi atau syarikat kabel benar-benar memerhatikan corak penggunaan pelanggan dalam segmen pasaran apa yang dia lihat, program apa pada masa apa pun, dan sebagainya, mereka sebenarnya menghasilkan produk dan perkhidmatan yang hampir dipohon kerana dalam beberapa cara. Oleh itu, keseluruhan konsep perilaku berbilang skrin sekarang di mana kita sekarang hampir mengambilnya kerana kita dapat melihat kandungan TV atau kabel pada aplikasi mudah alih kami. Beberapa contohnya datang dari produk dan perkhidmatan baru yang ditawarkan kepada kami.

Saya akan masuk, "Apakah pertimbangan arsitektur analisis streaming?" Ini akhirnya apa yang kita cuba lakukan. Ini adalah arsitektur Lambda yang menggabungkan data sejarah dan wawasan masa nyata dan melihatnya pada masa yang sama. Itulah yang membolehkan Sigma. Kita semua mempunyai seni bina kumpulan dan gambaran perusahaan hari ini. Kami mengumpulkan beberapa jenis stack BI dan penggunaan stack dan arkib Lambda ditambah. Oleh kerana lapisan kelajuan atau keperluan dan Lambda adalah mengenai penggabungan kedua-dua pandangan dan melihatnya dengan cara gabungan, dengan cara yang kaya yang menggabungkan kedua-dua pandangan.

Terdapat satu lagi paradigma yang dipanggil seni bina Kappa yang dicadangkan di mana ramalannya adalah bahawa lapisan kelajuan adalah satu-satunya mekanisme masukan yang akan berterusan dalam jangka panjang. Segala-galanya akan melalui lapisan kelajuan ini. Tidak ada mekanisme ETL di luar talian. Semua ETL akan berlaku. Membersihkan, pembersihan data, kualiti ETL - semua itu akan berlaku pada wayar, kerana perlu diingat semua data dilahirkan secara real time. Pada satu ketika, ia adalah masa sebenar. Kami telah biasa digunakan untuk meletakkan ini di tasik, di sungai dan lautan, kemudian melakukan analisis statik yang kami lupa bahawa data itu dilahirkan pada satu ketika dalam masa nyata. Semua data sebenarnya dilahirkan sebagai peristiwa masa nyata yang berlaku pada masa yang tepat dan sebahagian besar data hari ini di tasik hanya dimasukkan ke dalam pangkalan data untuk analisa kemudian dan sekarang kita mempunyai kelebihan dalam seni bina Lambda dan Kappa sebenarnya melihatnya, menganalisisnya, pra memprosesnya dan bertindak balas kepadanya apabila ia tiba. Itulah yang dibolehkan oleh teknologi ini. Apabila anda melihatnya sebagai gambaran keseluruhan, ia kelihatan seperti ini di mana terdapat Hadoop di dalam, ada MPP, dan gudang data yang anda sudah ada.

Kami meletakkan ini kerana penting untuk tidak hanya bercakap tentang teknologi baru di sebuah pulau. Mereka perlu disatukan. Mereka perlu masuk akal dalam konteks perusahaan semasa, dan sebagai penyedia penyelesaian yang melayani perusahaan, kami sangat sensitif terhadap hal ini. Kami membantu perusahaan menyatukan semuanya. Terdapat sumber data di sebelah kiri memberi makan kepada kedua-dua lapisan data Hadoop dan gudang data serta lapisan masa nyata di atas dan setiap entiti tersebut adalah komputer saham seperti yang anda lihat dan lapisan penggunaan data berada di sebelah kanan sebelah. Terdapat usaha yang berterusan untuk memindahkan majoriti pematuhan, tadbir urus, keselamatan, pengurusan kitaran hayat, dan lain-lain, yang tersedia hari ini semuanya telah dikumpulkan ke dalam teknologi baru ini.

Salah satu perkara yang melakukan analitik aliran cuba dilakukan, jika anda melihat landskap hari ini, terdapat banyak perkara yang berlaku dalam landskap teknologi penstriman dan dari sudut pandang pelanggan perusahaan, terdapat banyak yang perlu difahami. Terdapat banyak cara untuk bersaing. Terdapat mekanisme pengumpulan data di sebelah kiri - NiFi, Logstash, Flume, Sqoop. Jelas sekali, saya telah meletakkan penafian kerana tidak lengkap. Datang ke barisan mesej dan kemudian masuk ke enjin streaming sumber terbuka - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Heron mungkin belum dibuka. Saya tidak pasti sama ada dari Twitter. Mereka yang menghidupkan enjin kemudiannya membawa atau menyokong komponen aplikasi analitis persediaan seperti pemprosesan acara kompleks, pembelajaran mesin, analisis ramalan, modul amaran, streaming ETL, penapis operasi statistik pengayaan. Itu semua yang kita panggil sekarang operator. Set operator-operator ini apabila bersambungan bersama akan berpotensi juga beberapa kebiasaan menyimpulkan jika perlu menjadi aplikasi streaming yang berjalan pada enjin streaming.

Sebagai sebahagian daripada rangkaian komponen, anda juga perlu menyimpan dan mengindeks data ke dalam pangkalan data kegemaran anda, indeks kegemaran anda. Anda mungkin perlu mengedarkan cache dan sekali lagi yang membawa kepada lapisan visualisasi data di sebelah kanan di bahagian atas untuk produk komersial atau produk sumber terbuka, tetapi pada akhirnya anda memerlukan sejenis produk untuk memvisualisasikan data tersebut dalam masa nyata. Juga, anda perlu kadang-kadang mencari aplikasi lain. Kita semua melihat bahawa nilai-nilai yang diperolehi hanya oleh tindakan yang anda ambil pada wawasan, tindakan itu akan menjadi pencetus dari timbunan analitik ke dalam timbunan aplikasi lain yang mungkin mengubah itu sesuatu di sisi IVR atau mencetuskan pusat panggilan panggilan keluar atau sesuatu seperti itu. Kita perlu mempunyai sistem tersebut bersepadu dan beberapa mekanisme untuk aliran streaming anda untuk mencetuskan aplikasi lain untuk menghantar data ke hiliran.

Itulah timbunan keseluruhan dari pergi dari kiri ke kanan. Kemudian anda mempunyai lapisan perkhidmatan, pemantauan pertengahan, lapisan perkhidmatan umum keselamatan, dan lain-lain. Berapa produk yang berada di luar ruang perusahaan yang dilihat pelanggan seperti pengedaran Hadoop yang semua telah streaming seperti yang saya katakan dan ada komersial atau tunggal - Penyelesaian penjual yang jelas di dalam pesaing kita. Terdapat banyak lagi juga dalam landskap yang tidak mungkin disebutkan di sini.

Apa yang anda lihat terdapat secara meluas pengguna perusahaan melihat. Landskap teknologi yang kompleks dan pantas untuk pemprosesan aliran, seperti yang anda lihat. Kami perlu menyederhanakan pilihan dan pengalaman pengguna mereka. Apa yang kita fikir syarikat benar-benar memerlukan adalah abstraksi fungsi semua dalam satu-stop-shop, antara muka yang mudah digunakan yang menyatukan semua teknologi yang menjadikannya sangat mudah digunakan dan tidak mendedahkan semua bahagian yang bergerak dan isu degradasi dan isu prestasi serta isu penyelenggaraan kitaran hayat kepada perusahaan.

Fungsi abstraksi adalah satu. Bahagian kedua ialah abstraksi enjin streaming. Enjin streaming dan domain sumber terbuka akan muncul setiap tiga, empat atau enam bulan sekarang. Ia adalah Ribut untuk masa yang lama. Samza datang dan kini Spark Streaming. Flink sedang menaikkan kepalanya, mula mendapat perhatian. Malah peta jalan Spark Streaming, mereka membuat jalan untuk berpotensi menggunakan enjin yang berbeza untuk proses pemprosesan tulen kerana mereka juga menyedari bahawa Spark direka bentuk untuk kumpulan dan mereka membuat jalan dalam visi seni bina dan pelan mereka untuk berpotensi mempunyai perbezaan enjin untuk pemprosesan aliran selain corak microbatch semasa dalam Spark Streaming.

Ia adalah realiti bahawa anda perlu bersaing dengan bahawa akan ada banyak evolusi. Anda benar-benar perlu melindungi diri anda dari fluks teknologi itu. Kerana secara lalai, anda perlu memilih satu dan kemudian hidup dengannya, yang tidak optimum. Jika anda melihatnya dengan cara yang lain, anda berjuang antara, "okay, saya perlu membeli platform proprietari di mana tidak ada lock-in, tidak ada leverage open source, boleh jadi sangat mahal dan terhad fleksibiliti berbanding semua timbunan sumber terbuka ini di mana anda dapat melakukannya sendiri. "Sekali lagi, seperti yang saya katakan, ia banyak kos dan kelewatan dalam pasaran. Apa yang kami katakan ialah StreamAnalytix adalah salah satu contoh platform hebat yang menarik bersama kelas enterprise, vendor tunggal yang boleh dipercayai, perkhidmatan profesional yang disokong - semua yang anda perlukan sebagai perusahaan dan kuasa fleksibiliti ekosistem sumber terbuka di mana satu platform membawa mereka bersama - Ingest, CEP, analisis, visualisasi dan semua itu.

Ia juga melakukan perkara yang sangat unik, yang menyatukan pelbagai enjin teknologi yang berbeza di bawah satu pengalaman pengguna tunggal. Kami benar-benar berfikir masa depan adalah mengenai dapat menggunakan pelbagai enjin penstriman kerana kes-kes penggunaan yang berbeza benar-benar memerlukan arus pergerakan yang berbeza. Seperti kata Robin, terdapat spektrum latensi yang menyeluruh. Jika anda benar-benar bercakap tentang tahap latensi milisekon, puluhan atau bahkan beratus-ratus milisaat, anda benar-benar memerlukan Ribut pada masa ini sehingga terdapat satu lagi produk yang sama matang untuk kurang leniency atau jangka masa yang lemah dan latensi mungkin dalam beberapa saat, tiga, empat, lima saat, yang berkisar, maka anda boleh menggunakan Spark Streaming. Berpotensi, ada enjin lain yang boleh melakukan keduanya. Bottom line, dalam perusahaan besar, akan ada kes penggunaan semua jenis. Anda benar-benar mahukan akses dan generalisasi untuk mempunyai banyak mesin dengan satu pengalaman pengguna dan inilah yang kami cuba bina di StreamAnalytix.

Hanya dengan cepat melihat seni bina. Kami akan mengolah semula ini sedikit, tetapi pada dasarnya, terdapat banyak sumber data yang datang di sebelah kiri - Kafka, RabbitMQ, Kinesis, ActiveMQ, semua sumber data dan barisan mesej yang masuk ke platform pemprosesan aliran di mana anda dapat memasang aplikasi, di mana anda boleh menyeret dan menggugurkan daripada pengendali seperti ETL, semua perkara yang kami bincangkan. Di bawah, terdapat pelbagai enjin. Pada masa ini, kami mempunyai Storm dan Spark Streaming sebagai platform penstriman kelas satu-satunya dan yang pertama di industri yang mempunyai banyak sokongan enjin. Itu sangat unik, fleksibiliti yang kami tawarkan selain semua fleksibiliti lain yang mempunyai papan pemuka masa nyata. Enjin CET tertanam. Kami mempunyai integrasi yang lancar dengan indeks Hadoop dan NoSQL, Solr dan Apache. Anda boleh mendarat ke pangkalan data kegemaran anda tidak peduli apa itu dan membina aplikasi dengan cepat dan dapat memasarkan dengan cepat dan tetap menjadi bukti masa depan. Itulah mantra keseluruhan kami di StreamAnalytix.

Dengan itu, saya fikir saya akan menyimpulkan ucapan saya. Jangan ragu untuk datang kepada kami untuk lebih banyak soalan. Saya ingin menyimpan lantai terbuka untuk perbincangan panel dan Q & A.

Rebecca, kepada kamu.

Rebecca Jozwiak: Hebat, okay. Terima kasih banyak-banyak. Dez dan Robin, adakah anda mempunyai beberapa soalan sebelum kita menyerahkannya kepada Q & A khalayak?

Robin Bloor: Saya ada soalan. Saya akan meletakkan semula fon kepala saya supaya anda dapat mendengar saya. Salah satu perkara yang menarik, jika anda boleh memberitahu saya ini, banyak perkara yang saya lihat di ruang sumber terbuka melihat apa yang saya katakan tidak matang kepada saya. Dalam erti kata lain, ya, anda boleh melakukan pelbagai perkara. Tetapi nampaknya kita melihat perisian dalam pelepasan pertama atau kedua dalam realiti dan saya hanya tertanya-tanya dengan pengalaman anda sebagai sebuah organisasi, berapa banyak yang anda lihat ketidakupayaan persekitaran Hadoop sebagai bermasalah atau adakah sesuatu yang tidak ' t mencipta terlalu banyak masalah?

Anand Venugopal: Ini adalah realiti, Robin. Awak sememangnya betul. Ketidakmampuan tidak semestinya dalam bidang kestabilan dan hal-hal yang berfungsi sahaja, tetapi mungkin beberapa kes itu juga. Tetapi ketidakupayaan lebih kepada kesediaan penggunaan. Produk sumber terbuka apabila mereka keluar dan walaupun mereka ditawarkan oleh pengedaran Hadoop, mereka semua banyak produk yang berkebolehan, komponen hanya ditampar bersama-sama. Mereka tidak bekerjasama secara lancar dan tidak direka untuk pengalaman pengguna lancar yang lancar yang akan kami dapatkan seperti Bank of America atau Verizon atau AT & T, untuk menggunakan aplikasi analisis streaming dalam beberapa minggu. Mereka tidak direka untuk itu. Inilah sebabnya mengapa kami masuk. Kami membawanya bersama dan menjadikannya sangat mudah difahami, digunakan, dan sebagainya.

Kematangan fungsional itu, saya fikir sebahagian besar, ada di sana. Banyak perusahaan besar menggunakan contoh Storm hari ini. Banyak syarikat besar yang bermain dengan Spark Streaming hari ini. Setiap enjin ini mempunyai batasan mereka dalam apa yang mereka boleh lakukan sebab itu adalah penting untuk mengetahui apa yang anda boleh dan apa yang tidak boleh dilakukan dengan setiap enjin dan tidak ada gunanya memecahkan kepalanya ke dinding dan berkata, "Lihat saya memilih Spark Streaming dan ia tidak berfungsi untuk saya dalam industri tertentu ini. "Ia tidak akan berfungsi. Ada akan menggunakan kes-kes di mana Spark Streaming akan menjadi pilihan terbaik dan ada akan menggunakan kes di mana Spark Streaming mungkin tidak berfungsi sama sekali untuk anda. Itulah sebabnya anda memerlukan banyak pilihan.

Robin Bloor: Nah, anda perlu mempunyai pasukan pakar di papan untuk kebanyakannya. Maksud saya, saya tidak tahu di mana untuk memulakannya sama ada. Satu tindakan akal yang bijak bagi individu mahir. Saya berminat bagaimana pertunangan anda terlibat dan bagaimana ia berlaku. Adakah kerana sesebuah syarikat tertentu selepas permohonan tertentu atau anda melihat jenis apa yang saya akan panggilkan adopsi strategik di mana mereka mahu seluruh platform melakukan banyak perkara.

Anand Venugopal: Kami melihat contoh kedua-dua, Robin. Beberapa jenama sepuluh teratas yang diketahui oleh semua orang akan berlaku dengan cara yang sangat strategik. Mereka tahu bahawa mereka akan mempunyai pelbagai kes penggunaan sehingga mereka menilai platform yang sesuai dengan kebutuhan itu, yang merupakan berbagai macam kasus penggunaan yang berbeda dalam cara penyedia multi-tenant untuk digunakan di perusahaan. Ada kisah kes penggunaan tunggal yang bermula juga. Terdapat kes pemantauan aktiviti perniagaan jenis-jenis dalam sebuah syarikat gadai janji yang kami sedang bekerja di mana anda tidak akan bayangkan sebagai kes penggunaan pertama tetapi itu adalah penyelesaian perniagaan atau menggunakan kes yang mereka sertai dan kemudian kami menyambung titik-titik untuk streaming . Kami berkata, "Anda tahu apa? Ini adalah kes yang hebat untuk analisis streaming dan inilah cara kami dapat melaksanakannya. "Itulah bagaimana ia bermula. Kemudian, dalam proses itu, mereka mendapat pendidikan dan berkata, "Oh, jika kita boleh melakukan ini dan jika ini adalah platform generik, maka kita boleh memisahkan aplikasi itu, meletakkannya ke dalam platform, dan membina banyak aplikasi yang berbeza mengenai ini platform. "

Robin Bloor: Dez, ada soalan?

Anand Venugopal: Dez mungkin bisu.

Dez Blanchfield: Memohon maaf, bisu. Saya hanya mempunyai perbualan yang baik sendiri. Hanya mengikuti pemerhatian asal Robin, anda betul-betul betul. Saya fikir cabaran sekarang adalah perusahaan mempunyai ekosistem dan persekitaran budaya dan tingkah laku di mana perisian bebas dan sumber terbuka adalah sesuatu yang diketahui oleh mereka dan mereka dapat menggunakan alat seperti Firefox sebagai penyemak imbas dan ia mempunyai kebolehan seumur hidup sehingga menjadi stabil dan terjamin. Tetapi beberapa platform yang sangat besar yang mereka gunakan adalah platform hak milik perusahaan. Oleh itu, penggunaan apa yang saya anggap sebagai platform sumber terbuka tidak semestinya sesuatu yang mudah untuk mereka secara budaya atau emosi. Saya telah melihat ini hanya menerapkan program kecil yang merupakan projek tempatan untuk hanya bermain dengan data dan analisis besar sebagai konsep asas. Saya fikir salah satu daripada cabaran utama, saya yakin anda telah melihat mereka sekarang di seluruh organisasi, adalah keinginan mereka untuk mendapatkan hasil tetapi pada masa yang sama mempunyai satu kaki mereka yang terperangkap di tempat lama yang boleh dibeli daripada "Masukkan jenama besar" Oracle, IBM dan Microsoft. Jenama-jenama baru dan yang terkenal ini telah melalui platform Hadoop dan lebih banyak lagi. Jenama yang lebih menarik akan datang yang mempunyai teknologi terkini seperti aliran.

Apakah jenis perbualan yang anda miliki untuk mendapatkan atau memotongnya? Saya tahu bahawa kita mempunyai kehadiran besar-besaran pagi ini dan satu perkara yang saya pasti ada pada fikiran semua orang adalah "Bagaimana saya memotong lapisan yang mencabar dari papan ke tahap pengurusan, oh ia terlalu terbuka dan terlalu pendarahan? "Bagaimanakah perbualan yang anda ada dengan pelanggan pergi dan bagaimana anda memotong ke titik di mana anda menyesuaikan jenis ketakutan untuk mempertimbangkan mengguna pakai seperti StreamAnalytix?

Anand Venugopal: Kami sebenarnya mendapati ia agak mudah untuk menjual proposisi nilai kami kerana pelanggan secara semula jadi bergerak ke arah sumber terbuka sebagai pilihan pilihan. Mereka tidak mudah menyerah dan berkata, "Baiklah, saya sekarang akan membuka sumber." Mereka sebenarnya melalui penilaian yang sangat komited terhadap produk utama, katakan ia IBM atau produk tipikal, kerana mereka mempunyai hubungan vendor ini. Mereka tidak akan melayan kami atau enjin sumber terbuka terhadap produk itu. Mereka akan melalui enam hingga lapan hingga dua belas minggu penilaian. Mereka akan meyakinkan diri mereka bahawa terdapat tahap prestasi dan kestabilan di sini yang saya mahu dan kemudian mereka membuat fikiran mereka berkata, "Wah, anda tahu apa, saya sebenarnya dapat melakukan ini."

Hari ini sebagai contoh, kami mempunyai satu telekomunikasi utama yang mempunyai analisis aliran yang dijalankan dalam pengeluaran di atas banyak timbunan dan mereka menilai bahawa terhadap vendor terkenal yang sangat besar dan sangat terkenal dan mereka yakin hanya selepas kami membuktikan semua prestasi, kestabilan dan semua perkara itu. Mereka tidak mengambil begitu sahaja. Mereka mendapati sumber terbuka adalah cekap melalui penilaian mereka dan mereka menyedari bahawa, kes yang paling teruk, "Mungkin terdapat dua kes penggunaan yang mungkin tidak dapat saya lakukan tetapi kebanyakan kes penggunaan percepatan perniagaan saya hari ini sangat mungkin dengan sumber terbuka timbunan. "Dan kami membolehkan penggunaannya. Jadi itulah tempat manis yang besar di sana. Mereka mahukan sumber terbuka. Mereka benar-benar mencari untuk keluar dari keadaan lock-in vendor yang telah digunakan untuk selama bertahun-tahun. Kemudian di sini kita datang dan berkata, "Anda tahu apa, kami akan membuat sumber terbuka banyak, lebih mudah dan ramah untuk digunakan untuk anda."

Dez Blanchfield: Saya fikir cabaran lain yang ditemui oleh perusahaan adalah apabila mereka membawa penyandang tradisional mereka sering menjadi generasi di sebalik beberapa masalah pendarahan yang menarik yang kita bicarakan di sini dan saya tidak bermaksud bahawa sebagai sedikit negatif. Hanya kenyataan bahawa mereka mempunyai generasi dan perjalanan untuk melepaskan apa yang mereka anggap sebagai platform yang stabil untuk dilalui, pembangunan sekolah lama dan kitaran integrasi UATN dan ujian dan dokumentasi, pemasaran dan jualan. Sedangkan dalam jenis yang anda lakukan, saya fikir perkara yang saya berminat untuk dipikir adalah melihat beberapa siaran terbaharu anda malam tadi melakukan beberapa jenis kerja penyelidikan, anda mempunyai campuran ini sekarang di mana anda mendapat kecekapan dari sudut pandangan perundingan di hadapan dan pelaksanaan tetapi anda juga mendapat timbunan yang boleh dilancarkan. Saya fikir ini adalah di mana penyandang akan bergelut beberapa lama. Kami telah melihat banyak daripada mereka seperti yang saya lakukan di pasaran. Mereka sering dalam apa yang saya panggil nod catch-up sedangkan dari apa yang anda beritahu kami ketika anda di luar sana membuat perbualan itu dan anda di luar sana melaksanakan.

Bolehkah anda memberi kami beberapa contoh beberapa garis sempadan yang telah anda lihat? Sebagai contoh, terdapat persekitaran yang sangat menarik seperti sains roket dan meletakkan satelit di angkasa dan mengumpul data dari Marikh. Hanya segelintir orang yang melakukan itu di planet ini. Tetapi terdapat gaya menegak yang besar seperti kesihatan, contohnya, dalam aeronautik, dalam perkapalan dan logistik, dalam bidang pembuatan dan kejuruteraan, apakah beberapa contoh sektor industri yang lebih besar dan lebih luas yang telah anda setakat ini sehingga anda telah melihat benar-benar baik pengangkatan dalam?

Anand Venugopal: Telco adalah contoh besar.

Saya akan segera membetulkan slaid saya di sini. Adakah anda dapat melihat slaid di sini, kajian kes 4?

Ini adalah kes telco yang besar memakan data set-top box dan melakukan pelbagai perkara dengannya. Mereka melihat apa yang benar-benar dilakukan oleh pelanggan dalam masa nyata. Mereka melihat di mana ralat berlaku dalam masa nyata dalam kotak set-top. Mereka cuba memaklumkan kepada pusat panggilan, jika pelanggan ini memanggil sekarang, kod pautan maklumat dari kotak set-top pelanggan ini, maklumat tiket penyelenggaraan dengan cepat menghubungkan sama ada kotak set-top pelanggan ini mempunyai masalah atau tidak sebelum pelanggan bercakap perkataan. Setiap syarikat kabel, setiap telco utama sedang berusaha untuk melakukan ini. Mereka menelan data kotak set-top, melakukan analisis masa nyata, melakukan analisis kempen supaya mereka dapat meletakkan iklan mereka. Terdapat kes penggunaan yang besar.

Seperti yang saya katakan, terdapat syarikat gadai janji ini yang sekali lagi merupakan corak generik dimana sistem besar terlibat dalam memproses data dari. Data yang mengalir melalui sistem A ke sistem B ke sistem C dan ini adalah perniagaan terkawal yang semuanya perlu konsisten. Selalunya, sistem tidak saling selaras dengan satu sama lain, satu sistem berkata, "Saya sedang memproses seratus pinjaman dengan jumlah nilai $ 10 juta." Sistem itu berkata, "Tidak, saya memproses 110 pinjaman daripada yang lain nombor yang berbeza. "Mereka perlu menyelesaikannya dengan cepat kerana sebenarnya mereka memproses data yang sama dan membuat tafsiran yang berbeza.

Sama ada kad kredit, pemprosesan pinjaman, proses perniagaan, atau sama ada ia merupakan proses perniagaan gadai janji atau sesuatu yang lain, kami membantu mereka melakukan korelasi dan perdamaian secara real time untuk memastikan proses-proses perniagaan tersebut bersegerakkan. Itulah satu lagi kes penggunaan yang menarik. Terdapat kontraktor utama AS yang melihat trafik DNS untuk melakukan pengesanan anomali. Terdapat model latihan luar talian yang mereka bina dan mereka melakukan pemarkahan berdasarkan model itu pada trafik masa nyata. Beberapa kes penggunaan yang menarik. Terdapat syarikat penerbangan utama yang melihat antrian keselamatan dan mereka cuba memberi anda maklumat itu bahawa, "Hei, itu adalah pintu anda untuk pesawat anda untuk penerbangan anda. Giliran TSA hari ini adalah kira-kira 45 minit berbanding dua jam berbanding sesuatu yang lain. "Anda mendapat kemas kini yang terdahulu. Mereka masih mengusahakannya. Menarik penggunaan IoT tetapi kes analitik aliran besar menuju ke pengalaman pelanggan.

Rebecca Jozwiak: Ini adalah Rebecca. Semasa anda menggunakan subjek kes penggunaan, ada soalan hebat dari seorang penonton yang bertanya-tanya, "Adakah kajian kes ini, apakah inisiatif ini didorong dari sistem maklumat analisis rumah atau mereka lebih didorong dari perniagaan yang mempunyai soalan atau keperluan tertentu dalam fikiran? "

Anand Venugopal: Saya fikir kita melihat kira-kira 60 peratus atau lebih, 50 peratus hingga 55 peratus, inisiatif teknologi yang sangat proaktif dan penuh semangat yang diketahui, yang berlaku agak arif dan memahami keperluan perniagaan tertentu dan mereka mungkin mempunyai satu penaja bahawa mereka Diiktiraf tetapi ini adalah pasukan teknologi yang bersedia untuk menghadapi kes keganasan perniagaan yang datang dan kemudian apabila mereka membina keupayaan, mereka tahu bahawa mereka boleh melakukan ini dan kemudian mereka pergi ke perniagaan dan secara agresif menjual ini. Dalam 30 peratus hingga 40 peratus daripada kes, kita melihat perniagaan mempunyai kes penggunaan tertentu yang sudah meminta untuk keupayaan analitik penstriman.

Rebecca Jozwiak: Itu masuk akal. Saya mendapat satu lagi soalan yang agak teknikal dari seorang penonton. Dia tertanya-tanya apakah sistem ini menyokong aliran data berstruktur dan tidak berstruktur, seperti sedimen aliran Twitter atau catatan Facebook dalam masa nyata, atau adakah ia perlu ditapis pada mulanya?

Anand Venugopal: Produk dan teknologi yang kami bincangkan sangat menyokong kedua-dua data berstruktur dan tidak berstruktur. Mereka boleh dikonfigurasikan. Semua data mempunyai beberapa jenis struktur sama ada teks atau XML atau apa-apa sahaja. Terdapat beberapa struktur dari segi suapan setem masa. Mungkin ada gumpalan lain yang perlu dihuraikan supaya anda boleh menyuntikkan parse ke dalam aliran untuk menghuraikan struktur data. Jika ia berstruktur, maka kita hanya memberitahu sistem, "Baiklah, jika ada nilai dipisahkan koma dan yang pertama adalah rentetan, kedua ialah tarikh." Jadi kita boleh menyuntikkan perisikan itu ke dalam lapisan skrin dan proses dengan mudah kedua-dua data berstruktur dan tidak berstruktur.

Rebecca Jozwiak: Saya mempunyai soalan lain dari penonton. Saya tahu kami telah berlari sedikit ke puncak jam. Peserta ini ingin mengetahui, seolah-olah aplikasi streaming masa sebenar mungkin membangunkan keperluan dan peluang untuk mengintegrasikan semula sistem transaksi, sistem pencegahan penipuan yang mereka ambil contohnya. Dalam hal ini, adakah sistem transaksi perlu disesuaikan dengan jenis yang sesuai?

Anand Venugopal: Ia satu gabungan, bukan? Ia merupakan gabungan sistem transaksi. Kadang-kadang mereka menjadi sumber data di mana kita menganalisis transaksi dalam masa nyata dan dalam banyak kes di mana katakan ada aliran aplikasi dan di sini saya cuba untuk menunjukkan tapak pencarian data statik dan kemudian dalam kes kami di mana beberapa jenis streaming dalam dan anda mencari pangkalan data statik seperti HBase atau RDBMS untuk memperkayakan data streaming dan data statik bersama-sama untuk membuat keputusan atau wawasan analitis.

Terdapat satu lagi trend industri besar yang kita lihat - penumpuan OLAP dan OLTP - dan itulah sebabnya anda mempunyai pangkalan data seperti Kudu dan pangkalan data dalam memori yang menyokong kedua-dua urus niaga dan pemprosesan analisis pada masa yang sama. Lapisan pemprosesan aliran akan sepenuhnya di ingatan dan kami akan melihat atau mengganggu dengan beberapa pangkalan data transaksional ini.

Rebecca Jozwiak: Beban kerja campuran telah menjadi salah satu rintangan terakhir untuk melompat, saya fikir. Dez, Robin, do you two have any more questions?

Dez Blanchfield: I'm going to jump into one last question and wrap up on that if you don't mind. The first challenge that the organizations that I've been dealing with for the last decade or so leading into this exciting challenge of stream analytics, first thing they tend to put back on the table when we started the conversation around this whole challenge is where do we get the skill set? How do we retrain the skill set and how do we get that capability internally? Having Impetus coming in and hand hold us through the journey and then implement as a great first step and it makes a lot of sense doing that.

But for medium to large organization, what are the kinds of things you're seeing at the moment to prepare for this, to build that capability internally, to get anything from just a basic vocabulary around it and what kind of message can they do with the organization around the transition to this sort of framework and retooling their existing technical staff from IT from CEO so they can run this themselves once you build and implement it? Just very briefly, what sort of challenges and how are they solving them, the customers you're dealing with, the types of challenges they found and how they go through solving that retraining and regaining experience and knowledge to get ready for this and to be able to go around operationally?

Anand Venugopal: Often, the small set of people that are trying to go out and buy a streaming analytics platform is already reasonably smart in that they are Hadoop aware, they have already gotten their Hadoop MapReduce skills, and because they are working closely with Hadoop distribution vendor, they are either familiar. Everything is getting Kafka, for example. They are doing something with it and either Storm or Spark streaming is in their open-source domain. Definitely, people are familiar with it or building skills around it. But it starts with a small set of people that are skilled enough and are smart enough. They are attending conferences. They are learning and that they ask intelligent questions to vendors and in some cases they learn with the vendors. As the vendors are coming and presenting at the first meeting, they may not know stuff but they co-read up and then they start playing with it.

That small group of people is the nucleus and then it starts growing and everybody now realizes that the first business use case gets operationalized. There begins a wave and we saw in the Spark summit last week where a large enterprise like Capital One was out there and in full strength. They were opting Spark. They were speaking about it. They are educating a lot of their people in Spark because they are contributing to it also in many cases as a user. We see the same with many, many large enterprises. It starts with a few small set of very smart people and then it begins a wave of overall education and people know that once a senior VP or once a senior director is in align and they want to bet on this thing and the word gets around and they all start picking up these skills.

Dez Blanchfield: I'm sure you have a fantastic time building those champions too.

Anand Venugopal: Yes. We do a lot of education as we work with the initial champions and we hold training courses and many, many for our large customers we have gone back and had waves and waves of training to bring a lot of the users into the mainstream usage phase especially in Hadoop MapReduce site. We found that in a large credit card company who is a customer of ours, we have delivered at least maybe five to eight different training programs. We also have free community editions of all these products including ours, sandboxes that people can download, get used to and educate themselves that way also.

Dez Blanchfield: That's all I have this morning for you. Thank you very much. I find it incredibly interesting to see the types of models and use cases you've got for us today. Terima kasih.

Anand Venugopal: Great. Thank you very much folks.

Rebecca Jozwiak: Thanks everyone for joining us in these Hot Technologies webcast. It has been fascinating to hear from Dez Blanchfield, Dr. Robin Bloor and from Impetus Technologies, Anand Venugopal. Thank you presenters. Thank you speakers and thank you audience. We have another Hot Technologies next month, so look for that. You can always find our content archived at Insideanalysis.com. We also put lots of content up on SlideShare and some interesting bits on YouTube as well.

That's all folks. Thanks again and have a good day. Bye, bye.