เรียนรู้การ Stream

20 views

เรียนรู้การ Stream

เรียนรู้การ Stream เป็นอีกการประมวลผลสตรีมเป็นเทคโนโลยีBig data ใช้เพื่อค้นกระแสข้อมูลอย่างสม่ำเสมอรวมทั้งค้นหาข้อตกลงอย่างเร็วภายในช่วงระยะเวลาอันสั้นภายหลังจากได้รับข้อมูล เวลาสำหรับในการตรวจจะนานับประการตั้งแต่ไม่ลลิวินาทีจนกระทั่งนาที เป็นต้นว่า คุณสามารถใช้การประเมินผลสตรีมเพื่อรับการแจ้งเตือนเมื่ออุณหภูมิถึงจุดที่ทำให้เป็นน้ำแข็งแล้วก็ค้นหาสตรีมข้อมูลที่ได้มาจากเซ็นเซอร์อุณหภูมิ

มีการเรียกชื่อต่างๆอาทิเช่น การวิเคราะห์แบบเรียลไทม์ การวิเคราะห์การสตรีม การประมวลผลสถานะการณ์ที่สลับซับซ้อน การวิเคราะห์การสตรีมแบบเรียลไทม์ และก็การประมวลผลเรื่องราว ในอดีตกาลมีสิ่งที่แตกต่างบางประการ แม้กระนั้นขณะนี้ อุปกรณ์ (เฟรมเวิร์ก) กำลังเดินทางมาบรรจบกันภายใต้การประมวลผลสตรีมระยะ (มองปริศนา Quora นี้สำหรับรายการกรอบงานรวมทั้งส่วนท้ายที่สุดของเนื้อหานี้สำหรับประวัติความเป็นมา)
Apache Storm เป็นที่นิยมในฐานะ “เทคโนโลยีซึ่งสามารถสร้างผลสรุปได้เร็วขึ้นขณะที่เป็นเทคโนโลยีอย่าง Hadoop” รวมทั้งถัดมาถูกเอาไปใช้เป็นเทคโนโลยีข้อมูลจำนวนมากมายมหาศาล ตอนนี้มีผู้สมัครเป็นจำนวนมาก

ข้อมูลพื้นฐานของการ เรียนรู้การ Stream

ร่วมกับการเรียนของเครื่องและก็การประมวลผลการสตรีมแบบไม่มีเซิร์ฟเวอร์ ดูท่าจะเป็นเลิศในประเด็นที่เร่าร้อนที่สุดในตอนนี้ บริษัทจำนวนมากกำลังนำเครื่องไม้เครื่องมือประเมินผลสตรีมล่าสุดมาใช้ ผู้ให้บริการกำลังเปิดตัวสินค้าประเมินผลสตรีมที่ดียิ่งขึ้นและก็มีคุณภาพเพิ่มขึ้น แล้วก็สิ่งที่ต้องการสำหรับมือโปรก็มากขึ้น

เนื้อหานี้จะชี้แนะคุณเกี่ยวกับรากฐานของการประมวลผลสตรีม ขั้นแรก ฉันจะชี้แจงว่าเพราะเหตุใดก็เลยควรจะมีการประมวลผลสตรีมรวมทั้งวิธีทำงานข้างใน ต่อแต่นี้ไปจะชี้แจงแนวทางสร้างแอปพลิเคชันการประมวลผลสตรีมแบบกระจัดกระจายที่ง่ายและก็ปรับขนาดได้ คุณสามารถทำเป็นทั้งหมดทั้งปวงด้วยรหัสน้อยกว่า 40 บรรทัด

การประมวลผลสตรีมเป็นหัวข้อขนาดใหญ่ ฉะนั้นเนื้อหานี้จะย้ำที่ส่วนการจัดการข้อมูลเป็นหลัก แล้วก็การประมวลผลระดับสูงจะพูดถึงในบทความแยกต่างหาก เพื่อบทความมีประโยชน์มากยิ่งขึ้น พวกเรากำลังเอ่ยถึง AWS Kinesis ซึ่งเป็นโซลูชันการประมวลผลสตรีมของ Amazon แต่ว่าพวกเรายังหมายความว่าเทคโนโลยีโอเพ่นซอร์สยอดฮิตอื่นๆเพื่อคุณได้มุมมองที่กว้างขึ้น สล็อตง่ายๆ

เพื่อทำความเข้าใจว่าเพราะอะไรการประมวลผลสตรีมก็เลยเกิดขึ้น ให้มองกรรมวิธีการประมวลผลข้อมูลก่อนหน้าที่ผ่านมา ในวิถีทางที่ผ่านมาที่เรียกว่าการประเมินผลแบบกางตช์ ข้อมูลทั้งสิ้นถูกเก็บไว้ภายในฐานข้อมูลหรือระบบไฟล์แบบกระจัดกระจาย รวมทั้งแอปพลิเคชันต่างๆจะใช้ข้อมูลนี้สำหรับการคำนวณ ด้วยเหตุว่าวัสดุการประมวลผลแบบกางตช์ถูกทำขึ้นเพื่อประเมินผลชุดข้อมูลที่มีขนาดจำกัด แอปพลิเคชันสามารถประมวลผลข้อมูลเป็นช่วงๆสำหรับระยะเวลาปัจจุบัน ดังเช่น หนึ่งชั่วโมงหรือหนึ่งวัน เพื่อประมวลผลข้อมูลใหม่อย่างสม่ำเสมอ เพื่อประเมินผล

เพราะเหตุใดก็เลยจะต้องมีการประมวลผลสตรีม

เพื่อทำความเข้าใจว่าเพราะเหตุใดการประมวลผลสตรีมก็เลยเกิดขึ้น ให้มองขั้นตอนการประมวลผลข้อมูลก่อนหน้านี้ที่ผ่านมา ในหนทางก่อนหน้านี้ที่ผ่านมาที่เรียกว่าการประเมินผลแบบกางตช์ ข้อมูลทั้งผองถูกเก็บเอาไว้ในฐานข้อมูลหรือระบบไฟล์แบบกระจัดกระจาย รวมทั้งแอปพลิเคชันต่างๆจะใช้ข้อมูลนี้สำหรับเพื่อการคำนวณ เนื่องมาจากวัสดุการประมวลผลแบบกางตช์ถูกทำขึ้นเพื่อประเมินผลชุดข้อมูลที่มีขนาดจำกัด แอปพลิเคชันสามารถประมวลผลข้อมูลเป็นช่วงๆสำหรับช่วงปัจจุบัน อาทิเช่น หนึ่งชั่วโมงหรือหนึ่งวัน เพื่อประมวลผลข้อมูลใหม่อย่างสม่ำเสมอ เพื่อประเมินผล สล็อต

Big dataได้สร้างคุณประโยชน์ของข้อมูลเชิงลึกที่ได้รับจากการประมวลผลข้อมูล ข้อมูลเชิงลึกดังที่กล่าวมาแล้วมิได้ถูกทำขึ้นในลักษณะเดียวกันทั้งสิ้น ข้อมูลเชิงลึกบางสิ่งมีค่ามากยิ่งกว่าโดยทันทีภายหลังที่เกิดขึ้น แล้วก็ค่าจะลดน้อยลงอย่างเร็วเมื่อเวลาผ่านไป การสตรีมช่วยทำให้กำเนิดเหตุการณ์ดังที่กล่าวถึงมาแล้วแล้วก็ชอบให้ข้อมูลเชิงลึกเร็วขึ้น ด้านในไม่ลลิวินาทีถึงวินาทีของทริกเกอร์

ข้างล่างนี้เป็นเหตุผลรองบางประการสำหรับในการใช้การประเมินผลสตรีม

เหตุผลที่ 1: ข้อมูลบางสิ่งเกิดขึ้นตามธรรมชาติเป็นกระแสของเรื่องที่ไม่สิ้นสุด สำหรับการประเมินผลแบบกรุ๊ป คุณจำต้องบันทึกข้อมูล หยุดสะสมข้อมูลในบางจุด แล้วก็ประมวลผลข้อมูล แล้วคุณจะต้องรันชุดงานต่อไป แล้วไม่ค่อยสบายใจเกี่ยวกับการรวมที่ครอบคลุมหลายชุด ตรงกันข้าม การสตรีมจะจัดแจงสตรีมข้อมูลที่ไม่สิ้นสุดได้อย่างงดงามแล้วก็เป็นธรรมชาติ คุณสามารถตรวจหาต้นแบบ ตรวจดูผลสรุป มองระดับการจุดโฟกัสหลายระดับ และก็มองข้อมูลที่ได้รับมาจากสตรีมหลายรายการพร้อมได้อย่างไม่ยากเย็น

การสตรีมจะปรับตามข้อมูลอันดับเวลาและก็ตรวจค้นแบบอย่างเมื่อเวลาผ่านไป ดังเช่นว่า ถ้าเกิดคุณกำลังอุตสาหะค้นหาความยาวของเซสชันเว็บไซต์ในสตรีมที่ไม่จบไม่สิ้น (นี่เป็นแบบอย่างของการพยายามค้นหาลำดับ) บางเซสชันแบ่งได้เป็นสองชุด ซึ่งทำให้เรียกใช้เป็นกรุ๊ปได้ยาก การประมวลผลสตรีมสามารถจัดแจงสิ่งนี้ได้อย่างง่ายๆ คาสิโนออนไลน์

ถ้าหากคุณถอยหนึ่งก้าว ชุดข้อมูลที่ตลอดที่สุดเป็นข้อมูลอันดับเวลา เป็นต้นว่า เซ็นเซอร์การจราจร เซ็นเซอร์สุขภาพ บันทึกธุรกรรม แล้วก็บันทึกกิจกรรม ข้อมูล IoT แทบทั้งหมดเป็นข้อมูลอันดับเวลา ด้วยเหตุผลดังกล่าวก็เลยสมควรที่จะใช้โมเดลการเขียนโปรแกรมที่เหมาะสมกับธรรมชาติ

เหตุผลที่ 2: สำหรับการประเมินผลแบบกรุ๊ป ข้อมูลจะถูกเก็บรวบรวมและก็ประเมินผลพร้อม แม้กระนั้นสำหรับในการประเมินผลแบบสตรีม ข้อมูลจะถูกประเมินผลครั้งใดก็ตามใส่ข้อมูล ด้วยเหตุนั้นการประมวลผลก็เลยถูกกระจัดกระจายไปตามช่วง ด้วยเหตุดังกล่าว การประมวลผลแบบสตรีมสามารถปฏิบัติงานบนอุปกรณ์น้อยกว่าการประมวลผลแบบกางตช์ slotxo นอกเหนือจากนั้น การประมวลผลแบบสตรีมยังช่วยทำให้ประเมินผลการค้นข้อมูลคร่าวๆโดยมีข้อจำกัดการโหลดอย่างมีระบบ ฉะนั้น การประมวลผลสตรีมก็เลยเหมาะสมกับกรณีการใช้แรงงานที่คำตอบโดยประมาณก็พอเพียงแล้ว

เหตุผลที่ 3: ข้อมูลอาจมีขนาดใหญ่และไม่สามารถบันทึกได้ บาคาร่า การสตรีมช่วยทำให้คุณสามารถประมวลผลข้อมูลแบบม้าไฟขนาดใหญ่และก็เก็บเฉพาะบิตที่มีคุณประโยชน์เพียงแค่นั้น

เหตุผลที่ 4: ท้ายที่สุด มีข้อมูลการสตรีมเยอะมาก (ธุรกรรมของลูกค้า กิจกรรม การเยือนดูเว็บ อื่นๆอีกมากมาย) ที่เติบโตเร็วขึ้นในกรณีการใช้แรงงาน IoT (เซ็นเซอร์ทุกประเภท) การสตรีมเป็นแบบอย่างที่เป็นธรรมชาติมากขึ้นเรื่อยๆสำหรับในการคิดแล้วก็การเขียนโปรแกรมกรณีการใช้แรงงานกลุ่มนี้

อย่างไรก็ดี การประมวลผลสตรีมก็ไม่ใช่วัสดุสำหรับกรณีการใช้แรงงานทั้งหมดทั้งปวงเหมือนกัน กฎกล้วยๆอย่างหนึ่งเป็นการสตรีมนั้นไม่สบายถ้าเกิดขั้นตอนอยากข้อมูลที่บริบูรณ์หลายคราหรือถ้าเกิดมีการเข้าถึงแบบสุ่ม (รู้สึกว่าเป็นชุดข้อมูลแผนภูมิ) คาสิโนออนไลน์ กรณีการใช้แรงงานที่สำคัญอย่างหนึ่งที่ขาดสำหรับการสตรีมเป็นอัลกอริธึมการศึกษาของเครื่องสำหรับโมเดลการฝึกอบรม ในทางตรงกันข้าม ถ้าหากแนวทางการสามารถทำได้ด้วยทางข้อมูลเดียว หรือถ้าหากเป็นวิธีการข้างในชั่วครั้งชั่วคราว (ขั้นตอนมีลัษณะทิศทางที่จะเข้าถึงข้อมูลที่ล้ำสมัย) ก็เหมาะกับการสตรีม

จะกระทำประเมินผลสตรีมได้ยังไง

แม้คุณอยากสร้างแอปที่ประมวลผลข้อมูลการสตรีมและก็ทำตกลงใจแบบเรียลไทม์ คุณสามารถใช้อุปกรณ์หรือสร้างของคุณเองได้ คำตอบขึ้นกับความสลับซับซ้อนที่คุณคิดแผนจะประเมินผล ระดับของการปรับขนาด ความน่านับถือรวมทั้งคงทนถาวรต่อข้อบกพร่องที่คุณอยาก แล้วก็อื่นๆ

ถ้าเกิดคุณอยากได้สร้างแอปด้วยตนเอง ให้วางกิจกรรมในประเด็นตัวรับส่งข้อความ (ActiveMQ, RabbitMQ, Kafka ฯลฯ) เขียนรหัสเพื่อรับกิจกรรมจากหัวข้อคนกลาง (สตรีมเปลี่ยนเป็นสตรีม) UFABET รวมทั้งจัดแจงผล . ฉันจะเผยแพร่ไปยัง รหัสดังที่ได้กล่าวมาแล้วเรียกว่านักแสดง

อย่างไรก็แล้วแต่ แทนที่จะเข้ารหัสเหตุการณ์ข้างต้นตั้งแต่ต้น คุณสามารถย่นระยะเวลาได้โดยใช้เฟรมเวิร์กการประมวลผลสตรีม ตัวประเมินผลสตรีมเรื่องช่วยทำให้คุณเขียนตรรกะสำหรับดาราหนังแต่ละคน เชื่อมต่อดาราหนัง รวมทั้งเชื่อมต่อขอบกับแหล่งข้อมูล สถานะการณ์สามารถส่งโดยตรงไปยังตัวประเมินผลสตรีมหรือผ่านคนกลาง

ตัวประเมินผลสตรีมสถานะการณ์ปฏิบัติงานที่ยากโดยการรวบรวมข้อมูล ส่งข้อมูลไปยังดาราแต่ละคน สำรวจการดำเนินงานเป็นลำดับที่ถูก เก็บผลสรุป ปรับขนาดภายใต้ภาระหน้าที่ที่เอาจริงเอาจัง และก็การจัดการกับความไม่ประสบผลสำเร็จ แบบอย่าง เป็นต้นว่า Storm, Flink แล้วก็ Samza ถ้าเกิดคุณอยากได้สร้างแอปด้วยวิธีแบบนี้ ให้ตรวจทานคู่มือผู้ใช้แต่ละฉบับ JOKER GAMING

ตั้งแต่ปี 2016 แนวความคิดใหม่ที่เรียกว่า Streaming SQL ได้เกิดขึ้น (มองบทความ Streaming SQL 101 สำหรับรายละเอียดต่างๆนอกเหนือจากนี้) ภาษาที่ผู้ใช้สามารถเขียน SQL ดังเช่น เคียวรีที่ค้นข้อมูลการสตรีม เรียกว่าภาษา “streaming SQL” ภาษา SQL สตรีมมิ่งมากมายกำลังเติบโต

รองรับ SQL มานานกว่า 5 ปีในโครงงานต่างๆดังเช่น WSO2 Stream Processor และก็ SQL Streams

Apache Storm เพิ่มการรอคอยงรับการสตรีม SQL ในปี 2559
Apache Flink ได้เพิ่มการรอคอยงรับการสตรีม SQL ตั้งแต่ปี 2016
Apache Kafka เพิ่มการรอคอยงรับ SQL (ซึ่งพวกเขาเรียกว่า KSQL) ในปี 2560
Apache Samza เพิ่มการรอคอยงรับ SQL ในปี 2560

ภาษา Streaming SQL ช่วยทำให้นักปรับปรุงสามารถรวมการค้นหาข้อมูลแบบสตรีมลงในแอพของพวกเขาได้อย่างเร็ว ด้านในปี 2018 สตรีมโปรเซสเซอร์จำนวนมากจะรองรับการประมวลผลข้อมูลผ่านภาษา SQL ในการสตรีม
ทำความเข้าใจว่า SQL จับคู่กับสตรีมอปิ้งไร สตรีมกำลังย้ายข้อมูลตาราง ใคร่ครวญตารางที่ไม่สิ้นสุดซึ่งมีข้อมูลใหม่ปรากฏขึ้นเมื่อเวลาผ่านไป สตรีมเป็นตารางดังที่ได้กล่าวผ่านมาแล้ว หนึ่งทะเบียนหรือแถวในสตรีมเรียกว่าสถานะการณ์ อย่างไรก็ดี มีสคีมารวมทั้งปฏิบัติงานราวกับแถวฐานข้อมูล การเสวนาของ Tyler Akidau ที่ Strata เป็นแหล่งข้อมูลที่ดีสำหรับเพื่อการทำความเข้าใจแนวความคิดพวกนี้ JOKER

อย่างแรกที่คุณจะต้องรู้เรื่องเกี่ยวกับ SQL สตรีมเป็น แทนที่ตารางด้วยสตรีม
เมื่อคุณสร้างแบบสำรวจ SQL คุณจะค้นข้อมูลที่จัดเก็บไว้ภายในฐานข้อมูล อย่างไรก็ดี เมื่อคุณสร้างการค้นข้อมูล SQL แบบสตรีม คุณไม่เฉพาะแต่เขียนลงในข้อมูลในอนาคตเพียงแค่นั้น แต่ว่ายังรวมทั้งข้อมูลเดี๋ยวนี้ด้วย ด้วยเหตุนั้น การสตรีมแบบสำรวจ SQL ไม่สิ้นสุด โน่นคือปัญหาหรือเปล่า? ไม่ ผลสรุปของการค้นหากลุ่มนี้เป็นสตรีม ฉะนั้นมันก็เลยใช้งานได้ เมื่อเรื่องตรงกันแล้วก็สถานะการณ์เอาต์พุตพร้อมใช้งานในทันที เรื่องราวจะถูกวางในสตรีมเอาต์พุต

สตรีมแสดงถึงเหตุทั้งหมดทั้งปวงซึ่งสามารถผ่านช่องสัญญาณแบบลอจิคัลและไม่จบ อาทิเช่น ถ้าเกิดหม้อละอองน้ำของคุณมีเซ็นเซอร์อุณหภูมิ คุณสามารถแสดงเอาต์พุตจากเซ็นเซอร์เป็นสตรีมได้ แต่ SQL แบบเริ่มแรกจะจับ ประเมินผล รวมทั้งเขียนข้อมูลที่จัดเก็บไว้ภายในตารางฐานข้อมูล แต่ว่าการค้นหาข้อมูลข้างต้นจะเก็บรวบรวมสตรีมข้อมูลเมื่อมีการเพิ่มเติมและก็สร้างสตรีมข้อมูลเป็นเอาต์พุต อาทิเช่น สมมุติว่ามีสถานะการณ์ในกระแสหม้อละอองน้ำทุกๆ10 นาที แบบสำรวจตัวกรองจะสร้างเรื่องราวในสตรีมผลเมื่อสถานะการณ์ตรงกับตัวกรอง

โดยเหตุนี้ คุณสามารถสร้างแอปของคุณได้ดังต่อไปนี้: ส่งเรื่องโดยตรงหรือผ่านคนกลางไปยังตัวประเมินผลสตรีม แล้วต่อจากนั้น คุณสามารถใช้ “Streaming SQL” เพื่อเขียนส่วนการสตรีมของแอปได้ ในที่สุด ระบุค่าตอบแทนประเมินผลสตรีมให้ดำเนินการตามคำตอบ ซึ่งทำเป็นโดยการเรียกใช้บริการเมื่อตัวประเมินผลสตรีมทริกเกอร์ หรือโดยการเปิดเผยแพร่เหตุไปยังหัวข้อคนกลางเพื่อยอมรับฟังหัวข้อ บาคาร่า
มีเฟรมเวิร์กการประมวลผลสตรีมมาก

ฉันเสนอแนะ WSO2 Stream Processor (WSO2 SP) ที่ฉันช่วยสร้าง คุณสามารถนำเข้าข้อมูลที่ได้มาจาก Kafka, คำร้องขอ HTTP, โบรกเกอร์ใจความ และก็ค้นหาสตรีมข้อมูลโดยใช้ภาษา “Streaming SQL” WSO2 SP เป็นโอเพ่นซอร์ที่ประชุมยใต้ลิขสิทธิ์ Apache มีเซิร์ฟเวอร์ผลิตภัณฑ์ของกินของใช้เพียงแต่สองเครื่องเพียงแค่นั้นซึ่งสามารถให้ความพร้อมเพรียงใช้งานสูงแล้วก็จัดแจงจำนวนงาน 100K + TPS มันสามารถปรับขนาดเป็น TPS นับล้านบน Kafka และก็รองรับการประยุกต์ศูนย์ข้อมูลหลายตัว

อ่านเรื่องถัดไป >> ทำความเข้าใจ Photoshop

Last Update : 9 มิถุนายน 2021