ภาพรวม
Kafka โดยเทนเซ็นต์ คลาวด์ (Tencent Cloud Kafka: CKafka) คือ ระบบกระจายข้อมูลที่สามารถประมวลผลและปรับขยายโครงสร้างได้สูง และสามารถทำงานร่วมกับ Apache Kafka API v0.9 และ v0.10 แบบโอเพนซอร์ซได้อย่างสมบูรณ์ โดย CKafka มีลักษณะตามโมเดล Publish/Subscribe จึงสามารถช่วยให้เกิดการสื่อสารแบบรันแยกกันได้ระหว่างผู้ส่งและผู้รับด้วยวิธีการแยกส่วนข้อมูลออกจากกันอย่างสิ้นเชิง จึงสามารถตัดเวลาที่ต้องรอได้ CKafka ยังรองรับการบีบอัดข้อมูลและการประมวลผลข้อมูลแบบออฟไลน์และเรียลไทม์ จึงเหมาะสมอย่างยิ่งต่อการทำหน้าที่จัดเก็บบันทึกข้อมูลที่ถูกบีบอัดและการรวบรวมข้อมูลการเฝ้าสังเกต
ประโยชน์
ความสามารถในการทำงานร่วมกันของส่วนประกอบแบบโอเพนซอร์ซ
ระบบนิเวศต้นน้ำและปลายน้ำ
ความเชื่อถือได้สูง
ความสามารถในการปรับขยายโครงสร้างสูง
ความปลอดภัยทางธุรกิจ
การเฝ้าสังเกตระบบปฏิบัติการแบบรวมเป็นหนึ่งเดียว
คุณสมบัติ
CKafka ทำหน้าที่แยกความสัมพันธ์ระหว่างผู้ส่งและผู้รับข้อมูลได้อย่างมีประสิทธิภาพ ทำให้ผู้ใช้สามารถปรับขยายหรือปรับเปลี่ยนขั้นตอนการประมวลผลการรับ-ส่งข้อมูลได้แบบแยกเดี่ยวตราบเท่าที่ทุกตัวยังปฏิบัติตามข้อจำกัดอินเตอร์เฟซแบบเดียวกัน
ด้วยเหตุนี้ CKafka จึงสามารถพึ่งพาได้ในด้านการมาแทนที่ฟังก์ชัน Middleware ข้อมูลแบบดั้งเดิม โดยนอกเหนือจากความสามารถในด้านการแยกความสัมพันธ์ระหว่างผู้ส่งและผู้รับข้อมูล และการแคชข้อมูลที่ยังไม่ผ่านการประมวลผลไว้ได้แล้ว Ckafka ยังมีปริมาณงานที่ประมวลผลได้สูงกว่า มีกลไกการจำลอง Partition ที่แข็งแกร่งกว่า และมีขีดความสามารถในการรับมือความผิดปกติที่ดีกว่าด้วย
ความสามารถของระบบในการรับมือกับการเข้าถึงที่เพิ่มสูงขึ้นนั้นมีความสำคัญมาก อย่างไรก็ตาม หากการเพิ่มสูงขึ้นของ Traffic มีความผิดปกติ ทรัพยากรที่ลงทุนไปตาม Traffic สูงสุดก็จะเสียเปล่า
CKafka จึงมีหน้าที่รับรองว่าส่วนประกอบของระบบที่สำคัญจะสามารถรับมือกับการเพิ่มสูงขึ้นแบบฉับพลันของการเข้าถึงได้ เพื่อเป็นการตัดความเสี่ยงที่จะเกิดระบบล่มอย่างสมบูรณ์ด้วยสาเหตุของจำนวนร้องขอที่มีมากเกินไปออกไป
เนื่องจากมีการแยกส่วนขั้นตอนการประมวลผลข้อมูลออกจากกัน จึงทำให้สามารถพัฒนาประสิททธิภาพ Message Queuing และการประมวลผลข้อมูลได้ง่ายๆ เพียงปรับขยายโครงสร้างขั้นตอนแบบแนวนอน เพื่อให้ได้โซลูชันที่ยืดหยุ่นอย่างสมบูรณ์
สำหรับการใช้งาน หนึ่งหัวข้อของ CKafka สามารถแบ่งออกเป็นหลาย Partition และกระจายไปยัง Broker มากกว่าหนึ่งตัวได้
โดยผู้รับข้อมูลสามารถ Subscribe ได้มากกว่าหนึ่ง Partition ในขณะที่ผู้ส่งรับหน้าที่กระจายข้อมูลไปยัง Partition ที่เกี่ยวข้องอย่างเท่าเทียมและทั่วถึง ดังนั้น การเพิ่มจำนวน Broker จึงทำให้สามารถปรับขยายโครงสร้างแบบแนวนอนได้ โดยหลักการทั่วไปแล้ว ยิ่งมี Broker มากเท่าไหร่ ปริมาณงานที่คลัสเตอร์ประมวลผลได้ก็จะยิ่งสูงขึ้นเท่านั้น
- การแยกข้อมูลออกจากกันอย่างสิ้นเชิง
- การเปลี่ยนจุดสูงสุด
- การปรับขยายโครงสร้างแนวนอน
- ส่งข้อมูลเพียงครั้งเดียว เพื่อการรับข้อมูลได้หลายครั้ง
CKafka ทำหน้าที่แยกความสัมพันธ์ระหว่างผู้ส่งและผู้รับข้อมูลได้อย่างมีประสิทธิภาพ ทำให้ผู้ใช้สามารถปรับขยายหรือปรับเปลี่ยนขั้นตอนการประมวลผลการรับ-ส่งข้อมูลได้แบบแยกเดี่ยวตราบเท่าที่ทุกตัวยังปฏิบัติตามข้อจำกัดอินเตอร์เฟซแบบเดียวกัน
ด้วยเหตุนี้ CKafka จึงสามารถพึ่งพาได้ในด้านการมาแทนที่ฟังก์ชัน Middleware ข้อมูลแบบดั้งเดิม โดยนอกเหนือจากความสามารถในด้านการแยกความสัมพันธ์ระหว่างผู้ส่งและผู้รับข้อมูล และการแคชข้อมูลที่ยังไม่ผ่านการประมวลผลไว้ได้แล้ว Ckafka ยังมีปริมาณงานที่ประมวลผลได้สูงกว่า มีกลไกการจำลอง Partition ที่แข็งแกร่งกว่า และมีขีดความสามารถในการรับมือความผิดปกติที่ดีกว่าด้วย
รูปแบบการใช้
- ระบบวิเคราะห์บันทึกข้อมูล
- แพลตฟอร์มประมวลผลข้อมูลสตรีมมิ่ง