Confluent heeft Kora geïntroduceerd, een cloudgebaseerde gegevensmotor die hun Apache Kafka®-service ondersteunt. Deze volgende-generatie motor is niet beschikbaar om te downloaden of te draaien buiten de controle van Confluent, maar door het begrijpen van de werking ervan worden de voordelen die het biedt en hoe het de Kafka-service op grote schaal verbetert onthuld.
Hoewel Kora open-source Kafka niet vervangt voor degenen die hun eigen systeem willen beheren, stelt het Confluent in staat om een cloudservice te leveren op een fenomenale schaal. Hieronder worden de redenen achter de creatie ervan, de voordelen die het biedt en een blik op zijn werking uiteengezet.
Waarom hebben we Kora gebouwd?
Wanneer Confluent in 2017 zijn cloudservice lanceerde, was de visie om Kafka compleet in de cloud aan te bieden. Aanvankelijk was deze service echter beperkt tot een open-source Kafka-versie op een Kubernetes-beheerplatform, met facturering, observeerbaarheid en basis operationele controles. Hoewel het de beste Kafka-aanbieding van die tijd was, was het nog ver verwijderd van de originele visie.
Het werd duidelijk dat alleen Kafka draaien op AWS-servers niet voldoende was om aan die visie te voldoen. Succesvolle systemen in de cloud verschillen aanzienlijk in hun architectuur, operatie en klantbeleving. Kora is ontworpen om deze beperkingen te overkomen.
Verschillen tussen systemen in de cloud en zelfbeheerde systemen
Cloudgebaseerde datasystemen staan voor andere uitdagingen dan zelfbeheerde open-source systemen. Apache Kafka is ontworpen om gemakkelijk te configureren en te draaien met verschillende DevOps-tools, en biedt hoge prestaties in elke omgeving, jaarlijkse updates en wordt beheerd door algemeen personeel.
Daarentegen moet een cloud-systeem duizenden klanten bedienen, vanaf het begin multi-tenant zijn, voornamelijk door software worden bediend, robuuste isolatie en beveiliging bieden, en snelle innovatie door een groot team mogelijk maken.
Capaciteiten van Kora
Om aan deze vereisten te voldoen, heeft Confluent Kora ontwikkeld, een motor die 100% compatibel is met alle ondersteunde versies van het Kafka-protocol, maar is ontworpen als een echt beheerde service. Enkele van zijn capaciteiten omvatten:
- Multi-tenant: Ondersteunt duizenden huurders met sterke isolatie.
- Wereldwijde Uitrol: Werkt in meer dan 85 regio’s in drie wolken.
- Operationele Efficiëntie: Bediend op grote schaal door een klein team, zijnde ongeveer 1000 keer efficiënter dan een gemiddeld Kafka-team.
- Componenten Disaggregatie: Beheert netwerken, berekeningen, metadata en opslag afzonderlijk.
- Intelligent Gegevensbeheer: Optimaliseert de plaatsing van gegevens tussen geheugen, SSD’s en cloudopslag om de prestaties te maximaliseren.
- Kostenoptimalisatie: Verlaagt de infrastructuurkosten door automatisering en efficiënt beheer van middelen.
Voordelen voor klanten
Kora verbetert niet alleen de operaties van Confluent, maar biedt ook aanzienlijke voordelen voor zijn klanten, zoals:
- Elasticiteit: Maakt 30 keer snellere opschaling mogelijk.
- Betrouwbaarheid: Meer dan 10 keer hogere beschikbaarheid, met een SLA-garantie van 99.99%.
- Prestatie: Lagere latentie in vergelijking met zelfbeheerde Kafka op vergelijkbare hardware.
- Kosten: Geoptimaliseerde kostenstructuur die geld bespaart voor klanten.
- Compatibiliteit: Volledig compatibel met het Kafka-protocol.
Geautomatiseerde operaties en doorlopende updates
Een van de belangrijkste kenmerken van Kora is zijn vermogen om voornamelijk door software te worden bediend, waardoor de noodzaak van menselijke interactie wordt verminderd. Dit omvat continue prestatiecontroles en gegevenscorrectie, evenals de automatische detectie en mitigatie van infrastructuurproblemen.
Kora wordt ook continu bijgewerkt, wat betekent dat klanten altijd toegang hebben tot de nieuwste verbeteringen en beveiligingspatches zonder handmatige updates uit te hoeven voeren.
Kortom, Kora vertegenwoordigt een significante vooruitgang in hoe Confluent Apache Kafka in de cloud levert, en biedt een robuust, efficiënt en veilig platform voor de kritische werklasten van hun klanten.
Meer informatie op Confluent blog.