Serverless-Lösung für Echtzeit-Verarbeitung und Anreicherung von Datenströmen Atlas Stream Processing auf MongoDB Atlas als öffentliche Preview

Anbieter zum Thema

mongoDB

Windhoff Group

Die Preview von Atlas Stream Processing auf MongoDB Atlas steht seit Kurzem öffentlich zur Verfügung. Von der Developer Experience über den Funktionsumfang bis hin zur Sicherheit soll es gegenüber der vorher bereitgestellten Pilot-Version Verbesserungen geben – viele dabei auf Wunsch der testenden Entwicklungsteams.

Die Stream Processing-Lösung für MongoDB Atlas wurde erstmals auf der .local New York im Sommer 2023 angekündigt und erweitert die Plattform um Funktionen, die das Entwickeln reaktiver und ereignisgesteuerter Anwendungen vereinfachen sollen. Laut Hersteller ermöglicht sie das Aggregieren und Anreichern von Datenströmen mit hoher Geschwindigkeit und sich schnell ändernden Ereignisdaten.

Atlas Stream Processing biete eine einheitliche Möglichkeit, Daten sowohl „in motion“ als auch „at rest“ in MongoDB-Dokumentenbanken und Datenströmen zu verarbeiten. Neben Change Streams aus MongoDB-Datenbanken ließen sich auch externe Quellen wie Kafka nutzen. Die Funktionsweise orientiert sich stark an der bekannten MongoDB Query Language. Entwickler könnten – neben der kontinuierlichen Verarbeitung von Daten in Atlas-Datenbanken durch Change Streams – nun auch Atlas Stream Processing mit Kafka-Daten nutzen, die in Diensten von Partnern wie Confluent Cloud, Amazon MSK, Azure Event Hubs und Redpanda gehostet werden.

Gegenüber der ersten Vorschauversion aus der Pilotphase soll die öffentliche Preview von Atlas Stream Processing eine Reihe von Verbesserungen bieten. Diese betreffen laut MongoDB die User Experience, den Funktionsumfang sowie Betrieb und der Sicherheit. Die Entwicklererfahrung wurde durch das MongoDB VS Code-Plugin und erweiterte „Dead Letter Queue“- oder kurz DLQ-Funktionen verbessert. DLQ-Meldungen werden nun selbst angezeigt, wenn Pipelines mit sp.process() ausgeführt werden und wenn .sample() auf laufenden Prozessoren ausgeführt wird. Dadurch entfällt die Einrichtung einer Ziel-Collection als DLQ.

Was die Funktionen betrifft, lassen sich nun Dokumente, die in einem Stream-Prozessor verarbeitet werden, per $lookup mit Daten aus entfernten Atlas Clustern anreichern. Zudem unterstützt der Change Stream $source nun Pre- und Post-Images, was es Entwicklern ermöglicht, Deltas zwischen Feldern in Dokumenten zu berechnen und Zugriff auf den vollständigen Inhalt eines gelöschten Dokuments zu haben. Darüber hinaus können Entwickler und Entwicklerinnen nun dynamische Ausdrücke für bedingtes Routing in Merge- und Emit-Phasen verwenden.

Mit Blick auf Betrieb und Sicherheit setzt Atlas Stream Processing nun Checkpoints, um einen Zustand während der Verarbeitung zu speichern. Zusätzlich unterstützt Terraform nun die Erstellung von Verbindungen und Stream Processing Instances (SPIs), um die Infrastruktur als Code für wiederholbare Einsätze zu erstellen. Auf Projektebene interessant sind Sicherheitsrollen, um den Benutzern die benötigten Berechtigungen für ihre Stream-Processing-Aufgaben zu geben.

Die Preview-Version ist gebührenpflichtig, jedoch gelten bis zur allgemeinen Verfügbarkeit Aktionspreise. Weitere Informationen zu Preisen, ersten Schritten und Details finden Interessierte in der Dokumentation zu „Atlas Stream Processing“.

(ID:49916439)