16. April 2025
Seit dem letzten Blogbeitrag ist in der SAP Datasphere wieder viel passiert. Ungefähr alle zwei Wochen bringen die geplanten Wellendeployments eine Vielzahl an Updates mit sich. Dieses Mal liegt der Fokus auf der Datenmodellierung und Datenintegration. Insbesondere die Innovationen im Bereich des Datei-Space im Objektspeicher sind bedeutsam. Im Folgenden sollen eine Zusammenfassung der spannendsten Innovationen, die seit Mitte März veröffentlich wurden, erfolgen. Unser letzter Blogpost gab einen Überblick der Updates von Januar bis März.
Eine sehr viel versprechende Innovation ist der Objektspeicher. Dieser stellt eine ressourceneffiziente Eingangsschicht für die Bereitstellung großer Datenmengen dar. Im Objektspeicher können von Administratoren Datei-Spaces angelegt werden. Dieses Prinzip ist schon von klassischen Spaces bekannt. In einem Datei-Space können ausschließlich durch Replikationsflüsse Daten geladen und danach in einer lokalen Tabelle (Datei) abgespeichert werden. Ein Import oder Export von CSV/JSON-Dateien ist nicht möglich. Optional kann die lokale Tabelle (Datei) danach mit einem Transformationsfluss weiter vorbereitet werden. Im Anschluss kann die vorbereitete Datei mit einem klassischen Space geteilt werden und dort als lokale Tabelle genutzt werden.
Beim Laden der Daten durch den Replikationsfluss werden Datendateien zunächst in einen Eingangspuffer einer lokalen Zieltabelle (Datei) geschrieben. Der Eingangspuffer ist ein spezieller Ordner im Dateispeicher. Um die Datenaktualisierung zu verarbeiten und in der lokalen Tabelle sichtbar zu machen, muss eine Zusammenführungsaufgabe durchgeführt werden. Dies kann durch eine Task Chain oder den Monitor „lokale Tabellen (Datei)“ umgesetzt werden.
Im Monitor lässt sich die Zusammenführungsaufgabe direkt ausführen oder über einen Zeitplan regulieren und optimieren. Gleichzeitig ist es möglich die Ressourcen für den benötigten Workload anzupassen. Hinzukommend findet im Monitor die Überwachung der lokalen Tabellen (Datei) statt. Dieser ermöglicht eine Übersicht von allen lokalen Tabellen (Datei) zu ihrem Status bezüglich der Zusammenführung, Aktualisierungszeitpunkten oder ob bspw. die Delta-Erfassung aktiviert ist.
Die Verarbeitung und Vorbereitung der Daten wird durch Transformationsflüsse umgesetzt. Diesem kann im Datei-Space bei der Erstellung eine Anzahl an zu nutzenden Rechenressourcen zugewiesen werden, um einen konstanten Betrieb des Systems zu gewährleisten und temporäre Überlastungen zu vermeiden. Auch bei Veränderungen des Transformationsflusses oder der Rechenressourcen lässt sich die Anzahl der Rechenressourcen aktualisieren.
Wenn ein Transformationsfluss abgebrochen werden muss, kann dieser zukünftig unter den Optionen mit oder ohne Rollback abgebrochen werden. Sollte festgestellt werden, dass der Transformationsfluss die Daten nicht in einen nicht vorgesehenen Zustand bringt, kann ein Abbruch mit Rollback eingeleitet werden. Dieser führt die lokale Tabelle und alle parallelen Änderungen aus den anderen Apps in den Zustand zurück, der vor dem Start des Transformationsflusses vorhanden war. Dagegen gibt der Abbruch mit Rollback die Möglichkeit, alle bereits verarbeiteten Daten zu erhalten und den Transformationsfluss zu unterbrechen. Dieser kann erneut von dem Punkt der Unterbrechung fortgeführt werden. Das kann bei einem kurzfristigen Bedarf an Rechenressourcen oder auch bei Überprüfung der Änderungen nützlich werden.
Transformationsflüsse im Allgemeinen haben zudem ein weiteres Update erhalten. Neben der Funktion einen Lauf zu simulieren, wurde die Option eingeführt, einen Explain-Plan zu generieren. Dieser erzeugt einen kompilierten Plan als Tabelle in denen einzelne Schritte mit ihren Operatoren und zugehörigen Informationen dargestellt werden. Dadurch wird bei einem Fehlschlagen der Simulation die Möglichkeit geboten, detailliert nach Fehlern zu suchen.
Als weitere Neuerung der Datenintegration ist noch die Erweiterung der Befehlszeilenschnittstelle „datapshere“ zu beachten. Hier ist es möglich verschiedene Verbindungstypen anzulegen, zu entfernen und zu validieren. Als Administrator lassen sich zusätzlich die TLS-Zertifikate verwalten. Die Erweiterung der Befehlszeilenschnittstelle gibt die Optionen häufig Wartungsarbeiten, wie TLS-Zertifikate, durch Skripte zu lösen oder Verbindungen für bestimmte Spaces einheitlich anzulegen oder zu bearbeiten. Einmal vorbereitet und erstellt kann so der regelmäßige Arbeitsaufwand reduziert werden und Fehler bei Verbindungen reduziert. Die Befehlszeilenschnittstelle steht für eine Vielzahl an Verbindungstypen, wie Oracle, Generic OData, SAP BW, Confluent, SAP S/4HANA Cloud und weitere Typen, zur Verfügung. Bei Replikationsflüssen ist durch die Updates nun möglich als Verbindungstyp Microsoft SQL Server zu nutzen, welcher ebenfalls per Befehlszeilenschnittstelle verwaltet werden können.
Die SAP baut die Breite an Verbindungsoptionen immer weiter aus und schafft gleichzeitig mit der Befehlszeilenschnittstelle eine Möglichkeit zur effizienten Verwaltung.
Die neusten Erweiterungen der SAP Datasphere Datenmodellierung führen für den Datei-Space ebenfalls neue Funktionen der Datenmodellierung ein. Dem Python-Datei-Operator in den Transformationsflüsse wurde eine breitere Auswahl an Python-Standardbibliotheken hinzugefügt. Somit ergibt sich die Möglichkeit im kostengünstigen Objektspeicher des Datei-Spaces große Datenmengen zu laden und vorzubereiten, anstatt dies in einem klassischen Space später im Datenfluss durchzuführen. Für eine Übersicht zu den Python-Operator-Funktionen gibt es eine Referenzseite.
Durch ein Update am Python-Datei-Operator kann sich die erforderliche Anzahl an Rechenressourcen erhöhen. Dafür wurde eine neue Funktion für die Aufgabenketten im Datei-Space eingeführt. Nun lassen sich die maximale verwendbare Anzahl an Rechenressourcen eines Schrittes aktualisieren. Zukünftig lässt sich flexibel auf die Änderungen eines Objektes reagieren, ohne eine neue Aufgabenkette zu erstellen.
Auch unabhängig vom Objektspeicher gibt es entscheidende Innovationen in der Datenmodellierung. Durch eine neue Funktion kann die Validierung von Daten auf Views mit Remote-Quellen genutzt werden. Vorher war es notwendig die Daten zu persistieren, bevor eine Validierung vorgenommen werden konnte. Die Validierung prüft dabei, ob die Primärschlüsselwerte nicht NULL sind und eindeutig. Die Hierarchien werden auf mehrfach übergeordnete Elemente geprüft und ob eine zirkuläre Hierarchie vorhanden ist. Hinzu kommt die Überprüfung auf konsistente Datentypen. Durch die Validierung von Remote-Quellen ist es auch bei der initialen Erstellung eines Modells oder Änderungen an bereits bestehenden Modellen möglich, Fehler direkt zu erkennen und auszubessern.
Eine weitere Neuerung im Bereich der Sicherheit des Users ist die Möglichkeit, frühere Datenzugriffskontrollen wiederherzustellen. Die Wiederherstellungsmöglichkeiten in der SAP Datasphere wurde in den letzten Monaten auf neue Objekte ausgeweitet, wie im letzten Blogpost beschrieben. Die Datenzugriffskontrollen können dadurch bei unbeabsichtigten Änderungen oder bei Fehlern in einen funktionierenden Zustand zurückgesetzt werden, ohne die Änderungen manuell wieder rückgängig machen zu müssen.
Die Administrationsmöglichkeiten wurden für den neuen Objektspeicher und die Erweiterung der bestehenden Funktionen angepasst. Bei der Systemüberwachung ist es möglich aufwendige Anweisungen zu verfolgen und analysieren. Sollte eine SQL-Abfrage bei der Ausführung Schwellenwerte bei CPU-Auslastung, Speicher oder Zeit überschreiten, wird diese automatisch verfolgt. Dabei können Standardschwellenwerte genutzt werden oder Sie können diese nach Ihren eigenen Bedürfnissen anpassen. Dadurch wird die Problemquellenanalyse übersichtlich gelöst und es können Überlastungen des Systems erkannt und verhindert werden.
In dem letzten Monat hat die SAP regelmäßige Updates in der SAP Datasphere veröffentlicht. Viele der Updates führen dazu, dass den Usern mehr Funktionalitäten geboten werden. Insbesondere die Datenmodellierung und die Datenintegration profitieren von der letzten Welle der Innovationen. Der Einbettung in die Business Data Cloud steht somit nichts entgegen.
valantic besuchte Anfang April die DSAG. Die DSAG bietet spannende Fachvorträge und die Möglichkeit, dass sich das SAP Publikum untereinander austauschen konnte. Dieses Jahr stellte valantic mit einem Kunden zusammen den konzeptionellen Ansatz des gemeinsam durchgeführten, erfolgreichen PoCs in der SAP Datasphere vor. Im Anschluss ergab sich die Möglichkeit, über einige der angesprochenen Themen gemeinsam zu diskutieren.
Falls auch Ihr Interesse an der SAP Datasphere geweckt wurde oder Sie erfahren möchten, wie die SAP Datasphere im Rahmen der Business Data Cloud integriert und optimiert wird, melden sie sich gerne!
Ein Blick auf die Roadmap SAP Road Map Explorer zeigt, dass uns noch ein interessantes und innovatives Jahr 2025 bevorsteht!
Nichts verpassen.
Blogartikel abonnieren.