Datenintegration as-fast-as possible

Maximale Performance bei Datenintegration von Zeitreihen

Wie wir den Daten-Footprint eines Systems für Zustandsüberwachung um das 200-fache reduzieren konnten, damit die Performance erhöht und gleichzeitig die Skalierfähigkeit erreicht wird.

Automation

ITC Consulting Use Case As Fast As Possible

AUSGANGSLAGE

Ablösen eines Legacy-Systems zur Zustandsüberwachung von Wälzlagern, das bereits über die Grenzen der Skalierfähigkeit im Einsatz ist.
Verschärfen der Performance- und Speicherprobleme durch Aufnahme weiterer Monitoring-Objekte.
Datenbestand von aktuell 3 Jahren und fortlaufende Erweiterung von Monitoringdaten: kein vom Netz nehmen des Altsystems bei der Migration.
Das neue System muss sowohl Bestandsdatensätze (>1Tbyte), als auch neue eintreffenden Daten verarbeiten können.
Vorbereiten des neuen Systems für die erweiterte Datenverarbeitung im Zuge eines Predictive Maintenance.

Lösungsansatz

Es wurden verschiedene verfügbare Open-Source Werkzeuge hinsichtlich Stabilität, Zuverlässigkeit und Performance evaluiert.
Die Wahl fiel auf einen Container- / Docker-basierten, konfigurierbaren CI/CD-Ansatz (Continuous Integration / Continuous Deployment).
Durch Anstoßen der Deployment-Pipeline wird ein System mit Anbindung an bestehende Filesysteme erzeugt. Das erzeugte System führt den Dateiupload aller bestehenden Daten (alt-Daten) automatisch aus.
Neue Daten, die während der Laufzeit des Systems eintreffen, werden ebenfalls automatisch erfasst.
Netzwerkbasierte Verbindungsfehler (externe Ausfälle oder Unterbrechungen) beeinträchtigen die Datenerfassung nicht, alle Daten werden erfasst.

Ergebnisse

Footprint der Datenbasis auf ein 200stel reduziert: 1.000 Gbyte -> 5Gbyte:
Neuerstellen der Datenbank ist mehrfach innerhalb eines Arbeitstages möglich.
Die einlesbaren Datenformate sind frei konfigurierbar.
Die Archiv-Daten sind goldener Standard, die Daten werden während des Uploads nicht verändert. Alle weiteren Datenverarbeitungsschritte erfolgen auf der neuen/performanten Datenbasis:

Kundennutzen

Skalierfähigkeit des Neusystems dem Business Case entsprechend:
Erhebliche Einsparung von Bearbeitungszeit: Große (dateibasierte) Bestandsdaten können unmittelbar performant verfügbar gemacht werden.
Flexibilität und Effizienz: Das System kann an existierende Prozesse angebunden werden:
Zeitersparnis und Leitungsfähigkeit: Bestandsdaten können schnell und hochperformant verfügbar gemacht werden:
Bessere Sichtbarkeit der Ergebnisse: Die hochgeladenen Daten können sofort visualisiert oder weiter aggregiert werden.
Erweiterbare Lösung: Das System kann erweitert werden.

Ansprechpartner

Werner Spiegl

Leiter Consulting

Tel.: 09131/9408-0
E-Mail: werner.spiegl@astrum-it.de

Martin Hühn

Partner & Account Manager

Tel.: 09131/9408-0
E-Mail: martin.huehn@astrum-it.de

Unser weiteres Leistungsspektrum für Sie

Softwareentwicklung

Wir entwickeln Software für Unternehmen, die durch individuelle IT-Lösungen kreative Ideen verwirklicht und ihre Geschäftsprozesse effizienter gestaltet.

Mehr erfahren