Datenintegration as-fast-as possible
Maximale Performance bei Datenintegration von Zeitreihen
Wie wir den Daten-Footprint eines Systems für Zustandsüberwachung um das 200-fache reduzieren konnten, um nicht nur die Performance zu erhöhen, sondern auch Skalierfähigkeit zu gewährleisten.
1. Ausgangslage
- Es galt ein Legacy-System zur Zustandsüberwachung von Wälzlagern abzulösen, das bereits über die Grenzen der Skalierfähigkeit im Einsatz war.
- Performance- und Speicherprobleme verschärfen sich durch die Aufnahme weitererMonitoring-Objekte.
- Ein Datenbestand von aktuell 3 Jahren und die fortlaufende Erweiterung von Monitoringdaten erlaubten kein vom Netz nehmen des Altsystems bei der Migration.
- Das neue System sollte sowohl Bestandsdatensätze (>1Tbyte), als auch neu eintreffende Daten verarbeiten können.
- Zusätzlich sollte das neue System für die erweiterte Datenverarbeitung im Zuge einer Predictive Maintenance vorbereitet werden.
2. Vorgehensweise/Lösungsansatz
- Verschiedene verfügbare Open-Source Werkzeuge wurden hinsichtlich Stabilität,Zuverlässigkeit und Performance evaluiert.
- Die Wahl fiel auf einen Container- / Docker-basierten, konfigurierbaren CI/CD-Ansatz(Continuous Integration / Continuous Deployment).
- Durch Anstoßen der Deployment-Pipeline wurde ein System mit Anbindung an bestehendeFilesysteme erzeugt. Das erzeugte System führt den Dateiupload aller bestehenden Daten (alt-Daten) automatisch aus.
- Neue Daten, die während der Laufzeit des Systems eintreffen, werden ebenfalls automatisch erfasst.
- Netzwerkbasierte Verbindungsfehler (externe Ausfälle oder Unterbrechungen) beeinträchtigen die Datenerfassung nicht, alle Daten werden verarbeitet.
3. Ergebnisse
- Der Footprint der Datenbasis konnte auf ein 200stel reduziert werden: 1.000 Gbyte -> 5Gbyte.
- Eine Neuerstellung der Datenbank ist mehrfach innerhalb eines Arbeitstages möglich.
- Die einlesbaren Datenformate sind frei konfigurierbar.
- Die Archiv-Daten sind goldener Standard, die Daten werden während des Uploads nichtverändert. Alle weiteren Datenverarbeitungsschritte erfolgen auf der neuen/performanten Datenbasis.
4. Kundennutzen
- Skalierfähigkeit des Neusystems
- Zeitersparnis: Große (dateibasierte) Bestandsdaten können unmittelbar performant verfügbar gemacht werden. Dies mindert die Bearbeitungszeit erheblich.
- Flexibilität und Effizienz: Das System kann an existierende Prozesse angebunden werden.
- Zeitersparnis und Leitungsfähigkeit: Bestandsdaten können schnell und hochperformantverfügbar gemacht werden.
- Bessere Sichtbarkeit der Ergebnisse: Die hochgeladenen Daten können sofort visualisiert oder weiter aggregiert werden.
- Erweiterbare Lösung: Das System kann erweitert werden.
Ansprechpartner
Werner Spiegl
Leiter Consulting
Tel.: 09131/9408-0
E-Mail: werner.spiegl@astrum-it.de
Unser Leistungsspektrum für Sie
