Unterstützungsprojekt "Serielles Datenlogging" für FTZ Leipzig

Das FTZ Leipzig stand vor der Herausforderung, große Datenmengen von bis zu drei externen Sensoren mit einer extrem hohen Baudrate von 1 MBaud effizient und verlustfrei zu verarbeiten. Ziel war, die eintreffenden Daten kontinuierlich über Wochen hinweg aufzuzeichnen und dabei fortlaufend neue Messdaten live zu visualisieren. Gleichzeitig bestand der Bedarf, relevante Zeitpunkte flexibel mit Kommentaren und Timestamps zu versehen und sämtliche Messdaten in einem universell nutzbaren Format zu exportieren. Bisher waren die Prozesse weitgehend manuell, langsam und von Ausfällen oder Datenverlust bedroht – insbesondere bei hohem Datenvolumen und komplexer Mustererkennung. Es fehlte an einer performanten, benutzerfreundlichen Lösung, die auch für weniger technisch geschulte Anwender geeignet ist und eine nachweisbar sichere Datenspeicherung garantiert.

Unsere Lösung: eine modulare, auf C#, WinForms und FasterKV aufbauende Desktop-Anwendung. Der Empfang erfolgt über einen Buffer-Interrupt der seriellen Schnittstelle, der für sehr schnelle Datenraten optimiert wurde. Die Daten werden im Buffer gesammelt und batchweise der Verarbeitung zugeführt, um Überläufe zu verhindern. Intelligente Algorithmen erkennen Datenmuster (Start/Ende), trennen und ordnen die Datensätze – der Einsatz von FasterKV garantiert eine effiziente Speicherung auch großer Datenmengen und schnellen Zugriff. Ein Live-Chart-Modul visualisiert eingehende Werte in Echtzeit, während eine Kommentarfunktion mit Zeitstempeln die Dokumentation wissenschaftlicher Ereignisse ermöglicht. Exportfunktionen erlauben den unkomplizierten Download kompletter Datenreihen. Die Software wurde ausführlich mit HTerm auf Fehlerfreiheit, Buffer-Handling und Datenintegrität getestet, sodass maximale Zuverlässigkeit mit einfacher Benutzerführung kombiniert werden konnte.

Technisch war insbesondere das Puffer- und Buffer-Management bei extrem hohen Baudraten herausfordernd. Die Serial-Kommunikation musste per Interrupt und mit speziellen Algorithmen so organisiert werden, dass keinerlei Daten verloren gehen – auch dann, wenn die Anwendung längere Zeiträume (Wochen) große Volumen ohne Unterbrechung aufzeichnet. Ein weiterer Fokus lag auf der sicheren Synchronisierung der Kommentar-Timestamps mit dem Eingangsstrom und der Verhinderung von Race Conditions. Ebenso anspruchsvoll: die zuverlässige Erkennung und Trennung von Datensätzen nach festen Mustern im Rohdatenstrom, selbst bei Übertragungsstörungen oder Paketverlusten. Schließlich erforderte die effiziente Speicherung, Integration und Indizierung der Daten mithilfe von FasterKV ein durchdachtes Datenbankschema und eine nahtlose Anbindung an die Benutzeroberfläche.

Das gemeinsame Projekt mündete in einer robusten, hochperformanten und besonders einfach zu bedienenden Anwendung, die sowohl wissenschaftlichen Ansprüchen als auch Alltagsanforderungen im Labor genügt. Die innovative Pufferarchitektur sowie die flexible Export- und Kommentarfunktion ermöglichen nun sicheres, langfristiges Datenlogging und eine pointierte Analyse beliebiger Zeiträume. Die Benutzerinteraktion wurde gezielt für nicht-technische Anwender optimiert. Das FTZ Leipzig profitiert von deutlich reduzierten Fehlerquellen, einer effizienteren Forschungsdatenerhebung und smarter Visualisierung in Echtzeit – ein entscheidender Schritt zur Digitalisierung und Professionalisierung ihrer Forschungsprozesse.

Das Forschungs- und Transferzentrum Leipzig e.V. (FTZ Leipzig) ist ein selbstständiger Akteur der angewandten Forschung mit Schwerpunkt auf technischen, Umwelt- und Sozialwissenschaften. Das FTZ agiert als Bindeglied zwischen der Hochschule für Technik, Wirtschaft und Kultur Leipzig (HTWK Leipzig), Industrie, Kommunen und Forschungsprojekten. Stack: Eigenentwicklung, C#, FasterKV, Desktop-Tools. Sitz und Einsatzort: Leipzig, Sachsen.