Diagramm-Scanner: Vom Bild zum strukturierten Prozessmodell

Ausgangslage

Prozesse, Strukturen und Strategien entstehen häufig zunächst als Skizze, sei es am Whiteboard, auf Papier oder in einer Präsentation. Die anschließende Digitalisierung erfolgt bislang meist manuell: Formen, Verbindungen und Beschriftungen werden Element für Element nachgezeichnet. Das bindet Zeit und ist fehleranfällig.

Zugleich enthalten solche Darstellungen oft vertrauliche Informationen, etwa Organisationsstrukturen, interne Abläufe oder strategische Planungen. Eine Verarbeitung über externe KI-Dienste kommt für viele Organisationen deshalb nicht infrage.

Zielsetzung

Für einen Anbieter digitaler Whiteboards entsteht eine Lösung, die Diagramme aus Bildern automatisiert in strukturierte, weiterverarbeitbare Modelle überführt. Zentrale Vorgaben sind der Betrieb ohne Drittanbieter, ohne Grafikkarte und ohne laufende Lizenzkosten für die eingesetzten Modelle sowie eine Erkennungsgenauigkeit von mehr als 80 Prozent.

Vorgehen

Anforderungsanalyse und Modellauswahl

Ausgehend von den Vorgaben des Kunden bewerten wir verfügbare Erkennungsmodelle anhand folgender Kriterien:

1. Lizenz: Das Modell muss unter einer freien, kommerziell nutzbaren Lizenz stehen, ohne laufende Lizenzkosten für die Inferenz.
2. Betrieb ohne Drittanbieter: Die gesamte Verarbeitung muss in der Infrastruktur des Kunden erfolgen, ohne Übermittlung von Daten an externe Dienste.
3. Ressourcenbedarf: Die Inferenz muss effizient auf Standard-Servern ohne Grafikkarte laufen, mit möglichst geringem Bedarf an Rechenleistung und Arbeitsspeicher.
4. Erkennungsqualität: Gefordert ist eine Genauigkeit von mehr als 80 Prozent über alle Formklassen.
5. Ausfallsicherheit: Die Pipeline soll bei schwierigen Eingaben kontrolliert reagieren, statt vollständig zu scheitern.

Bekannte Erkennungsmodelle wie YOLOv8 und YOLO-NAS scheiden aufgrund ihrer Lizenzbedingungen aus. Die Wahl fällt auf RF-DETR, ein leistungsfähiges Erkennungsmodell unter der freien Apache-2.0-Lizenz, das sich für den Betrieb auf Standard-Hardware eignet.

Datengrundlage und Training

Das Training basiert auf einem Datensatz mit sorgfältig annotierten Beispielen unterschiedlicher Diagrammtypen und Darstellungsstile. Gezielte Datenaugmentierung, etwa durch gedrehte Darstellungen, und ein Ausgleich zwischen häufigen und seltenen Formen verbessern die Erkennung schwieriger Fälle deutlich.

Entwicklung einer modularen Pipeline

Statt auf ein einzelnes, universelles Modell zu setzen, kombiniert die Lösung spezialisierte KI-Modelle mit bewährten Verfahren der Bildverarbeitung. Jede Komponente übernimmt eine klar definierte Aufgabe:

• Erkennung von Formen, Verbindungen und Pfeilspitzen
• Texterkennung auch bei gedrehten Beschriftungen
• Rekonstruktion von Verbindungen, Richtungen und Zuordnungen auf Basis geometrischer Verfahren
• Strukturierte Ausgabe für die direkte Weiterverarbeitung in anderen Systemen

Evaluation und Bereitstellung

Die Qualität der Lösung wird systematisch gemessen, sowohl für die Erkennung einzelner Formen als auch für die korrekte Zuordnung der Verbindungen. Abschließend wird die Pipeline als Container mit einer standardisierten Schnittstelle bereitgestellt.

Herausforderungen und Lösungen

Diagramme sind in ihrer Darstellung äußerst vielfältig. Für die zentralen Herausforderungen entwickeln wir jeweils gezielte Lösungen:

• Gedrehte und seltene Formen: Augmentierung und Klassenausgleich im Training sorgen dafür, dass auch ungewöhnlich ausgerichtete Formen sicher erkannt werden.
• Unterbrochene Linien: Gestrichelte und gepunktete Verbindungen werden durch adaptive Bildverarbeitung zu durchgängigen Linien zusammengeführt.
• Pfeilenden und Richtungen: Ein robustes Verfahren bestimmt Anfang und Ende auch bei gekrümmten Verbindungen, die Richtung ergibt sich aus der erkannten Pfeilspitze.
• Sich kreuzende Verbindungen: Eine Wegsuche über die vereinfachten Linienverläufe wählt an Kreuzungspunkten zuverlässig den passenden Pfad.
• Beschriftungen auf Linien: Texte auf Verbindungen werden erkannt, ausgeblendet und die Linie dahinter rekonstruiert.

Ergebnis

Die Lösung erfüllt die gesetzten Qualitätsziele. Die Formerkennung erreicht über alle Klassen einen mAP-Wert von 0,83 und übertrifft damit die geforderte Genauigkeit. Im Praxistest mit 50 zufällig ausgewählten Diagrammen ordnet die Pipeline nahezu alle Verbindungen korrekt zu, ohne fehlerhafte Verknüpfungen zu erzeugen. Die Verarbeitung läuft auf Standard-Servern ohne Grafikkarte.

Datenhoheit

Die Lösung kann vollständig in der Infrastruktur des Kunden betrieben werden. Bilder müssen die eigene Umgebung zu keinem Zeitpunkt verlassen, und es besteht keine Abhängigkeit von externen KI-Diensten. Modellaktualisierungen erfolgen ausschließlich dann, wenn der Betreiber sie vornimmt.

Mehrwert

Das Projekt zeigt, dass spezialisierte, lokal betriebene KI-Modelle bei klar umrissenen Aufgaben eine leistungsfähige und datenschutzkonforme Alternative zu großen Cloud-Modellen darstellen. Der Ansatz ist auf weitere Anwendungsfelder übertragbar, etwa auf die Verarbeitung von Formularen, Akten oder Scans in Organisationen mit hohen Anforderungen an die Vertraulichkeit.