13/09/2024

Automatisierte KI-Reportings für mehr Effizienz in Redaktionen

(Generative) KI Content Supply Chain Public & Defense Blogartikel

Autorinnen: Marie Oelgemöller & Daria Kolesova

Illustration eines Computerbildschirms, der Diagramme und Grafiken zeigt, darunter Liniendiagramme, Balkendiagramme und ein Kreisdiagramm. Eine Hand zeigt auf den Bildschirm und deutet auf eine Interaktion hin.

Viele unserer Kunden verwalten große Mengen an Online-Inhalten. Dabei die Relevanz und Aktualität der Inhalte zu gewährleisten, kann eine Herausforderung sein. Gerade im öffentlichen Sektor ändern sich häufig politische Voraussetzungen und Gesetze. Diese Änderungen müssen schnell und bürgernah kommuniziert werden. Wie können Redaktionen mit KI-Reportings dafür sorgen, dass tausende Online-Inhalte jederzeit relevant, aktuell, verständlich und zielgruppengerecht sind?

Ein KI-gestütztes Reporting kann schnell und zuverlässig große Mengen an Content auf Qualität, Tonalität und Themengenauigkeit untersuchen. Für einen Kunden im Bereich Verteidigung und Sicherheit analysieren wir derzeit anhand von individuellen Kriterien und Erfolgsmetriken regelmäßig alle Online-Inhalte: mit generativer KI und Natural Language Processing-Algorithmen, die wir mit Nutzungsdaten aus dem Webanalyse-Tool kombinieren. So erkennen wir Auffälligkeiten und Abhängigkeiten. Basierend auf einer detaillierten Auswertung erhält unser Kunde Verbesserungsvorschläge. Durch die KI-Reportings steigt die Qualität der Online-Inhalte erheblich.

Strategie als Ausgangspunkt

Zu Beginn steht die Content-Strategie im Fokus. Welche Kommunikationsziele verfolgen unsere Kund*innen? Welche Zielgruppen sollen erreicht werden? Mit diesen Informationen können Umfang und Schwerpunkt der Analysen festgelegt werden. Etwa, welche Inhalte und Themen im Vordergrund der Analyse stehen sollen. Sprachmodelle kategorisieren neu veröffentlichte Inhalte nach verschiedenen Themenschwerpunkten. So behalten unsere Kundinnen und Kunden immer den Überblick über die Themenverteilung.
Sobald die Ziele klar sind, legt IBM iX Kriterien und Metriken fest, um mithilfe von Sprachmodellen die Textqualität und Themengenauigkeit der Inhalte zu bewerten.

Generative KI im Einsatz: Metriken als Schlüssel zum Erfolg

Die Definition der Zielmetriken ist ein wichtiger Grundstein für das KI-Reporting. Web-Analyse-Tools liefern Kennzahlen wie Seitenaufrufe, Besuchszeit, Absprungrate und Scrolltiefe. Diese Metriken geben Auskunft über den Erfolg von Inhalten.
Mit Hilfe automatisierter Crawls werden geschriebene Artikel in Zahlen dargestellt: Wie viele Worte hat der Artikel? Wie viele Bilder und Videos sind eingefügt? Wie oft haben Lesende den Artikel kommentiert?

Gleichzeitig prüfen Sprachmodelle Inhalte auf qualitative Kriterien wie Verständlichkeit und eine gelungene Ansprache von Zielgruppen. Die Verknüpfung von quantitativer und qualitativer Analyse ergibt ein vollständiges Bild.

Automatisierte Bewertung der Textqualität

Gute Online-Inhalte sind leicht verständlich – unabhängig von der Komplexität des Themas. Die automatisierte Analyse basiert auf dem Hamburger Verständlichkeitskonzept und prüft die vier Hauptmerkmale: Einfachheit, Gliederung und Ordnung, Kürze und Prägnanz sowie anregende Zusätze. Für jedes Merkmal werden zahlreiche Metriken definiert, die etwa den logischen Aufbau, aussagekräftige Titel und relevanten Inhalt bewerten. Zusätzlich untersucht die KI Inhalte auf vielfältige Formate, Storytelling und interaktive Elemente, die den Inhalt ansprechender gestalten. Das KI-Reporting führt auch eine Tonalitäts-Analyse durch und prüft Aktualität, Zeichensetzung sowie Rechtschreibung der Texte. Hilfestellung bei der Erstellung von redaktionellen Inhalten bietet das KI-Tool „Kixa“ von IBM iX.

Alles prompt, oder was?

Prompts sind Anweisungen, die dem Sprachmodell vorgeben, welche Aktionen es ausführen soll. Für die automatisierte Auswertung wird ein System Prompt verfasst, der auf die Bedürfnisse unserer Kund*innen abgestimmt ist. Dieser System Prompt dient als initiale Anweisung für die Sprachmodelle und wird im Hintergrund für alle weiteren Prompts verwendet. Er enthält alle relevanten Informationen aus der Content-Strategie und dem Redaktionsleitfaden.

Alle weiteren Prompts konzentrieren sich auf die Auswertung von Inhalten und sind speziell auf die Bewertungskriterien ausgerichtet. Nach Abschluss der Prüfung weist die KI eine numerische Bewertung zu, die die Erfüllung der vorgegebenen Kriterien widerspiegelt.

Die Bewertung erfolgt über die IBM Consulting Advantage Plattform, auf der die Modelle Mixtral 8x7B durch die IBM watsonx.ai-Plattform und GPT-4 durch Microsoft Azure in einem EMEA-Deployment abgerufen werden. In beiden Fällen werden keine Daten zwischengespeichert.

KI-Reporting: Automatisiert und von Experten kontrolliert

Generative KI ist ein Effizienzbooster, aber Expertenwissen bleibt unverzichtbar. Daher unterzieht IBM iX ausgewählte Inhalte einer punktuellen Prüfung durch unsere Content-Expert*innen. Dabei werden beispielsweise die meistbesuchten Artikel ausgewählt. Der Fokus der Analyse liegt auf der redaktionellen Qualität und zielgruppengerechten Ansprache.

Dashboard: Alle Ergebnisse auf einen Blick

Ein individuell gestaltetes Dashboard bereitet monatlich alle Entwicklungen auf. Die Metriken werden in verschiedenen Grafiken visualisiert. Dank einer übersichtlichen Struktur sind Veränderungen im Vergleich zum Vormonat sofort erkennbar. Zudem werden in einer Tabelle alle Daten für die veröffentlichten Inhalte erfasst. Ergänzend werden Entwicklungen, Erkenntnisse und Empfehlungen in kurzen Texten aufbereitet. Redaktionen können diese direkt umsetzen. Neben besseren Inhalten wird auch die Arbeit in den Redaktionen durch KI-Reportings effizienter.

Ausblick

Ein KI-Reporting bietet enorme Vorteile für Organisationen, die große Mengen an Content im Internet bereitstellen: Sie bekommen eine skalierte qualitative Analyse und Bewertung auf Knopfdruck. IBM iX hat eine solche Lösung bereits erfolgreich bei einem Kunden im Bereich Verteidigung und Sicherheit sowie für einen Träger der Sozial- und Rentenversicherung umgesetzt. Dies führt nicht nur zu einer besseren Zielgruppenansprache, sondern auch zu einer nachhaltig verbesserten Performance der Kommunikation. Selbst bei schnell wechselnden Voraussetzungen können Redaktionen gewährleisten, dass Zielgruppen die Inhalte bekommen, die sie benötigen. Letztlich ermöglicht es Organisationen, sich besser im digitalen Raum zu positionieren und langfristig erfolgreich zu sein.