Das Bewertungssystem
Das Bewertungssystem umfasst fünf Kategorien mit jeweils fünf Bewertungsfragen (insgesamt 25 Fragen). Jede Frage wird auf einer Skala von 0 bis 100 in 25er-Schritten bewertet. Die Bewertung wird anteilig in Punkte umgerechnet, wobei jede Frage maximal einen Punkt ergibt. Die Gesamtpunktzahl ist die Summe aller Einzelpunkte und beträgt maximal 25 Punkte
Funktionalität & Usability
Bewertet, wie zuverlässig das Tool seinen Zweck erfüllt und wie gut es im Arbeitsalltag nutzbar ist. Im Fokus stehen Funktionsumfang, Stabilität der Kernfeatures sowie Bedienbarkeit und Time-to-Value.
- Erfüllt das Tool seinen zentralen Zweck zuverlässig im vorgesehenen Einsatzkontext?
- Bietet das Tool ausreichend Funktionen für den vorgesehenen Use Case?
- Gibt es Benchmarks, die bei der Einordnung der Ergebnisse unterstützen?
- Ist das Tool durch einen versierten Laien zu bedienen?
- Ist das Tool individualisierbar für die einzelne Branche (den einzelnen Kunden)?
Prozess- & Research-Integration
Beschreibt, wie gut sich das Tool technisch und methodisch in bestehende Research- und Projektprozesse einfügt. Entscheidend sind Integrationsfähigkeit, Prozessstabilität und Wiederholbarkeit im Projekteinsatz.
- Lässt sich das Tool inhaltlich sinnvoll in bestehende Prozesse integrieren?
- Lässt sich das Tool technisch sinnvoll in bestehende Prozesse integrieren?
- Verursacht der Einsatz des Tools keine größeren Zusatzaufwände im Research-Prozess?
- Entspricht der Einsatz des Tools gängigen methodischen Richtlinien der Marktforschung (über den Datenschutz hinausgehend)?
- Einmal aufgesetzt, lässt sich das Tool projekt- und kundenübergreifend bequem nutzen?
Mehrwert & Zukunftspotenzial
Erfasst den Nutzen des Tools im Vergleich zu bestehenden Lösungen sowie seine strategische Relevanz. Bewertet werden Mehrwert, neue Anwendungsfälle und erkennbare Weiterentwicklungsperspektiven.
- Liefert das Tool einen klaren Mehrwert gegenüber etablierten Lösungen oder manuellen Vorgehensweisen?
- Führt der Einsatz des Tools zu einer messbaren Effizienzverbesserung (Schnelligkeit) im Projekt?
- Ermöglicht das Tool Anwendungsfälle, die mit bisherigen Methoden praktisch nicht umsetzbar waren?
- Ist der Mehrwert des Tools bereits in realen Projekten belegt?
- Zeigt das Tool ein klar erkennbares Zukunftspotenzial?
Qualität & Verlässlichkeit der Ergebnisse
Bewertet die Stabilität, Nachvollziehbarkeit und Belastbarkeit der Ergebnisse. Im Mittelpunkt steht, ob die Outputs methodisch sauber sind und als valide Entscheidungsgrundlage im Research dienen können.
- Liefert das Tool bei identischen Eingaben konsistente und reproduzierbare Ergebnisse?
- Sind die Ergebnisse methodisch nachvollziehbar und logisch erklärbar?
- Gibt es ausreichende Transparenz darüber, wie Ergebnisse zustande kommen?
- Kann es helfen eine Entscheidung vorzubereiten, bzw. besser in Daten fundiert zu treffen als ohne das Tool?
- Sind Grenzen bezüglich der Aussagekraft der Ergebnisse klar erkennbar oder transparent dargestellt?
Daten- & Sicherheitseinschätzung
Beurteilt den Umgang des Tools mit Daten im Hinblick auf Datenschutz, Datensicherheit und Governance. Relevant sind Transparenz, rechtliche Konformität sowie der Umgang mit sensiblen Research-Daten.
- Ist transparent geregelt, wo und wie Daten gespeichert und verarbeitet werden?
- Entspricht das Tool den relevanten Datenschutzanforderungen (z. B. DSGVO)?
- Entspricht das Tool der Verordnung über künstliche Intelligenz (Verordnung (EU) 2024/1689)?
- Können Daten nach Projektabschluss vollständig gelöscht oder anonymisiert werden?
- Kann man definieren, ob die eingegebenen Daten für Trainings- oder Optimierungszwecke genutzt werden?