Auros setzt mit dem AI Relationship Quality Benchmark (ARQ) einen neuen Maßstab für die menschliche Seite von KI-Erlebnissen

br />

Neues Angebot ermöglicht Unternehmen zu messen, wie Menschen tatsächlich mit dialogbasierter und agentischer künstlicher Intelligenz (KI) interagieren

ARQ bewertet das Nutzererlebnis mit der KI über reine Genauigkeits- und Leistungskennzahlen hinaus

Auros, das Human-Insights-Netzwerk für das KI-Zeitalter, hat mit AI Relationship Quality (ARQ) einen neuen Benchmark vorgestellt, der bewertet, wie gut ein KI-Erlebnis für menschliche Nutzer funktioniert. ARQ wird vom Professional-Services-Team von Auros bereitgestellt und erweitert traditionelle KI-Evaluierungsmodelle, die vor allem die Genauigkeit, Effizienz und Sicherheit von Anwendungen testen, um menschliche Faktoren wie Vertrauen und Sympathie.

Mit ARQ schließt Auros die Lücke zwischen technischen Leistungskennzahlen und den Geschäftsergebnissen, die KI-gestützte Erlebnisse erzielen sollen. Der ARQ-Score liefert eine zuverlässige, quantifizierbare Bewertung darüber, ob eine KI-Anwendung tatsächlich für ihre Nutzer funktioniert: also ob diese die KI verstehen, ihr vertrauen, sich in Kontrolle fühlen, die gewünschten Ergebnisse erzielen und die Lösung weiterhin nutzen möchten.

„Selbst mit der technisch leistungsfähigsten KI kann man Kunden verlieren“, kommentiert Jason Giles, Vice President Customer Intelligence bei Auros. „Denn menschliche Anwender bewerten nicht das KI-Modell oder den Agenten, sondern sie entscheiden, ob sie der KI vertrauen. ARQ wurde entwickelt, um genau diesen Faktor zu messen. Statt nur anzunehmen, dass ihre KI-Lösung funktioniert, erhalten Entwickler und Anbieter damit Gewissheit.“

So funktioniert ARQ

ARQ ist ein von Experten geleiteter Benchmark- und Evaluierungsansatz, der vom Professional-Services-Team von Auros mithilfe einer rigorosen und wiederholbaren Methodik durchgeführt wird. Dadurch sind konsistente Messungen über einen längeren Zeitraum möglich. Jedes Projekt wird individuell auf die spezifische KI-Anwendung, die Zielgruppe und die Geschäftsziele eines Unternehmens zugeschnitten. Die Testteilnehmer werden entsprechend ausgewählt.

Der Benchmark liefert einen Gesamt-Score sowie Einzelbewertungen in fünf Bereichen, die maßgeblich für die Akzeptanz und Anwenderzufriedenheit mit KI verantwortlich sind:

Verständnis – Haben Nutzer das Gefühl, die Denkweise, Absichten und Grenzen des Large Language Models (LLM) zu verstehen?

Vertrauen – Bringen Nutzer der KI-Anwendung das angemessene Maß an Vertrauen entgegen, also weder zu viel noch zu wenig?

Kontrolle – Können Nutzer die KI steuern, korrigieren und Fehler beheben, wenn etwas schiefläuft?

Ergebnisqualität – Haben Nutzer das Gefühl, dass die Zusammenarbeit zwischen Mensch und KI bessere Ergebnisse liefert, als sie allein erzielen könnten?

Sympathie – Sorgen Persönlichkeit, Tonalität, Nahbarkeit und emotionale Reaktionen der KI dafür, dass Menschen die Anwendung erneut nutzen möchten?

Da der Benchmark wiederholbar ist, eignet er sich zur Messung von Fortschritten über längere Zeiträume sowie zum Vergleich mit Wettbewerbern. Die Bewertungen werden durch Video-Feedback der Teilnehmer ergänzt; dieses liefert den Kontext hinter den Zahlen: Was funktioniert gut? Wo besteht Verbesserungsbedarf? Welche Maßnahmen sollten priorisiert werden? Das Ergebnis ist ein umfassendes Bild der Mensch-KI-Beziehung inklusive konkreter Erkenntnisse und Handlungsempfehlungen.

ARQ wurde entwickelt, um bestehende KI-Evaluierungen zu ergänzen, nicht um sie zu ersetzen. Während klassische Evaluierungen die Leistung eines Systems messen, bewertet ARQ die Beziehung der Menschen zu diesem System. So erhalten Teams ein vollständiges Bild darüber, ob eine KI-Anwendung tatsächlich wirksam ist.

Verfügbarkeit

AI Relationship Quality ist ab sofort über Auros Professional Services verfügbar. Weitere Informationen sowie die Möglichkeit, die eigene KI-Anwendung bewerten zu lassen, unter aurosglobal.com.

Auros mit Hauptsitz in Bellevue, Washington, USA stellt die Customer Insights und die menschliche Expertise bereit, die Produkt-, Marketing- und KI-Forschungsteams benötigen, um im Zeitalter der künstlichen Intelligenz erfolgreich zu sein. Gestützt auf ein Netzwerk von 7,6 Millionen verifizierten Teilnehmern sowie zwei Jahrzehnte Erfahrung mit Rekrutierungs- und Verifizierungsinfrastrukturen ist Auros das Unternehmen hinter den Marken UserTesting und User Interviews. Weitere Informationen unter aurosglobal.com.