Eine Alternative in 30 Minuten testen: der Ablauf
Die meisten Werkzeugtests scheitern daran, dass sie mit Beispielaufgaben gemacht werden. Dieser Ablauf dauert dreißig Minuten, benutzt ausschließlich deine eigenen Aufgaben und liefert am Ende drei Zahlen, mit denen sich eine Entscheidung begründen lässt, statt sie nur zu spüren.
Vom Team von KI Alternativen
Ein Test mit Beispielaufgaben misst, wie gut ein Werkzeug Beispielaufgaben löst. Das hat erstaunlich wenig mit deinem Alltag zu tun, weil Beispiele sauber sind und dein Alltag nicht. Der folgende Ablauf ist so gebaut, dass er nur mit echtem Material funktioniert.
Minute 0 bis 5: fünf echte Aufgaben sammeln
Such aus der letzten Arbeitswoche fünf Aufgaben heraus, die du dem alten Werkzeug tatsächlich gegeben hast, und kopier sie im Originalwortlaut. Wichtig ist die Mischung: mindestens eine sehr kurze, mindestens eine sehr lange und mindestens eine, bei der das alte Werkzeug schlecht war.
Die letzte ist die wichtigste. Wenn der Kandidat genau dort auch scheitert, ist der Wechsel erledigt, bevor er begonnen hat.
Minute 5 bis 20: identisch durchlaufen lassen
Gib beiden Werkzeugen exakt denselben Wortlaut, ohne Nachbesserung und ohne Nachfragen. Nachbessern ist der häufigste Fehler in solchen Tests, weil du unbewusst beim vertrauten Werkzeug besser nachbesserst.
Schreib währenddessen nur mit, was schiefgeht: abgeschnittene Eingaben, Wartemeldungen, fehlende Funktionen, verworfene Ergebnisse. Bewertungen kommen später.
Minute 20 bis 30: drei Zahlen bilden
Drei Zahlen pro Werkzeug, sechs insgesamt. Das ist eine dünne Stichprobe und trotzdem die beste, die du bekommst, weil sie aus deinem Material stammt. Notier sie mit Datum, denn beim nächsten Modellwechsel willst du wissen, was sich wirklich geändert hat.
- Direkt brauchbar: bei wie vielen der fünf Aufgaben war das Ergebnis ohne Änderung verwendbar?
- Nacharbeit: wie viele Minuten hast du insgesamt für Korrekturen gebraucht?
- Reibung: wie oft bist du gegen eine Grenze gelaufen, also Kontingent, Länge, fehlende Funktion?
Die drei Fehler, die den Test wertlos machen
- Unterschiedliche Eingaben. Sobald du beim zweiten Werkzeug den Wortlaut anpasst, vergleichst du deine Formulierungskunst, nicht die Werkzeuge.
- Nur einfache Aufgaben. Bei einfachen Aufgaben sind fast alle gleich gut, und der Test sagt genau nichts.
- Beim ersten guten Eindruck aufhören. Der erste Eindruck fällt fast immer zugunsten des Neuen aus, weil neu interessanter ist als vertraut.
Nach dem Test: die zweite Woche
Ein bestandener Test ist eine Erlaubnis zum Probelauf, keine Entscheidung. Nimm den Kandidaten für eine Woche in den echten Betrieb, aber nur für unkritische Aufgaben, und lass das alte Werkzeug so lange parallel bestehen.
Erst nach dieser Woche kennst du das, was kein Test zeigt: wie sich das Werkzeug an einem schlechten Tag verhält, wenn du unter Zeitdruck stehst und keine Lust auf ein Handbuch hast.