KI-Konzepttests

Was bedeutet es eigentlich, eine Idee mit 1.000 KI-simulierten Teilnehmenden zu testen?

Wie KI-simulierte Teilnehmende entstehen, wie jede Antwort und jeder Prozentwert gezählt wird, was ein Bericht zeigen kann und warum genaue Zahlen keine Vorhersagen sind.

Auf dieser Seite
  1. Schritt 1: Die Zielgruppe wird in Gruppen aufgeteilt
  2. Schritt 2: Code erstellt jede teilnehmende Person
  3. Schritt 3: Wie jede teilnehmende Person „antwortet“
  4. Schritt 4: Wie die Summen berechnet werden
  5. Warum die Anzahl keine Stichprobengröße einer Umfrage ist
  6. Was ein Bericht zeigen kann
  7. Was Ergebnisse nicht belegen können
  8. Präzision ist nicht Genauigkeit
  9. Ergebnisse in echte Experimente verwandeln
  10. Dein nächster Schritt

„Mit 1.000 Teilnehmenden getestet“ klingt nach einer Umfrage. Ist es aber nicht, und genau zu wissen, was im Test passiert, ist der beste Schutz davor, zu viel in das Ergebnis hineinzulesen.

Dieser Leitfaden geht einen SellTo.us-Test von Anfang bis Ende durch: wie die simulierten Personas entstehen, wie jede Antwort erzeugt wird, wie die Summen berechnet werden, was dir der Bericht sagen kann und was nicht. Alles hier entspricht unserer veröffentlichten Methodik-Seite, die die Engine so beschreibt, wie sie derzeit läuft.

Wenn du noch überlegst, ob simulierte Tests überhaupt in deinen Prozess gehören, fang mit unserem Vergleich von KI-simulierten Zielgruppen und echter Kundenforschung an. Dieser Artikel geht davon aus, dass du gleich einen Bericht liest und ihn verstehen willst.

Schritt 1: Die Zielgruppe wird in Gruppen aufgeteilt

Du beschreibst deine Idee und für wen sie ist. Ein KI-Modell (Claude Sonnet 5.5 von Anthropic) liest beides und teilt die Zielgruppe in Gruppen auf. Ein Test mit 1.000 Teilnehmenden hat 8 Gruppen; größere Tests haben 25 oder 100.

Jede Gruppe bekommt:

  • einen Namen und ihren Anteil an der Zielgruppe,
  • eine Altersspanne,
  • 4 typische Berufe oder Lebensrollen,
  • ein Budgetniveau: knapp, durchschnittlich, komfortabel oder hoch,
  • eine kurze Notiz dazu, wie sie einkaufen.

Wenn du ein Foto hinzufügst, sieht sich dasselbe Modell es einmal an und schreibt eine kurze Textbeschreibung. Die Teilnehmenden reagieren auf diese Beschreibung, nicht auf das Bild selbst.

Das ist der folgenreichste Schritt. Die Gruppen sind die Interpretation deiner Zielgruppenangaben durch die KI. Eine vage Zielgruppe („alle, die kochen“) ergibt breite, allgemeine Gruppen, eine konkrete („Eltern von Kleinkindern, die sonntags vorkochen“) dagegen schärfere.

Schritt 2: Code erstellt jede teilnehmende Person

Die einzelnen Teilnehmenden werden von unserem Code erstellt, nicht von der KI. Bei 1.000 Teilnehmenden erzeugt der Code genau 1.000 Profile:

  • jedes wird einer Gruppe im Verhältnis zu deren Anteil zugeordnet,
  • das Alter wird zufällig innerhalb der Altersspanne der Gruppe gewählt,
  • der Beruf wird zufällig aus den 4 Berufen der Gruppe gewählt.

Die Zufallsauswahl wird aus der ID des Tests abgeleitet, sodass dieselbe Gruppe exakt neu erstellt werden kann. Im Test mit 100.000 Teilnehmenden bekommt jedes Profil zusätzlich eine Stadt oder Region.

Beachte, was nicht variiert: Alle in einer Gruppe teilen dasselbe Budgetniveau und dieselbe Einkaufsnotiz. 1.000 Teilnehmende sind also eigentlich 8 Gruppenbeschreibungen, jede auf viele Profile ausgeweitet, die sich in Alter und Beruf unterscheiden.

Schritt 3: Wie jede teilnehmende Person „antwortet“

Die Profile gehen an ein zweites Modell, Claude Haiku 4.5, in Anfragen mit jeweils 40 Profilen. Ein Test mit 1.000 Teilnehmenden umfasst 25 Anfragen. Jede Anfrage enthält deine Zielgruppe, jede Version, die du testest (Text, Preis, Fotobeschreibungen), und 40 nummerierte Profile.

Das Modell gibt pro Profil eine Antwort zurück. Bei einem physischen Produkt ist das würde kaufen, vielleicht oder würde nicht kaufen; bei einer App würde es ausprobieren, vielleicht oder würde es nicht ausprobieren; bei einer Dienstleistung würde es in Betracht ziehen, vielleicht oder würde es nicht in Betracht ziehen. Jede Antwort kommt mit einer Begründung von unter 12 Wörtern.

Jede teilnehmende Person hat also ihr eigenes Profil und ihre eigene Antwort, aber es sind keine getrennten Gespräche. Das Modell beurteilt 40 Profile auf einmal.

Schritt 4: Wie die Summen berechnet werden

Die Rechnung ist bewusst einfach.

Wer geantwortet hat. Antworten, die fehlerhaft oder gar nicht zurückkommen, werden übersprungen, nie erraten. Der Bericht zeigt, wie viele tatsächlich geantwortet haben, zum Beispiel „988 von 1.000“. Antwortet weniger als die Hälfte, schlägt der Test fehl, und das Guthaben wird automatisch zurückgebucht.

Jeder Prozentwert. Für jede Version: die Zahl der Teilnehmenden, die diese Antwort gegeben haben, geteilt durch die Zahl derer, die geantwortet haben. Angenommen, 391 von 988 haben „würde es ausprobieren“ geantwortet. Der Bericht zeigt das als 40 %, gerundet auf den nächsten ganzen Prozentpunkt.

Gruppenergebnisse. Dieselbe Zählung, innerhalb jeder Gruppe.

Was nicht berechnet wird. Keine Fehlermargen und keine statistische Konfidenz. Wir haben die Ergebnisse nicht an echten Verkäufen gemessen, und eine Konfidenzangabe würde eine Genauigkeit suggerieren, die niemand nachgewiesen hat.

Warum die Anzahl keine Stichprobengröße einer Umfrage ist

In einer echten Umfrage verringert eine größere Stichprobe den Zufallsfehler, weil jede neue befragte Person eine unabhängige Ziehung aus der Grundgesamtheit ist. Diese Logik lässt sich hier nicht übertragen.

  • Die Antworten sind keine unabhängigen Ziehungen. Sie stammen von einem einzigen Modell, das mit einer Handvoll Gruppenbeschreibungen arbeitet.
  • Es wird keine Grundgesamtheit gezogen. Die Gruppen sind die Interpretation deines Zielgruppentexts durch eine KI, keine Auswahl echter Menschen.
  • Wiederholungen weichen ab. Wenn du denselben Test noch einmal durchführst, bekommst du etwas andere Zahlen, und wie groß dieser Unterschied ist, wurde nicht gemessen.

Was dir ein größerer Test tatsächlich gibt, sind mehr Gruppen, mehr Vielfalt bei den Profilen, mehr Beispielinterviews (12 bei 1.000; 50 bei 10.000; 200 bei 100.000) und Platz für mehr Versionen. Das sind mehr Details zum Erkunden, nicht mehr Gewissheit.

Was ein Bericht zeigen kann

Lies einen Bericht als strukturiertes Brainstorming mit angehängten Zahlen. Er kann gut zeigen:

  • Begründungen. Der Bericht wird aus den Summen, den Gruppenergebnissen und einer Zufallsstichprobe von 160 Begründungen der Teilnehmenden geschrieben. Wiederkehrende Gründe für ein „Nein“ sind oft der nützlichste Teil.
  • Unterschiede zwischen Gruppen. Wenn eine Gruppe deutlich kühler reagiert als eine andere, deutet das auf ein Segment hin, das du mit echten Menschen prüfen solltest.
  • Vergleiche unter gleichen Bedingungen. Alle Versionen gehen in denselben Anfragen an dieselben Teilnehmenden, daher ist ein Versionsvergleich innerhalb eines Tests fair, auch wenn die KI von der Reihenfolge beeinflusst werden kann, in der die Versionen aufgeführt sind.
  • Hypothesen zum Testen. Vorgeschlagene Verbesserungen, Risiken, Alternativen und die SWOT-Analyse sind als KI-Hypothese gekennzeichnet, nicht als Ergebnisse.

Code prüft den geschriebenen Bericht, bevor du ihn siehst: Zahlen, die nicht zu den Ergebnissen passen, werden entfernt, erfundene Produktaussagen, Preise von Wettbewerbern, Marktgrößen und Zitate ohne Quelle werden gestrichen, und Zitate müssen dem entsprechen, was die teilnehmende Person tatsächlich geantwortet hat. Jede Seite ist als Simuliertes Ergebnis, KI-Hypothese, Deine Eingabe oder Geprüfte Quelle gekennzeichnet.

Was Ergebnisse nicht belegen können

  • Nachfrage. Niemand hat Geld ausgegeben oder sich angemeldet.
  • Eine echte Konversionsrate. „40 % würden es ausprobieren“ sagt nichts darüber aus, wie viele Besucher einer echten Seite es tun würden.
  • Den richtigen Preis. Jeder „beste Preis“ in einem Bericht ist die Einschätzung der KI auf Grundlage der Antworten, nicht aus einer Preiskurve berechnet.
  • Dass ein kleiner Abstand wichtig ist. Behandle knappe Ergebnisse zwischen Versionen als Gleichstand.
  • Alles außerhalb deiner Beschreibung. Die Teilnehmenden sehen weder deine Website noch deine Wettbewerber oder Bewertungen.

Präzision ist nicht Genauigkeit

Ein Bericht zeigt vielleicht 40 % für eine Version und 41 % für eine andere. Diese Zahlen sind exakte Auszählungen simulierter Antworten. Sie sind keine prozentgenauen Schätzungen echten Verhaltens.

Präzision beschreibt, wie fein etwas gemessen wird. Genauigkeit beschreibt, wie nah es an der Wirklichkeit liegt. Eine Simulation kann bei ihren eigenen Antworten vollkommen präzise sein und trotzdem weit von dem entfernt, was echte Kunden tun würden, und für die Ergebnisse von SellTo.us wird keine Genauigkeitsangabe behauptet.

Eine nützliche Gewohnheit: Runde jede simulierte Zahl im Kopf auf „niedrig“, „mittel“ oder „hoch“ und konzentriere dich auf die Begründungen.

Ergebnisse in echte Experimente verwandeln

Stell dir vor, du testest eine Abo-App, die wöchentliche Workouts um den Zeitplan von Eltern herum plant. Der Bericht zeigt einen mittleren Anteil, der sie ausprobieren würde, mit „Passt nicht zu den Schlafzeiten meiner Kinder“ und „Noch ein Abo, das ich vergesse“ als häufigen Begründungen, und eine Gruppe, Eltern im Schichtdienst, reagiert deutlich kühler als der Rest.

So machst du daraus echte Belege:

  1. Formuliere jede wiederkehrende Begründung als prüfbare Aussage. Aus „Eltern befürchten, ein Abo zu vergessen“ wird „Ein kostenloser erster Monat mit einer Erinnerung vor der Abrechnung erhöht die echten Anmeldungen.“
  2. Wähle zuerst die riskanteste. Unser Leitfaden zum Finden deiner riskantesten Annahmen zeigt, wie du sie ordnest.
  3. Prüfe sie mit echten Menschen. Sprich mit fünf bis zehn Eltern im Schichtdienst darüber, wie sie heute Sport machen.
  4. Führe einen kleinen Verhaltenstest durch. Eine Landingpage oder Warteliste mit zwei Angeboten misst, was Menschen tun, nicht, was Personas sagen.
  5. Nutze den erneuten Test für Formulierungsänderungen. Nach einer Überarbeitung vergleicht ein erneuter Test alte und neue Version mit derselben simulierten Gruppe und meldet einen Unterschied nur oberhalb einer festen Schwelle von mindestens 2 Prozentpunkten. Das ist eine Entscheidungsregel, kein Beweis.

Dein nächster Schritt

Bevor du einen Test durchführst, beschreib deine Zielgruppe so konkret wie möglich, denn die Gruppen werden daraus gebildet. Wenn der Bericht kommt, lies zuerst die Begründungen, dann die Unterschiede zwischen den Gruppen und zuletzt den Hauptprozentwert.

Du kannst deinen ersten Test mit 1.000 Teilnehmenden starten (kostenlos, wenn du berechtigt bist) oder den Beispielbericht öffnen, um das Lesen zu üben. Alle technischen Details findest du unter So funktioniert's.

Geschrieben vom SellTo.us-Team. Die Beispiele in diesem Artikel sind hypothetisch. Die Ergebnisse von SellTo.us stammen von KI-simulierten Teilnehmenden, nicht von echten Menschen, und sagen keine Verkäufe voraus und garantieren keinen Erfolg.

Ähnliche Artikel