用 1,000 位 AI 模拟参与者测试创意,到底意味着什么?
AI 模拟参与者如何生成、每个回答和百分比如何统计、报告能说明什么,以及为什么精确的数字不等于预测。
本页内容
“经 1,000 位参与者测试”听起来像一次调查。其实不是。准确了解测试内部发生了什么,是避免过度解读结果的最好办法。
本指南完整走一遍 SellTo.us 的一次测试:模拟画像如何生成、每个回答如何产生、总数如何计算、报告能告诉你什么、不能告诉你什么。这里的所有内容都与我们公开的方法说明页一致,该页面描述了引擎当前的运行方式。
如果你还在考虑模拟测试是否适合你的流程,可以先看我们对AI 模拟受众与真实客户研究的比较。本文假设你马上要读一份报告,并想弄懂它。
第 1 步:把受众分成若干群体
你描述自己的创意和目标人群。一个 AI 模型(Anthropic 的 Claude Sonnet 5.5)读取这两部分,并把受众分成若干群体。1,000 人的测试有 8 个群体;更大的测试有 25 或 100 个。
每个群体包含:
- 名称及其在受众中的占比,
- 年龄范围,
- 4 种典型职业或生活角色,
- 预算水平:紧张、一般、宽裕或很高,
- 一段关于其购物习惯的简短说明。
如果你添加了图片,同一个模型会看一次,并写一段简短的文字描述。参与者针对的是这段描述,而不是图片本身。
这是影响最大的一步。群体是 AI 对你受众设置的理解,所以模糊的受众(“所有做饭的人”)会得到宽泛、笼统的群体,而具体的受众(“周日批量备餐的幼儿父母”)会得到更清晰的群体。
第 2 步:由代码生成每位参与者
单个参与者由我们的代码生成,而不是由 AI 生成。对于 1,000 位参与者,代码会正好生成 1,000 份画像:
- 每人按各群体的占比分配到某个群体,
- 年龄在该群体的范围内随机选取,
- 职业从该群体的 4 种职业中随机选取。
随机选择以测试 ID 作为种子,因此同一批模拟人群可以被完全重建。在 100,000 人的测试中,每份画像还会分到一个城市或地区。
注意哪些不会变化:同一群体中的每个人都有相同的预算水平和购物说明。所以 1,000 位参与者实际上是 8 段群体描述,每段扩展成许多只在年龄和职业上不同的画像。
第 3 步:每位参与者如何“回答”
画像会交给第二个模型 Claude Haiku 4.5,每次请求 40 份。1,000 人的测试共 25 次请求。每次请求包含你的受众、你测试的每个版本(文字、价格、图片描述)以及 40 份编号画像。
模型为每份画像返回一个回答。实体产品是会购买、也许或不会购买;App 是会试用、也许或不会试用;服务是会考虑、也许或不会考虑。每个回答都附带一个不超过 12 个词的理由。
所以每位参与者都有自己的画像和回答,但它们并不是各自独立的对话。模型一次就评判 40 份画像。
第 4 步:总数如何计算
这里的算法刻意保持简单。
谁回答了。格式错误或没有返回的回答会被跳过,绝不靠猜测补上。报告会显示实际回答的人数,例如“1,000 人中有 988 人回答”。如果回答的人不到一半,测试失败,额度会自动退回。
每个百分比。对每个版本:给出该回答的参与者人数,除以回答的总人数。比如 988 人中有 391 人回答“会试用”,报告会显示为 40%,四舍五入到整数百分比。
群体结果。同样的统计,在每个群体内部进行。
不计算什么。没有误差范围,也没有统计置信度。我们没有拿结果和真实销售做过对比,所以附上置信度数字会暗示一种没人证实过的准确性。
为什么这个人数不是调查样本量
在真实调查中,样本越大,随机误差越小,因为每个新受访者都是从总体中独立抽取的。这个逻辑在这里不适用。
- 回答不是独立抽样。它们来自同一个模型,基于少数几段群体描述生成。
- 没有被抽样的总体。群体是 AI 对你受众文字的理解,而不是从真人中挑选出来的。
- 重跑结果会不同。再次运行同一个测试,数字会有些差别,而这种差别有多大还没有测量过。
更大的测试真正带来的是更多群体、更多样的画像、更多引用的回答(1,000 人 12 条;10,000 人 50 条;100,000 人 200 条),以及容纳更多版本的空间。这是更多可供探索的细节,而不是更高的确定性。
报告能揭示什么
把报告当作一次附带数字的结构化头脑风暴来读。它擅长展示:
- 理由。报告根据总数、群体结果以及随机抽取的 160 条参与者理由撰写。反复出现的“不”的理由往往是最有用的部分。
- 群体差异。如果某个群体的反应比另一个冷淡得多,说明这个细分人群值得找真人验证。
- 同条件比较。所有版本都在同样的请求中交给同样的参与者,所以同一次测试内的版本比较是公平的,不过 AI 可能会受版本排列顺序的影响。
- 值得测试的假设。建议的修改、风险、替代方案和 SWOT 都标注为 AI 假设,而不是发现。
在你看到报告之前,代码会先检查成文的报告:与结果不符的数字会被删除,编造的产品说法、竞争对手价格、市场规模和没有来源的引用会被去掉,引语必须与参与者实际的回答一致。每一页都标注为模拟结果、AI 假设、你的输入或已核实来源。
结果无法证明什么
- 需求。没有人花钱,也没有人注册。
- 真实转化率。“40% 会试用”完全说明不了真实页面的访客中会有多少人试用。
- 正确的价格。报告中的任何“最佳价格”都是 AI 根据回答做出的判断,而不是从价格曲线算出来的。
- 小差距有意义。版本之间结果接近时,按打平处理。
- 你描述之外的任何东西。参与者看不到你的网站、你的竞争对手或评价。
精确不等于准确
报告可能显示一个版本 40%,另一个 41%。这些数字是模拟回答的精确计数,而不是精确到百分点的真实行为估计。
精确描述的是测量有多细,准确描述的是离现实有多近。一次模拟可以对自己的回答完全精确,却仍然离真实客户的做法很远。SellTo.us 的结果不声称任何准确率数字。
一个好习惯:在心里把每个模拟数字归为“低”“中”或“高”,然后把注意力放在理由上。
把发现变成真实实验
假设你测试一款订阅制 App,它会围绕家长的日程安排每周锻炼计划。报告显示会试用的比例中等,常见理由有“跟我孩子的睡觉时间对不上”和“又一个我会忘掉的订阅”,而其中一个群体——倒班工作的家长——比其他群体冷淡得多。
下面是把它变成真实依据的方法:
- 把每个反复出现的理由写成可检验的陈述。“家长担心忘记订阅”就变成“首月免费、扣费前发提醒,能提高真实注册量”。
- 先挑风险最大的一条。我们的找出风险最大的假设指南介绍了如何给它们排序。
- 找真人验证。和五到十位倒班工作的家长聊聊他们现在怎么锻炼。
- 做一个小型行为测试。一个带两种方案的落地页或等候名单,衡量的是人们实际做了什么,而不是画像说了什么。
- 用重新测试检验措辞修改。改写之后,重新测试会用同一批模拟人群比较新旧版本,只有超过至少 2 个百分点的固定阈值才判定有差异。这是一条决策规则,而不是证明。
你的下一步
运行测试前,尽量具体地描述你的受众,因为群体就是根据它生成的。报告出来后,先看理由,再看群体差异,最后才看主要百分比。
你可以从免费的 Idea Snapshot(创意快照)开始(100 位参与者,符合条件即可免费),花 $19 做一次 1,000 人的快速检验,或者打开示例报告练习怎么读报告。完整的技术细节请看运作方式。
由 SellTo.us 团队撰写。本文中的示例均为假设。SellTo.us 的结果来自 AI 模拟参与者,而非真人,不能预测销量,也不保证成功。