AI 概念测试

用 1,000 位 AI 模拟参与者测试创意,到底意味着什么?

AI 模拟参与者如何生成、每个回答和百分比如何统计、报告能说明什么,以及为什么精确的数字不等于预测。

本页内容
  1. 第 1 步:把受众分成若干群体
  2. 第 2 步:由代码生成每位参与者
  3. 第 3 步:每位参与者如何“回答”
  4. 第 4 步:总数如何计算
  5. 为什么这个人数不是调查样本量
  6. 报告能揭示什么
  7. 结果无法证明什么
  8. 精确不等于准确
  9. 把发现变成真实实验
  10. 你的下一步

“经 1,000 位参与者测试”听起来像一次调查。其实不是。准确了解测试内部发生了什么,是避免过度解读结果的最好办法。

本指南完整走一遍 SellTo.us 的一次测试:模拟画像如何生成、每个回答如何产生、总数如何计算、报告能告诉你什么、不能告诉你什么。这里的所有内容都与我们公开的方法说明页一致,该页面描述了引擎当前的运行方式。

如果你还在考虑模拟测试是否适合你的流程,可以先看我们对AI 模拟受众与真实客户研究的比较。本文假设你马上要读一份报告,并想弄懂它。

第 1 步:把受众分成若干群体

你描述自己的创意和目标人群。一个 AI 模型(Anthropic 的 Claude Sonnet 5.5)读取这两部分,并把受众分成若干群体。1,000 人的测试有 8 个群体;更大的测试有 25 或 100 个。

每个群体包含:

  • 名称及其在受众中的占比,
  • 年龄范围,
  • 4 种典型职业或生活角色,
  • 预算水平:紧张、一般、宽裕或很高,
  • 一段关于其购物习惯的简短说明。

如果你添加了图片,同一个模型会看一次,并写一段简短的文字描述。参与者针对的是这段描述,而不是图片本身。

这是影响最大的一步。群体是 AI 对你受众设置的理解,所以模糊的受众(“所有做饭的人”)会得到宽泛、笼统的群体,而具体的受众(“周日批量备餐的幼儿父母”)会得到更清晰的群体。

第 2 步:由代码生成每位参与者

单个参与者由我们的代码生成,而不是由 AI 生成。对于 1,000 位参与者,代码会正好生成 1,000 份画像:

  • 每人按各群体的占比分配到某个群体,
  • 年龄在该群体的范围内随机选取,
  • 职业从该群体的 4 种职业中随机选取。

随机选择以测试 ID 作为种子,因此同一批模拟人群可以被完全重建。在 100,000 人的测试中,每份画像还会分到一个城市或地区。

注意哪些不会变化:同一群体中的每个人都有相同的预算水平和购物说明。所以 1,000 位参与者实际上是 8 段群体描述,每段扩展成许多只在年龄和职业上不同的画像。

第 3 步:每位参与者如何“回答”

画像会交给第二个模型 Claude Haiku 4.5,每次请求 40 份。1,000 人的测试共 25 次请求。每次请求包含你的受众、你测试的每个版本(文字、价格、图片描述)以及 40 份编号画像。

模型为每份画像返回一个回答。实体产品是会购买、也许或不会购买;App 是会试用、也许或不会试用;服务是会考虑、也许或不会考虑。每个回答都附带一个不超过 12 个词的理由。

所以每位参与者都有自己的画像和回答,但它们并不是各自独立的对话。模型一次就评判 40 份画像。

第 4 步:总数如何计算

这里的算法刻意保持简单。

谁回答了。格式错误或没有返回的回答会被跳过,绝不靠猜测补上。报告会显示实际回答的人数,例如“1,000 人中有 988 人回答”。如果回答的人不到一半,测试失败,额度会自动退回。

每个百分比。对每个版本:给出该回答的参与者人数,除以回答的总人数。比如 988 人中有 391 人回答“会试用”,报告会显示为 40%,四舍五入到整数百分比。

群体结果。同样的统计,在每个群体内部进行。

不计算什么。没有误差范围,也没有统计置信度。我们没有拿结果和真实销售做过对比,所以附上置信度数字会暗示一种没人证实过的准确性。

为什么这个人数不是调查样本量

在真实调查中,样本越大,随机误差越小,因为每个新受访者都是从总体中独立抽取的。这个逻辑在这里不适用。

  • 回答不是独立抽样。它们来自同一个模型,基于少数几段群体描述生成。
  • 没有被抽样的总体。群体是 AI 对你受众文字的理解,而不是从真人中挑选出来的。
  • 重跑结果会不同。再次运行同一个测试,数字会有些差别,而这种差别有多大还没有测量过。

更大的测试真正带来的是更多群体、更多样的画像、更多引用的回答(1,000 人 12 条;10,000 人 50 条;100,000 人 200 条),以及容纳更多版本的空间。这是更多可供探索的细节,而不是更高的确定性。

报告能揭示什么

把报告当作一次附带数字的结构化头脑风暴来读。它擅长展示:

  • 理由。报告根据总数、群体结果以及随机抽取的 160 条参与者理由撰写。反复出现的“不”的理由往往是最有用的部分。
  • 群体差异。如果某个群体的反应比另一个冷淡得多,说明这个细分人群值得找真人验证。
  • 同条件比较。所有版本都在同样的请求中交给同样的参与者,所以同一次测试内的版本比较是公平的,不过 AI 可能会受版本排列顺序的影响。
  • 值得测试的假设。建议的修改、风险、替代方案和 SWOT 都标注为 AI 假设,而不是发现。

在你看到报告之前,代码会先检查成文的报告:与结果不符的数字会被删除,编造的产品说法、竞争对手价格、市场规模和没有来源的引用会被去掉,引语必须与参与者实际的回答一致。每一页都标注为模拟结果、AI 假设、你的输入或已核实来源。

结果无法证明什么

  • 需求。没有人花钱,也没有人注册。
  • 真实转化率。“40% 会试用”完全说明不了真实页面的访客中会有多少人试用。
  • 正确的价格。报告中的任何“最佳价格”都是 AI 根据回答做出的判断,而不是从价格曲线算出来的。
  • 小差距有意义。版本之间结果接近时,按打平处理。
  • 你描述之外的任何东西。参与者看不到你的网站、你的竞争对手或评价。

精确不等于准确

报告可能显示一个版本 40%,另一个 41%。这些数字是模拟回答的精确计数,而不是精确到百分点的真实行为估计。

精确描述的是测量有多细,准确描述的是离现实有多近。一次模拟可以对自己的回答完全精确,却仍然离真实客户的做法很远。SellTo.us 的结果不声称任何准确率数字。

一个好习惯:在心里把每个模拟数字归为“低”“中”或“高”,然后把注意力放在理由上。

把发现变成真实实验

假设你测试一款订阅制 App,它会围绕家长的日程安排每周锻炼计划。报告显示会试用的比例中等,常见理由有“跟我孩子的睡觉时间对不上”和“又一个我会忘掉的订阅”,而其中一个群体——倒班工作的家长——比其他群体冷淡得多。

下面是把它变成真实依据的方法:

  1. 把每个反复出现的理由写成可检验的陈述。“家长担心忘记订阅”就变成“首月免费、扣费前发提醒,能提高真实注册量”。
  2. 先挑风险最大的一条。我们的找出风险最大的假设指南介绍了如何给它们排序。
  3. 找真人验证。和五到十位倒班工作的家长聊聊他们现在怎么锻炼。
  4. 做一个小型行为测试。一个带两种方案的落地页或等候名单,衡量的是人们实际做了什么,而不是画像说了什么。
  5. 用重新测试检验措辞修改。改写之后,重新测试会用同一批模拟人群比较新旧版本,只有超过至少 2 个百分点的固定阈值才判定有差异。这是一条决策规则,而不是证明。

你的下一步

运行测试前,尽量具体地描述你的受众,因为群体就是根据它生成的。报告出来后,先看理由,再看群体差异,最后才看主要百分比。

你可以从免费的 Idea Snapshot(创意快照)开始(100 位参与者,符合条件即可免费),花 $19 做一次 1,000 人的快速检验,或者打开示例报告练习怎么读报告。完整的技术细节请看运作方式。

由 SellTo.us 团队撰写。本文中的示例均为假设。SellTo.us 的结果来自 AI 模拟参与者,而非真人,不能预测销量,也不保证成功。

相关文章