O que realmente significa testar uma ideia com 1.000 participantes simulados por IA?

Nesta página

1. Passo 1: o público é dividido em grupos
2. Passo 2: o código cria cada participante
3. Passo 3: como cada participante “responde”
4. Passo 4: como os totais são calculados
5. Por que a contagem não é o tamanho de amostra de uma pesquisa
6. O que um relatório pode revelar
7. O que os resultados não conseguem estabelecer
8. Precisão não é exatidão
9. Transformando descobertas em experimentos reais
10. Seu próximo passo

“Testado com 1.000 participantes” soa como uma pesquisa. Não é, e saber exatamente o que acontece dentro do teste é a melhor proteção contra ler demais no resultado.

Este guia percorre um teste do SellTo.us do começo ao fim: como as personas simuladas são criadas, como cada resposta é produzida, como os totais são calculados, o que o relatório pode te dizer e o que não pode. Tudo aqui corresponde à nossa página de metodologia publicada, que descreve o mecanismo como ele funciona atualmente.

Se você ainda está decidindo se testes simulados têm lugar no seu processo, comece pela nossa comparação entre públicos simulados por IA e pesquisa com clientes reais. Este artigo parte do princípio de que você está prestes a ler um relatório e quer entendê-lo.

Passo 1: o público é dividido em grupos

Você descreve sua ideia e para quem ela é. Um modelo de IA (Claude Sonnet 5.5, da Anthropic) lê as duas coisas e divide o público em grupos. Um teste com 1.000 participantes tem 8 grupos; testes maiores têm 25 ou 100.

Cada grupo recebe:

• um nome e sua parcela do público,
• uma faixa etária,
• 4 profissões ou papéis de vida típicos,
• um nível de orçamento: apertado, médio, confortável ou alto,
• uma nota curta sobre como compram.

Se você adicionar uma foto, o mesmo modelo olha para ela uma vez e escreve uma breve descrição em texto. Os participantes reagem a essa descrição, não à imagem em si.

Este é o passo com mais consequências. Os grupos são a interpretação da IA sobre as configurações do seu público, então um público vago (“todo mundo que cozinha”) gera grupos amplos e genéricos, enquanto um público específico (“pais de crianças pequenas que cozinham em lote aos domingos”) gera grupos mais nítidos.

Passo 2: o código cria cada participante

Os participantes individuais são criados pelo nosso código, não pela IA. Para 1.000 participantes, o código cria exatamente 1.000 perfis:

• cada um é colocado num grupo de forma proporcional à parcela desse grupo,
• a idade é escolhida aleatoriamente dentro da faixa do grupo,
• a profissão é escolhida aleatoriamente entre as 4 profissões do grupo.

As escolhas aleatórias usam como semente o ID do teste, então a mesma multidão pode ser reconstruída exatamente. No teste com 100.000 participantes, cada perfil também recebe uma cidade ou região.

Repare no que não varia: todos num grupo compartilham o mesmo nível de orçamento e a mesma nota sobre hábitos de compra. Então 1.000 participantes são, na verdade, 8 descrições de grupo, cada uma expandida em muitos perfis que diferem por idade e profissão.

Passo 3: como cada participante “responde”

Os perfis vão para um segundo modelo, o Claude Haiku 4.5, em solicitações de 40 por vez. Um teste com 1.000 participantes são 25 solicitações. Cada solicitação contém seu público, todas as versões que você está testando (texto, preço, descrições das fotos) e 40 perfis numerados.

O modelo devolve uma resposta por perfil. Para um produto físico, é compraria, talvez ou não compraria; para um app, é experimentaria, talvez ou não experimentaria; para um serviço, consideraria, talvez ou não consideraria. Cada resposta vem com um motivo de menos de 12 palavras.

Então cada participante tem seu próprio perfil e sua própria resposta, mas não são conversas separadas. O modelo avalia 40 perfis de uma vez.

Passo 4: como os totais são calculados

A aritmética é propositalmente simples.

Quem respondeu. Respostas que voltam malformadas ou não voltam são ignoradas, nunca adivinhadas. O relatório mostra quantos de fato responderam, por exemplo “988 de 1.000”. Se menos da metade responder, o teste falha e o crédito volta automaticamente.

Cada porcentagem. Para cada versão: o número de participantes que deram aquela resposta, dividido pelo número de quem respondeu. Digamos que 391 de 988 responderam “experimentaria”. O relatório mostra isso como 40%, arredondado para o número inteiro mais próximo.

Resultados por grupo. A mesma contagem, feita dentro de cada grupo.

O que não é calculado. Nenhuma margem de erro e nenhuma confiança estatística. Não medimos os resultados em relação a vendas reais, então anexar um índice de confiança sugeriria um tipo de exatidão que ninguém estabeleceu.

Por que a contagem não é o tamanho de amostra de uma pesquisa

Numa pesquisa real, uma amostra maior reduz o erro aleatório porque cada novo respondente é uma extração independente da população. Essa lógica não se aplica aqui.

• As respostas não são extrações independentes. Elas vêm de um único modelo, trabalhando a partir de um punhado de descrições de grupo.
• Não há uma população sendo amostrada. Os grupos são a interpretação de uma IA sobre o texto do seu público, não uma seleção de pessoas reais.
• Novas execuções dão resultados diferentes. Rodar o mesmo teste de novo gera números um pouco diferentes, e o tamanho dessa diferença não foi medido.

O que um teste maior te dá são mais grupos, mais variedade de perfis, mais entrevistas de amostra (12 com 1.000; 50 com 10.000; 200 com 100.000) e espaço para mais versões. É mais detalhe para explorar, não mais certeza.

O que um relatório pode revelar

Leia um relatório como um brainstorm estruturado com números anexados. Ele é bom para mostrar:

• Motivos. O relatório é escrito a partir dos totais, dos resultados por grupo e de uma amostra aleatória de 160 motivos de participantes. Motivos recorrentes para o “não” costumam ser a parte mais útil.
• Diferenças entre grupos. Se um grupo reage de forma muito mais fria que outro, isso aponta para um segmento que vale verificar com pessoas reais.
• Comparações equivalentes. Todas as versões vão para os mesmos participantes, nas mesmas solicitações, então uma comparação de versões dentro de um teste é justa, embora a IA possa ser influenciada pela ordem em que as versões são listadas.
• Hipóteses a testar. Ajustes sugeridos, riscos, alternativas e a análise SWOT são rotulados como hipótese da IA, não como descobertas.

O código verifica o relatório escrito antes de você vê-lo: números que não batem com os resultados são removidos, afirmações inventadas sobre o produto, preços de concorrentes, tamanhos de mercado e citações sem fonte são retirados, e as citações precisam corresponder ao que o participante realmente respondeu. Cada página é rotulada como Resultado simulado, Hipótese da IA, Seus dados ou Fonte verificada.

O que os resultados não conseguem estabelecer

• Demanda. Ninguém gastou dinheiro nem se cadastrou.
• Uma taxa de conversão real. “40% experimentariam” não diz nada sobre quantos visitantes de uma página real fariam isso.
• O preço certo. Qualquer “melhor preço” num relatório é o julgamento da IA a partir das respostas, não um cálculo a partir de uma curva de preço.
• Que uma pequena diferença importa. Trate resultados próximos entre versões como empate.
• Qualquer coisa fora da sua descrição. Os participantes não veem seu site, seus concorrentes nem avaliações.

Precisão não é exatidão

Um relatório pode dizer 40% para uma versão e 41% para outra. Esses números são contagens exatas de respostas simuladas. Não são estimativas de comportamento real com precisão de um ponto percentual.

Precisão descreve o quão finamente algo é medido. Exatidão descreve o quão perto isso está da realidade. Uma simulação pode ser perfeitamente precisa sobre as próprias respostas e ainda assim estar longe do que clientes reais fariam, e nenhum índice de exatidão é reivindicado para os resultados do SellTo.us.

Um hábito útil: arredonde mentalmente todo número simulado para “baixo”, “médio” ou “alto” e concentre-se nos motivos.

Transformando descobertas em experimentos reais

Imagine que você testa um app por assinatura que planeja treinos semanais em torno da agenda de pais e mães. O relatório mostra uma parcela média que experimentaria, com “Não funciona com o horário de sono dos meus filhos” e “Mais uma assinatura que eu vou esquecer” como motivos frequentes, e um grupo, pais que trabalham em turnos, bem mais frio que os demais.

Veja como transformar isso em evidência real:

1. Escreva cada motivo recorrente como uma afirmação testável. “Os pais têm medo de esquecer uma assinatura” vira “um primeiro mês grátis com um lembrete antes da cobrança aumenta os cadastros reais”.
2. Escolha a mais arriscada primeiro. Nosso guia sobre como encontrar suas premissas mais arriscadas mostra como classificá-las.
3. Verifique com pessoas reais. Converse com cinco a dez pais que trabalham em turnos sobre como eles se exercitam hoje.
4. Faça um pequeno teste de comportamento. Uma landing page ou lista de espera com duas ofertas mede o que as pessoas fazem, não o que as personas dizem.
5. Use o novo teste para mudanças de texto. Depois de uma reescrita, um novo teste compara as versões antiga e nova com a mesma multidão simulada e só aponta uma diferença acima de um limite fixo de pelo menos 2 pontos percentuais. Isso é uma regra de decisão, não uma prova.

Seu próximo passo

Antes de rodar um teste, escreva seu público da forma mais específica possível, porque os grupos são construídos a partir dele. Quando o relatório chegar, leia primeiro os motivos, depois as diferenças entre grupos e por último a porcentagem principal.

Você pode fazer seu primeiro teste com 1.000 participantes (grátis se você for elegível) ou abrir o relatório de exemplo para praticar a leitura de um. Para todos os detalhes técnicos, veja como funciona.

Escrito pela Equipe SellTo.us. Os exemplos deste artigo são hipotéticos. Os resultados do SellTo.us vêm de participantes simulados por IA, não de pessoas reais, e não preveem vendas nem garantem sucesso.