NEAR
Supervisor
Caros fãs do Forge
Nos últimos tempos, recebemos comentários sobre testes A/B e como os conduzimos. Em particular, comentários sobre os testes A/B para o Forge Plus e a atualização dos Desafios Diários. Portanto, achamos que seria interessante você ter mais informações sobre nossa abordagem aos testes A/B e por que eles são essenciais para o desenvolvimento do Forge of Empires.
Vamos começar com uma definição de um teste A/B. Um teste A/B é um teste padrão frequentemente usado por desenvolvedores para monitorar a reação do jogador a um recurso. Com esses testes, dois ou mais grupos são selecionados aleatoriamente. Eles consistem em um grupo de teste (grupo 'A'), que terá acesso a um recurso, e um grupo de controle (grupo 'B'), que não terá. Por meio dessa comparação, os desenvolvedores podem monitorar diretamente a mudança no comportamento do jogador e avaliar o impacto do recurso testado. Fazemos isso por meio de feedback quantitativo e qualitativo. E devemos considerar ambos, mas tente ter em mente que o feedback do fórum é apenas uma parte de muitas áreas das quais recebemos feedback.
Vamos pegar a recente atualização do Desafio Diário como exemplo. Com os dois grupos em mente, podemos comparar muitos aspectos (incluindo participação diária, retenção de usuários com o recurso, idades das pessoas participantes, etc). Isso nos ajuda a estabelecer se essa mudança foi benéfica e atraente para nossos jogadores como uma nova oferta. Se os resultados não mostrarem uma tendência positiva, podemos aprofundar e verificar se houve um problema. No final, podemos intervir e ajustar o recurso ou riscá-lo completamente.
É por isso que os testes A/B são essenciais para nós. Eles nos permitem acessar dados mais significativos com base em um ambiente de teste ao vivo. Com esses dados, podemos refinar nossos recursos e identificar possíveis problemas.
Além disso, liberar um novo recurso para um grupo menor de usuários nos permite monitorar o feedback de forma mais eficaz e evitar a possível explosão de frustração que poderia acontecer se lançássemos recursos para toda a população do jogo imediatamente.
Forge of Empires é, obviamente, um grande jogo. É mantido por centenas de milhares de jogadores em muitos Mundos. Mas isso também significa que muito pode dar errado. Os testes A/B são uma necessidade absoluta se você quiser minimizar o risco potencial de revelar um novo recurso para um público tão grande. As consequências de liberar um recurso não testado podem causar interações negativas com o jogo - tanto para nós quanto para você.
Também é importante enfatizar que os testes A/B não são seletivos. Nenhum jogador manterá qualquer tipo de vantagem de longo prazo ou será pré-selecionado para o grupo de teste. Você deve ter notado que existem alguns recursos que não podemos testar A/B porque as vantagens seriam muito grandes para serem justas, e queremos manter a justiça no jogo. A seleção para os testes é puramente aleatória, e a justiça não é a única razão para isso; é também porque um elemento aleatório é essencial para a qualidade dos resultados do teste.
Esperamos que isso esclareça por que os testes A/B são fundamentais para nossa estratégia de desenvolvimento e continuarão a ser um acessório de atualizações futuras.
Atenciosamente,
Equipe Forge of Empires