A miHoYo criou uma IA que joga Honkai: Star Rail ao interpretar imagens da tela e enviar comandos de mouse e teclado. Batizado de Gamer, o sistema foi apresentado em uma pesquisa publicada em 13 de novembro e conseguiu explorar áreas, enfrentar inimigos e concluir objetivos dentro do RPG.
Nas demonstrações, a ferramenta percorreu cenários, interagiu com personagens, navegou por menus e chegou a derrotar um chefe. Para tomar decisões, Gamer analisa capturas de tela e usa os comandos disponíveis como faria uma pessoa jogando no computador. O sistema foi descrito na pesquisa sobre Gamer.

Os pesquisadores também combinaram gravações de partidas com instruções, explicações sobre decisões importantes e resumos de memória. Esses recursos ajudam a IA a compreender o que precisa fazer e a reter informações úteis durante as tarefas.
Resultados variam entre missões e quebra-cabeças
Para avaliar o desempenho, Gamer foi colocado diante de duas missões secundárias: “Opportunity Makes the Thief (Part I)” e “Bestial Ferocity”. As tarefas exigem que o jogador viaje entre locais, converse com personagens, lute contra inimigos e resolva um quebra-cabeça simples.
Nos testes, a IA alcançou 80% e 83,6% dos objetivos das duas missões. O desempenho foi menos consistente nos desafios de lógica: em 40 tarefas de sete tipos de minijogo, a taxa média de sucesso ficou em 49,7%. Gamer se saiu especialmente bem nos quebra-cabeças Navigation Compass, com 95,8% de acertos, mas teve dificuldade em Abacus Circuitry, no qual marcou 22,2%.
Ferramenta pode apoiar testes de desenvolvimento
A miHoYo vê potencial para usar o sistema na verificação de missões, interações e outros recursos antes de uma atualização chegar aos servidores. Ao percorrer áreas e tentar cumprir objetivos, Gamer poderia ajudar a encontrar falhas e reproduzir problemas para que sejam corrigidos durante o desenvolvimento.
A tecnologia ainda está em fase inicial, e os resultados mostram que seu desempenho depende bastante do tipo de tarefa. Mesmo assim, a possibilidade de automatizar parte dos testes de conteúdo pode tornar mais prático identificar erros em atividades que envolvem exploração, combate e interação.

