Este trabalho apresentou uma arquitetura de uso geral baseada em planejamento prob- abilístico para Jogos RTS. Na seção 1.2, foram apresentadas as principais contribuições por módulo proposto e com foco nos algoritmos, técnicas e modificações propostas. Nesta seção, serão listadas as principais contribuições com foco na proposta da arquitetura de forma geral e seu funcionamento como um agente integrado. As principais contribuições da proposta são:
❏ Proposta de uma arquitetura AUG com base em planejamento probabilístico voltada
para jogos RTS e ambientes de tempo real, em geral com tomada de decisão. A
abordagem combina o uso de mineração de padrões sequenciais, predição, tomada de decisão, planejamento reativo e escalonamento. Essa arquitetura é responsável pelo controle total do jogo quando sequências de ações nos diversos níveis de abstração são escolhidas com base em raciocínio e probabilidade.
❏ Uso do conhecimento específico do domínio de jogos RTS para inferir sobre macroações
em todos os níveis de abstração. Bases de replays com partidas disputadas entre
9.2. Limitações 171
jogo de forma geral. Com essas informações, uma árvore preditiva foi modelada para escolha de macroações complementares para execução com a macroação principal. ❏ Modelagem de um POMDP online com duas políticas de execução considerando
mudanças dentro do ambiente. O POMDP utiliza as observações da partida para
gerar estados de crença e cenários que avaliam possíveis mudanças no ambiente do jogo. Os valores de recompensas obtidos são maximizados com o uso de duas políticas e dentro das restrições de tempo real.
❏ Uso de planejamento reativo e escalonamento de ações na arquitetura para Jogos
RTS. O planejamento reativo permitiu que ações em execução fossem canceladas
e outras novas consideradas. Isso contribuiu para garantir a troca da estratégia proposta pelo POMDP, quando o ambiente do jogo é alterado. O escalonamento garantiu a execução em paralelo de macroações de todos níveis de abstração e con- sequentemente a execução de diferentes tarefas em paralelo.
❏ Especificação dos módulos necessários e a comunicação de dados para a arquite-
tura. Os três módulos principais, a definição dos dados utilizados e como eles são
compartilhados estabelecem a arquitetura proposta nesta tese. Cada módulo tem seus algoritmos e técnicas definidos para melhor performance das tarefas que ele executa. Com essa padronização, a arquitetura pode ser incrementada com novas técnicas, mediante a adição de novos módulos ou complementos dos já existentes. Além disso, a arquitetura pode ser replicada e utilizada em qualquer outro jogo RTS ou ambiente de execução que possua ações com restrições de tempo real.
9.2 Limitações
Algumas das limitações deste trabalho são descritas a seguir.
❏ Replays: o objeto de dados mais importante da arquitetura é a macroação. Para operar com estratégia, tática e controle reativo de modo semelhante a um jogador humano, é preciso que as macroações sejam classificadas. Essa classificação é feita com base nos replays de partidas, e a arquitetura fica dependente da existência dessa base para operar. Encontrar um padrão de dados que possa ser estendido a qualquer tipo de jogo RTS ou problema similar e utilizado para mineração de dados pode aumentar o alcance do trabalho proposto.
❏ Controle reativo: dentre os níveis de abstração presentes em um jogo RTS e utilizados, o controle reativo é o mais baixo. Ele refere-se a ações direcionadas para uma única unidade. As macroações de ��������������� são complexas de replicar para mais de uma unidade. Durante um confronto, torna-se inviável utilizar o
172 Capítulo 9. Conclusão POMDP para decidir sob uma macroação para cada uma das unidades utilizadas em batalha. É preciso construir uma função para extensão das macroações de
���������������, para que todas as unidades em confronto possam ser orientadas
de acordo com um conjunto de ações apropriado.
❏ Tomada de Decisão: sempre que novas observações são recebidas, o processo de tomada de decisão é reiniciado para escolha de novas macroações. Contudo, não existe garantia de que uma nova macroação considerada seja melhor para o atual momento da partida do que aquela já em execução. Muitas vezes, é melhor não decidir por nenhuma nova macroação e manter a execução da atual. No POMDP
online, isso é feito sempre que a nova macroação não possui recompensa maior do
que aquela atual. No entanto, esse critério não cobre todos os casos, como quando uma nova macroação possui maior recompensa, mas vai deslocar unidades que ainda não foram produzidas ou estão sendo utilizadas em um combate, e não devem deixar suas posições. Um critério para determinar se uma nova macroação deve substituir a atual levando em conta a estratégia em execução e contexto geral da partida no momento seria melhor para a arquitetura.
❏ Escalonamento: o algoritmo ESCALONA foi adaptado para as macroações e níveis de abstração propostos neste trabalho, contudo, existem ações em macroações que são escalonadas em separado, mas deveriam ficar próximas umas das outras na execução na partida. Essa proximidade pode trazer recursos que irão acelerar a execução de todas as macroações escalonadas em determinado intervalo de tempo. Seria interessante analisar essas situações e definir uma estrutura de prioridades. Nessa estrutura, ações que estão em macroações diferentes poderiam ser escalonadas em intervalos próximos, que beneficiariam a execução mútua dessas macroações. O escalonamento seria condicionado aos valores de prioridade definidos para cada ação.
9.3 Trabalhos Futuros
Durante o desenvolvimento deste trabalho, algumas questões foram levantadas para melhorar o desempenho e validação da metodologia proposta. Entretanto, essas questões não foram investigadas no escopo deste trabalho, constituindo assim assunto para trabal- hos futuros. A seguir, são listadas as questões levantadas que proporcionariam trabalhos futuros:
❏ Explorar o uso de multiagentes com múltiplas macroações. Essa proposta poderia aumentar a capacidade de tomada de decisão da arquitetura. Macroações seriam escolhidas a partir do cruzamento de informação dos diversos agentes, que cap- tariam mais informações do ambiente e as utilizariam para aumentar o lookahead do POMDP, melhorando inclusive a predição da CHAID.
9.4. Contribuições em Produção Bibliográfica e Software 173
❏ Explorar o uso de técnicas de raciocínio espacial e temporal. Essas técnicas realizam análises do mapa e pontos importantes dentro do ambiente do jogo. Seu uso poderia expandir a forma de classificar e utilizar as macroações de ���������������, que são difíceis de gerenciar. Algoritmos utilizados com frequência no campo da robótica, como Decomposição de Voronoi (FU; BANDYOPADHYAY; ANG, 2009), Mapas de Influência (URIARTE; ONTANÓN, 2012) e Campos Potenciais (MIELNICZUK, 2017), poderiam aumentar a capacidade da arquitetura.
❏ Explorar diferentes algoritmos para tomada de decisão. Novos algoritmos de tomada de decisão em ambientes não determinísticos poderiam ser estudados. Algoritmos com foco em restrições de tempo e mudanças no modelo de ações e do ambiente poderiam ampliar os resultados.