Offre de thèse - modèles génératifs pour la génération de niveaux de jeux vidéo

19 Avril 2023

---

Catégorie : Doctorant

---

La curiosité est un des facteurs fondamentaux de la motivation des joueurs. Maintenir cette curiosité suppose de fournir au joueur un contenu renouvelé, varié. Considérant les mécaniques d’un jeu comme établies, la diversité provient alors principalement de l’exploitation de ces mécaniques au travers de situations variées, lors des phases de level design. La découverte de ces situations de jeu, pertinentes et variées, peut être vue comme le résultat d’une forme d’exploration, aujourd’hui principalement manuelle et reposant sur l’intuition des équipes de conception. La génération procédurale de contenu, et notamment de niveaux, est une technique largement répandue dans la conception de jeux vidéo [2], [3]. Son principe consiste à produire un niveau jouable de façon automatique, c’est-à-dire par une méthode algorithmique. Une problématique classique est le contrôle de la génération. En effet, la conception de jeu nécessite de pouvoir contraindre les niveaux générés à exhiber certaines qualités produire un certain plaisir de jeu : une difficulté acceptable, un minimum de diversité ou encore une certaine densité d’objets à l’écran. L’espace d’état des niveaux étant de grande dimension, son exploration est difficile et a nécessité de passer par des méta-heuristiques d’optimisation (programmation génétique, recuit simulé…) [4]. Ces algorithmes sont généralement coûteux à mettre en place, lents, et nécessitent de définir des métriques de fitness souvent complexes à définir.Récemment, la communauté a adopté l’apprentissage statistique, et plus particulièrement les modèles génératifs, comme outil au centre des algorithmiques de génération procédurale. En particulier, l’apprentissage profond (deep learning) s’est démocratisé pour la PCG [5], avec comme avantage la construction de représentations « latentes » des niveaux formant un espace de représentation nettement plus simple à manipuler que l’espace global des niveaux. Le contrôle peut alors être obtenu en couplant ces modèles génératifs profonds à de l’apprentissage par renforcement [6], [7] ou en les conditionnant sur les métriques à contrôler [8]. L’arrivée de nouveaux modèles génératifs entraînés sur des corpus massifs de texte (GPT-3 [9]) ou d’images (Stable Diffusion [10]) ouvre de nouvelles perspectives prometteuses, par exemple pour apprendre à générer des niveaux depuis moins d’exemples grâce au transfer learning [11] ou pour générer des niveaux à partir de prompts exprimés en langage naturel [1].

L’objectif de cette thèse est de concevoir, implémenter et d’évaluer des méthodes de générations procédurale de niveaux basées sur les modèles génératifs profonds. En particulier, nous nous intéressons à la génération contrôlable de niveaux diversifiés, en respectant :

— d’une part des critères explicites de qualité d’un niveau (difficulté, longueur, nombre et variété des assets, etc.),
— d’autre part des critères implicites (capacité à surprendre le joueur, vitesse de résolution, diversité des approches envisageables…).

Pour ce faire, une approche multi-échelle sera développée, permettant un double raisonnement à l’échelle micro (génération d’une « tableau » de jeu) et à l’échelle macro (génération d’un « niveau » par succession de tableaux). L’intuition est que l’échelle micro correspond à une situation de jeu restreinte : brève succession d’obstacles, limitée dans le temps et dans l’espace. À l’opposé, l’échelle macro correspond à l’enchaînement des situations de jeu et donc au tempo de la partie : d’abord des obstacles faciles, puis un pic de difficulté, une phase de descente et un dernier pic de difficulté à la fin du niveau. La possibilité de contrôler ces deux aspects permettra notamment aux concepteur·ices d’intéragir avec l’algorithme de PCG, en proposant un rythme de partie au niveau macro et en laissant l’algorithme compléter les détails micro. Une attention particulière sera proposée à la possibilité de générer des niveaux diversifiés, en proposant des métriques nouvelles exploitant l’espace latent des modèles génératifs profonds comme proxy pour la notion subjective de variété. Le conditionnement des modèles génératifs par le langage naturel sera notamment exploré si le temps le permet, afin de faciliter les interactions entre humain et machine.

Afin de valider les modèles génératifs développés, nous nous placerons dans le cadre des platformers 2D. Un premier environnement de jeu considéré peut être Super Mario, un jeu de plateforme en 2D proposant des niveaux de longueur modeste et contraints dans l’espace. L’intérêt de ce jeu est l’existence d’un corpus de niveaux [12] pouvant servir de base d’entraînement, ainsi que la facilité de simulation d’un joueur [13]. En fonction des résultats, nous souhaiterions étendre ce cas test à d’autres types de plate-formes, plus physicalisés [14]. Une évaluation qualitative de l’expérience utilisateur des niveaux afin de mesurer la corrélation entre les métriques contrôlées et le ressenti des joueur·euses pourra également être envisagée en fonction des intérêts du ou de la candidate.

Le ou la doctorante suivra le plan de recherche ci-dessous :

1. Bibliographie en modèles génératifs 2D/3D et génération procédurale de niveaux,
2. Définition d’un banc de test (environnement + métriques) adapté de Super Mario,
3. Conception d’un modèle génératif capable de générer une partie d’un niveau en respectant des contraintes imposées par l’utilisateur (contrôlabilité),
4. Adaptation au cas multi-échelle, en coopération avec un second modèle génératif produisant un niveau comme une succession de parties avec différents curseurs (difficulté, diversité, densité…),
5. Évaluation par playtest du niveau de diversité ressenti du point de vue de l’expérience joueur.

 

Le ou la candidate idéale présente les qualifications suivantes :
— titulaire d’un master ou d’un diplôme d’ingénieur en informatique, dans le domaine de l’apprentissage machine ou du jeu vidéo,
— démontre une expérience de l’apprentissage profond et/ou des modèles génératifs (projet, formation, publication…),
— familiarité avec la programmation en Python et au moins une bibliothèque d’apprentissage profond (PyTorch, TensorFlow, JAX, …),
— des compétences orales et écrites pour la communication, notamment en anglais.

Sans être indispensable, un goût pour le jeu vidéo et notamment le level design et ses applications aux jeux de plate-formes est un plus. La motivation étant le principal facteur de réussite d’une thèse, toutes les candidatures, y compris celles ne correspondant pas entièrement au profil décrit, seront considérées.

Le Centre d’études et de recherche en informatique et communications (Cédric) est le laboratoire d’informatique du Conservatoire national des arts et métiers (Cnam). Environ 80 enseignant-chercheurs et enseignantes-chercheuses permanentes y travaillent, pour un effectif total de 180 personnes. Ses huit équipes recouvrent la science des données, les médias interactifs, l’optimisation combinatoire, les télécommunications ou encore les objets connectés. La personne recrutée intégrera les équipes Interactivité pour lire et jouer et Données Complexes, Apprentissage et Représentations.

Organisation : CDD de 36 mois (35h/semaine, temps plein), rémunération prévue de 1750€ net/mois.

L’obtention du contrat doctoral est soumise à la réussite du concours doctoral de l’ED SMI.

Localisation : Le laboratoire se situe en plein cœur de Paris dans le 3e arrondissement, au 2 rue Conté (métro Arts & Métiers, lignes 3 et 11, ou métro Réaumur-Sébastopol, lignes 3 et 4).

Procédure : le recrutement se fait en trois étapes : un entretien téléphonique d’une demi-heure, un entretien technique d’une heure puis une audition auprès de l’école doctorale.

Avantages : 44 jours de congés annuels, cantine subventionnée, télétravail partiel, association des personnels (salle de sport, cours de musique…).

 

Candidature : envoyer un CV à nicolas.audebert@cnam.fr, guillaume.levieux@cnam.fr

 

[1] S. Sudhakaran et al. “MarioGPT : Open-Ended Text2Level Generation through Large Language Models”. (12 fév. 2023), adresse : http://arxiv.org/abs/2302.05981.
[2] T. X. Short et T. Adams, Procedural Generation in Game Design. Taylor & Francis, 2017.
[3] R. van der Linden et al., “Procedural Generation of Dungeons”, IEEE Transactions on Computational Intelligence and AI in Games, t. 6, no 1, mars 2014.
[4] J. Togelius et al., “Search-Based Procedural Content Generation : A Taxonomy and Survey”, IEEE Transactions on Computational Intelligence and AI in Games, t. 3, no 3, sept. 2011.
[5] J. Liu et al., “Deep learning for procedural content generation”, Neural Computing and Applications, t. 33, no 1, 1er jan. 2021.
[6] Z. Jiang et al., “Learning Controllable 3D Level Generators”, in Proceedings of the 17th International Conference on the Foundations of Digital Games, 4 nov. 2022.
[7] Y. Zakaria et al., “Procedural Level Generation for Sokoban via Deep Learning : An Experimental Study”, IEEE Transactions on Games, t. 15, no 1, mars 2023.
[8] R. Rodriguez Torrado et al., “Bootstrapping Conditional GANs for Video Game Level Generation”, in 2020 IEEE Conference on Games (CoG), août 2020.
[9] T. Brown et al., “Language Models Are Few-Shot Learners”, in Advances in Neural Information Processing Systems, t. 33, 2020.
[10] R. Rombach et al., “High-Resolution Image Synthesis With Latent Diffusion Models”, presented at Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022.
[11] G. Todd et al. “Level Generation Through Large Language Models”. (11 fév. 2023), adresse : http://arxiv.org/abs/2302.05817.
[12] A. J. Summerville et al. “The VGLC : The Video Game Level Corpus”. (3 juill. 2016), adresse : http://arxiv.org/abs/1606.07487.
[13] J. Togelius et al., “The mario ai championship 2009-2012”, AI Magazine, t. 34, no 3, 2013.
[14] L. C. Studio, Heave Ho, Devolver, août 2019.

 

1. https://cedric.cnam.fr/lab/equipes/ilj/
2. https://cedric.cnam.fr/lab/equipes/vertigo