E-BDthèque

Les travaux sur la bande dessinée, initiés en 2011, ont permis de développer une expertise sur l’extraction des éléments de base tels que les cases, les bulles, les personnages, les visages et la localisation du texte dans les bulles (texte narratif, dialogue) ou en dehors (onomatopées, texte informatif). Les recherches se sont ensuite penchées sur la compréhension du contenu des cases et des pages.

Si initialement des approches classiques de traitement d’images ont été utilisées, l’équipe s’est rapidement orientée vers le développement d’approches basées sur les apprentissages profonds (deep learning) en développant des architectures dédiées, puis plus récemment sur les Transformers, les VLMs et les LLMS. Ces approches nous ont permis d’obtenir une meilleure compréhension des images et des scènes représentées sur les pages de bandes dessinées, de comics et même des mangas qui possèdent un style graphique très différent. Nos approches permettre la reconnaissance du texte et des onomatopées, la création de liens sémantiques entre les personnages et les textes, la reconnaissance des personnages et leur identification. Les travaux le plus récents portent sur la compréhension de la scène et de son contexte (lieu, moment, personnages impliqués, etc.).

Ces travaux ont permis, grâce à la collaboration avec l’entreprise Comix AI, la création, en 2018, du LabCom SAIL (Sequential Art Image Laboratory). Ce LabCom a été soutenu par l’ANR dans le cadre du programme LabCom.

Les membres du L3i qui participent au projet : Karell Bertet, Arnaud Revel, Antoine Doucet, Umer Mushtaq, John Benson Louis, Wafa Khlif
Pour Comix AI : Christophe Rigaud, Samuel Petit, Franck Gilles, Vivien Moisan.