What we're about

Nous sommes développeurs et chercheurs avec un intérêt dans l'apprentissage automatique. Nous nous retrouverons pour discuter concrètement nos projets dans l'apprentissage automatique, réseau de neurones artificiels, modèles graphiques probabilistes, et traitement automatique du langage naturel.

-

We're developers and scientists interested in Machine Learning, Probabilistic Graphical Models, Neural networks, and Natural Language Processing. In this meetup, we'll bring together machine learning practitioners and researchers to listen to each other's work.

Upcoming events (3)

GPT-2 modèle de langage d'openAI : la science avant la controverse

Résumé : Le 14 Février 2019 openIA twitte la création d'un modèle de langage non-supervisé (GPT-2) capable de faire de la génération de texte (indiscernable d'un texte humain) mais aussi de réaliser un nombre de taches classiques de traitement du langage naturel (reading comprehension, machine translation, question answering, and summarization) avec dans la plupart des cas un niveau dépassant l'état de l'art (spécifique) de chacune des tâches. Si les résultats sont hors du commun la polémique qui va suivre ne l'est pas moins. En effet, openAI s'interroge sur l'aspect éthique et les conséquences de la publication d'un tel modèle. Dans cette présentation, nous allons présenter les résultats du modèle GPT-2 et tenter de nous atteler à décrire son fonctionnement. > [OpenAI (@OpenAI) February 14, 2019] > > We've trained an unsupervised language model that can generate > coherent paragraphs and perform rudimentary reading > comprehension, machine translation, question answering, and > summarization — all without task-specific training: > https://t.co/sY30aQM7hU https://twitter.com/OpenAI/status/1096092704709070851?ref_src=twsrc%5Etfw Bio : Victor Connes est étudiant en première année de thèse au laboratoire LS2N, équipe TALN/DuKe (encadrant: Colin De la Higuera et de Hoël Le Capitaine). Il s'intéresse dans sa thèse au sujet de la recommandation de ressource pédagogique libre dans le contexte du projet européen X5-gon (see:https://www.x5gon.org/). Son parcours : licence math-informatique à l'université de Montpellier avec une L3 au québec suivi d'un Master "Intelligence Artificiel et Reconnaissance des Formes" à l'université de Toulouse. Il a réalisé son stage de fin d'études au LIUM (Université du Mans encadrant: Nicolas Dugué) avec comme sujet une approche réseau complexe pour la génération de plongements lexicaux (aka: words embeddings, papier en production). Quelques hobbies (ou biais, c'est selon) lecteur de science-fiction, adore le voyage, gros (trop) consommateur de vidéos de vulgarisations, blog et autres podcasts (principalement scientifique). Parmi mes préférés : podcast-science, twoMinutesPapers, 3Blue1Brown, It's Nicky Case!. Suggestion de lecture : Indispensable pour savoir de quoi l'on parle : Article original et la discussion d'openIA (pas mal de résultats en annexe du papier), également le code du modèle "light": => https://blog.openai.com/better-language-models/ Pour comprendre les concepts qui sont derrières : Par des présentations vidéos bon point de départ : => https://www.youtube.com/watch?v=0EtD5ybnh_s&t=1111s => https://www.youtube.com/watch?v=OYygPG4d9H0 Jusqu'à 22,15 min Par des lectures d'articles : => sur les couches Multi-Head Attention(concept central modèle Transformers):https://arxiv.org/pdf/1706.03762.pdf => Un tutoriel pour coder son propre modèle : https://towardsdatascience.com/how-to-code-the-transformer-in-pytorch-24db27c8f9ec: => Sur le BPE(Byte pair encoding):http://www.aclweb.org/anthology/P16-1162 => Génération d'article Wikipédia à partir du modèle Transformers modèle de base de GPT-2:https://arxiv.org/pdf/1801.10198.pdf

Représentation de la dimension personnage de la voix actée

Résumé : Le doublage d’une œuvre consiste à remplacer une langue/culture source par une autre langue/culture cible. Dans le cadre de productions audiovisuelles (jeux vidéos, cinéma…), l’une des étapes du doublage consiste à sélectionner manuellement les acteurs qui vont jouer les voix des personnages dans la langue/culture cible. Nos travaux s’inscrivent dans le cadre du projet ANR The Voice. L’un des objectif de ce projet est de fournir des outils d’aide à la décision pour le Casting Vocal, notamment des systèmes de recommandation de voix. Un système de recommandation de voix propose les comédiens les plus adaptés pour jouer la voix du personnage d’origine. Choisir un comédien ne se résume pas à choisir la voix la plus proche acoustiquement de la source, de multiples facteurs artistiques, culturels et humains interviennent. Ces facteurs sont scientifiquement peu connus et ne disposent pas encore d’une nomenclature largement acceptée. En addition de ces questions de définition, seule l’intuition dit que ces différentes caractéristiques se traduisent par des éléments repérables dans le signal acoustique. Pour répondre à cette question, nous avons choisi dans un premier temps de vérifier l’existence de signes acoustiques caractérisant le personnage dans un contexte multi-langue. Pour cela, nous avons proposé un classifieur binaire à deux entrées, un enregistrement de voix en anglais et un enregistrement de voix en français, et répondant si ces deux voix viennent, ou non, du même personnage. Notre système est basé sur des réseaux de neurones siamois. L'approche a été testée sur des voix provenant de jeux vidéos. Les premiers résultats confirment l’existence de traces acoustiques caractérisant le personnage joué. Nous avons ensuite cherché à mettre en évidence cette information "personnage" à travers l'apprentissage d'une représentation neuronale adaptée. Celle-ci consiste à modéliser un espace vectoriel représentant la dimension personnage en utilisant un système de classification multi-labels à base de réseaux de neurones. Les premiers résultats sont encourageants mais doivent être confirmés par une confrontation avec l’expertise humaine. Bio : Après avoir étudié en Licence et en Master informatique au Centre d'Enseignement et de Recherche en Informatique à Avignon Université, Mathias y est maintenant doctorant. Durant son master en alternance au Laboratoire Informatique d'Avignon (LIA), il a réalisé ses premiers pas dans la recherche. Sa principale mission était de développer des applications Web dans le cadre du projet ANR Gafes orienté sur l'analyse des pratiques numériques des festivaliers dans les festivals de France. Aussi, ses travaux ont été publiés dans un working note ainsi qu'un article, en tant que premier auteur : Exploring Temporal Analysis of Tweet Content from Cultural Events (M Quillot, C Ollivier, R Dufour, V Labatut). En parallèle, durant 6 mois, il a été sollicité pour un contrat de valorisation de la recherche au LIA. Le projet touchait au domaine de la compréhension de la parole et son but était d'adapter aux besoins de l'entreprise l'article suivant : Online Adaptative Zero-Shot Learning Spoken Language Understanding Using Word-Embedding (E Ferreira, B Jabaian, F Lefevre). Ayant été sensibilisé à différents domaines, principalement le traitement du langage et de la parole, il poursuit aujourd’hui ses études en tant que doctorant. Son choix s’est orienté sur le traitement de la parole actée au cinéma. Ce doctorat se déroule dans le cadre du projet The Voice, financé par l’ANR et a pour titre : Recommandation de la voix pour l’industrie du cinéma par apprentissage profond. Lectures : Voir liste au https://github.com/nantes-machine-learning-meetup/NMLM/tree/master/2019-05-06__repr%C3%A9sentation-de_la_dimension-de-la-personnage-de-la-voix-act%C3%A9e

Overview of Generative Modelling, GANs & adversarial attacks

Abstract: Until recently, generative modeling of any kind has had limited success. But now that Generative Adversarial Networks (GANs) have recently reached few tremendous milestones (and truly exponential growth in the interest in this technology), we are now closer to a general purpose framework for generating new data. Now GANs can achieve a variety of applications such as synthesizing full-HD synthetic faces, to semi-supervised learning as well as defending and mastering adversarial examples, we can discuss them in this talk. In this talk, we will start with the basics of generative models, but eventually, explore the state of the art in generating full HD images as presented in https://arxiv.org/abs/1710.10196 and dive into adversarial attacks and why this matters to all computer vision algorithms. Bio: Jakub Langr graduated from the University of Oxford where he also taught at OU Computing Services. He has worked in data science since 2013, most recently as a Data Science Tech Lead at Filtered.com and as an R&D Data Scientist at Mudano. Jakub is a co-author of GANs in Action by Manning Publications. Jakub also designed and teaches Data Science courses at the University of Birmingham, numerous private companies and is a guest lecturer at the University of Oxford. Reading: Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen, _Progressive Growing of GANs for Improved Quality, Stability, and Variation_, 2018. https://arxiv.org/abs/1710.10196 The presentation will be in English.

Past events (48)

Photos (29)