Past Meetup

Deep Learning Workshop #3

This Meetup is past

Needs a location

Details

English version below

Bonjour à toutes et à tous,

Samedi 28 novembre 2015 se déroulera le troisème Workshop Deep Learning, organisé par Heuritech. Nous aborderons cette fois-ci le thème des mécanismes attentionnels, utilisés notamment pour améliorer des systèmes de traduction automatique [1], ou de génération automatique de description d'image [2]. L'objectif de cette journée est de découvrir ces mécanismes, ou d'approfondir sa connaissance, ainsi que de programmer ensemble. Cette session, moins didactique que les précédentes, sera surtout focalisée sur les aspects pratiques de l'implémentation des mécanismes d'attention. Elle se présentera plus sous la forme d'un groupe de travail que d'un tutoriel.

Nous donnerons des pistes et une base d'implémentation de réseaux récurrents en Theano, puis les participants (ou groupes de participants) seront invités à coder leurs propres mécanismes attentionnels.

Prérequis :L'atelier est ouvert à tous. Cependant, les places sont limitées. Afin d'avoir un niveau à peu près homogène, les prérequis pour le workshop sont les suivants :- savoir utiliser Theano ou Torch, et avoir déjà utilisé le Deep Learning en pratique,- être à l'aise avec les réseaux récurrents.

Setup :Comme pour les Workshop précédent, il peut être utile d'avoir une instance Amazon AWS pour pouvoir réaliser les calculs sur GPU. Pour mettre en place son instance, un tutoriel est disponible ici (http://blog.heuritech.com/2015/03/24/setting-up-your-deep-learning-amazon-machine/).

N'hésitez pas à consulter le Github (https://github.com/deeplearningparis/dl-machine) suivant, qui contient des informations pour mettre en place sa machine.

Pour vous inscrire :Si vous êtes intéressés, je vous invite à envoyer un mail à l'adresse [masked] avec :- en objet « [Deep Learning Workshop 3] »,- une description courte de votre background et de votre motivation pour l'atelier (2 ou 3 lignes suffisent !).

Une fois votre inscription confirmée, vous recevrez d'autres emails avec les détails pratiques. Attention, si vous n'êtes pas inscrit, nous ne pourrons malheureusement pas vous faire participer au Workshop (nous sommes obligés de contrôler les entrées).

Bonne journée à tous,

Hedi & Charles

Bibliographie :

[1] : Neural Machine Translation by Jointly Learning to Align and Translate, D. Bahdanau et al., ICLR 2015
[2] : Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, K. Xu, JMLR 2015

--------------------------------

Hi members !

The third Deep Learning Workshop organized by Heuritech will take place on Saturday November 28 in Paris. This time, we will focus on attention mechanisms, used to improve systems performing tasks such as automatic translation [1] or image captioning [2]. The goal of this day is to discover or share knowledge about these mechanisms, and code together. During this session, less educational than the previous ones, we will mainly go through practical aspects of attention mechanisms' implementation, in a workgroup fashion.

We will provide a code basis of recurrent neural nets in Theano, and the attendees will code their own attention mechanism on top of the proposed implementation.

Prerequisites: the Workshop is open to anyone, but available seats are limited. To get an homogeneous group, the prerequisites are the following:- knowledge of Theano or Torch, and practical Deep Learning experience,- practical experience of recurrent neural networks.

Setup: As in the previous workshops, we recommend that each attendee use a dedicated Amazon AWS instance to run expensive computations on GPU. Please set your instance before coming to the Workshop: a tutorial is available here (http://blog.heuritech.com/2015/03/24/setting-up-your-deep-learning-amazon-machine/).

You can also follow this github where everything needed is available https://github.com/deeplearningparis/dl-machine

Registration: If interested, please send an email to [masked] with:- object: "[Deep Learning Workshop 3]"- a short description of your background and your motivations to attend this workshop (2 or 3 sentences are enough).

Once your registration is confirmed you will receive further instructions and practical details. Confirmed registration is mandatory to attend the workshop.

Best,

Hedi & Charles

Bibliography :

[1] : Neural Machine Translation by Jointly Learning to Align and Translate, D. Bahdanau et al., ICLR 2015
[2] : Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, K. Xu, JMLR 2015

Attendees (1)