Past Meetup

Modelowanie probabilistyczne: przepływy normalizacyjne część 2

This Meetup is past

23 people went

ShelfWise

ul. Berka Joselewicza 21c · Kraków

How to find us

Wejście od tyłu budynku, wjazd na parking od ulicy Joselewicza (mijając Biedronkę po lewej stronie, na końcu ulicy po prawej jest brama, należy w nią wjechać), wejście ostatnimi drzwiami, piętro II.

Location image of event venue

Details

# Abstrakt:

Seminarium będzie stanowić kontynuację poprzedniego wystąpienia poruszającego temat przepływów normalizacyjnych (ang. Normalizing Flows). Prezentację zacznę od krótkiego przypomnienia zasady działania przepływów, a następnie przejdę do omówienia wyników z 3 prac, które odegrały największe znaczenie w rozwoju tej techniki. Tym razem prezentacja będzie miała charakter bardziej techniczny, niż teoretyczny.

W pierwszej kolejności zaczniemy od omówienia zawartości pracy [1], w której autorzy zaproponowali model przepływu, który pozwala na jednoczesne szybkie generowanie nowych przykładów (tj. samplowanie) oraz szybkie wyznaczanie wartości funkcji prawdopodobieństwa p(x) (tj. wnioskowanie). Następnie przejdziemy do omówienia pracy [2], która uogólnia wcześniej wspomnianą metodę i dodatkowo wprowadza kilka ciekawych usprawnień pozwalających na generowanie zauważalnie lepszych wyników. Ostatnia praca, opublikowana w tym roku przez grupę badawczą OpenAI [3], wprowadza kolejne usprawnienia, które w rezultacie prowadzą do bardzo realistycznych wyników. Pokazują one ogromny potencjał modeli opartych o przepływy normalizacyjne.

# Poziom trudności

Prezentacja będzie miała charakter przeglądowy i nie będziemy wchodzić skomplikowane detale techniczne. W trakcie prezentacji będę zakładał jednak, że słuchacz wie czym są konwolucyjne sieci neuronowe, zejście gradientowe czy metoda największej wiarygodności tj. zna o rozumie podstawy metod Deep Learningu.

# Czego się nauczysz?

* zrozumiesz co to są przepływy normalizacyjne i jak działają,
* poznasz potencjalne zastosowania,
* oswoisz się z nomenklaturą używaną w tej tematyce, po tej prezentacji czytanie publikacji naukowych powinno być znacznie łatwiejsze,
* dowiesz się jakie są aktualne wyniki najistotniejszych publikacji w tym temacie,

# Referencje:

[1] NICE: Non-linear Independent Components Estimation; https://arxiv.org/abs/1410.8516
[2] Density estimation using Real NVP; https://arxiv.org/abs/1605.08803
[3] Glow: Generative Flow with Invertible 1x1 Convolutions; https://arxiv.org/abs/1807.03039

# UWAGA:
Osoby które nie są pewne czy poziom wykładu będzie dla nich odpowiednio za mały bądź za duży, zapraszam do zaznajomienia się z moimi poprzednimi prezentacjami.
https://github.com/kmkolasinski/deep-learning-notes/tree/master/seminars