AROUND SOME TRANSFORMER ARCHITECTURES

Ве покануваме повторно на PyData собир во среда на 23.4.2025 година во Base42 во 18 часот. Предавање на тема „Around some
Transformer architectures“ ќе одржи Марко Карбевски.

Во оваа презентација ќе се истражат неколку од клучните аспекти на Трансформер архитектурата. Најпрво ќе се зборува за decoder-only трансформерите, кои се основа на јазичните модели како GPT и се широко користени во обработка на природен јазик. Потоа, ќе се продолжи со архитектурата „Мешавина на Експерти“ (Mixture-of-Experts – MoE), со која се зголемува скалабилноста и ефикасноста, користејќи само подмножество експерти за време на тренинг. Ова овозможува модели со голем обем, но со пониска пресметковна цена. Конечно, ако остане време, ќе се опфатат Визуелните Трансформери, кои го приспособуваат моделот на Трансформер за задачи од компјутерски визија, третирајќи ги сликите како низа од помали делови (patches), нудејќи алтернатива на традиционалните конволусицки невронски мрежи (CNN). Низ целата презентација ќе се анализира влијанието на овие архитектури врз вештачката интелигенција, со посебен фокус на нивната примена и предизвиците што ги носат.

М-р Марко Карбевски има седумгодишно искуство како Data Scientist во компанијата HTEC.
Тој дипломирал во областа на теориската математика, а магистрирал во истата област на Сорбона во Франција, па затоа неговите интереси се теориските аспекти на ML.