BYOC：打造自己的 ChatGPT－大型語言模型分散式訓練分享

[Agenda]
• 19:30 ~ 19:40 (10 mins) 開場
• 19:40 ~ 20:40 (60 mins) 主議程：
BYOC：打造自己的 ChatGPT－大型語言模型分散式訓練分享
• 20:40 ~ 自由交流時間

[Talk Information]
整理並分享 PyTorch 分散式訓練、大型語言模型節省 GPU 資源的方法
- 知道有分散式訓練這個技巧
- 知道怎麼在多顆 GPU 的單台機器上啟動分散式訓練
- 知道大型語言模型要節省運算量要克服哪些問題、對解決方式的專有名詞有基礎了解

大綱：
- 為什麼要使用分散式訓練？
- 分散式訓練概念介紹
- 如何使用 torchrun 運行分散式訓練
- 大型語言模型要運行在消費級 GPU 上的挑戰
- 訓練加速工具介紹
- 模型壓縮方法介紹
- 模型剪枝 Pruning
- 模型蒸餾
- 模型量化：將預訓練模型權重轉為低位數 (ex: 8bit)
- 提升 Fine-Tuning 效率的方法介紹
- Low-Rank Adaption

[Host Information]
• Summit Suen：講者聯絡與協調、活動主持人
• Benjamin Chen：活動規劃
• Kristen Chan：活動規劃

[地點] 線上
線上會議連結會在活動當天在網頁更新
最早可加入會議時間為晚上七點。