CS 330 - Deep Multi-Task and Meta Learning, Fall 2023 - Intro

Introduction

딥러닝은 Image classification, Natural Language Processing, Voice Recognition과 같은 많은 문제에서 엄청난 발전을 이루어왔지만 이러한 모델은 대부분 훈련받은 단일 작업에 특화되어 있다. 이번 CS330에서는 해결해야 할 여러 작업이 있는 환경을 다루고, 여러 작업으로 인해 발생하는 구조를 활용하여 보다 효율적이고 효과적으로 학습할 수 있는 방법을 연구한다고 한다. 해당 연구에는 아래와 같은 연구들이 포함되어 있다고 한다.

• Downstream 소수 학습 전이 학습을 위한 자기 지도 사전 학습.
• 새로운 작업을 빠르게 학습할 수 있는 효율적인 학습 알고리즘을 학습하는 것을 목표로 하는 메타 러닝 방법.
• 문제가 일련의 과제를 학습하고 지식 전달을 가능하게 하기 위해 공유 구조를 활용해야하는 커리큘럼 및 lifelong learning.

CS330 강의는 대학원 수준의 강좌라고 한다. 이 과정을 리뷰하는 사람들은 기대하고 들어가도 좋다.

이 CS330은 Meta-Learning이라는 초석을 다진 Chelsea Finn 교수님의 강좌이다.

Topic

1. Multi-task learning, transfer learning basics
2. Meta-learning algorithms (black-box approaches, optimization-based meta-learning, metric learning)
3. Advanced meta-learning topics (meta-overfittng, unsupervised meta-learning, Bayesian models)
4. Unsupervised pre-training for few-shot learning
5. Relation to foundation models & in-context learning
6. Domain adaptation & generalization
7. Lifelong learning
8. Open problems

Pre-Requisites

CS330에서는 아래와 같이 선수지식을 요구하고 있다.

1. Machine Learning: CS229 또는 그에 맞는 지식 (SGD, cross-val, calculus, probability theory, linear algebra에 대한 선수지식이 있는 사람)
2. Deep Learning에 친숙한사람 (backpropagation, recurrent network와 같은 개념을 기반으로 구축할 것이고, 과제가 나오는데 PyTorch를 이용해서 해야한다고 한다.)

Assignments

CS330에서는 아래와 같이 총 5개의 과제가 있는 것 같다.

• Homework 0: Multi-task learning basics
• Homework 1: Multi-task data processing, black-box meta-learning
• Homework 2: Gradient-based meta-learning & metric learning
• Homework 3: Fine-tuning pre-trained models
• Homework 4 (optional): Bayesian meta-learning & meta-overfitting

Conclsion

CS330의 첫번째 개요에 대해서 포스팅하다보니 아 많을 것들을 잘 따라갈 수 있을지가 의문이다. 그래도 최선을 다해서 따라가보자.