지난주 다짐

• 부스트캠프 스케줄에 적응하기! → Complete
• 매일 주간학습 작성하기! → Fail

강의 복습

AutoGrad

pytorch의 장점

• backward 함수를 사용하여 자동미분을 지원한다

Optimizer

최적화(Optimization)은 손실 함수(Loss Function)의 결과값을 최소화하는 모델의 파라미터(가중치)를 찾는 것을 의미

Optimization의 알고리즘을 Optimizer

Pytorch Template

pytorch-template/
│
├── train.py - main script to start training
├── test.py - evaluation of trained model
│
├── config.json - holds configuration for training
├── parse_config.py - class to handle config file and cli options
│
├── new_project.py - initialize new project with template files
│
├── base/ - abstract base classes
│   ├── base_data_loader.py
│   ├── base_model.py
│   └── base_trainer.py
│
├── data_loader/ - anything about data loading goes here
│   └── data_loaders.py
│
├── data/ - default directory for storing input data
│
├── model/ - models, losses, and metrics
│   ├── model.py
│   ├── metric.py
│   └── loss.py
│
├── saved/
│   ├── models/ - trained models are saved here
│   └── log/ - default logdir for tensorboard and logging output
│
├── trainer/ - trainers
│   └── trainer.py
│
├── logger/ - module for tensorboard visualization and logging
│   ├── visualization.py
│   ├── logger.py
│   └── logger_config.json
│  
└── utils/ - small utility functions
    ├── util.py
    └── ...

Custom Model

torch.nn.Module

• 딥러닝을 구성하는 layer의 base class
• input, output, forward, backward 정의
• 학습의 대상이 되는 parameter(tensor) 정의

nn.parameter

• Tensor 객체의 상속 객체