| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- DL
- GoogLeNet
- ResNet
- Residual Connection
- RNN
- Regression
- iTerm2
- sigmoid
- Inception V1
- jupyter
- classification
- Skip Connectioin
- AI
- cnn
- vim-plug
- GCN
- Generative
- Optimizer
- Peephole Connection
- Vanilla RNN
- version
- Linear
- Manager
- virtualenv
- Bottleneck Layer
- python
- Inception Module
- Skip Connection
- DCGAN
- Gated Skip Connection
- Today
- Total
목록Inception Module (2)
IT Repository
Inception Module¶ CNN에서의 Inception module의 핵심은 다양한 Receptive field를 취한다는 점이었습니다. 이를 GCN에서 적용하면, Receptive field는 결국 얼마만큼 떨어져 있는 노드를 반영할 것인가 라고 할 수 있습니다. 이는 Adjacency matrix를 다시 한번 dot product함으로써 구현할 수 있습니다. 즉, Graph Conv를 하는 횟수만큼 Receptive field가 넓어집니다. 예를 들어 1번 노드에 2, 3번 노드가 연결되어 있다고 가정해봅시다. 첫번째 Graph Conv 레이어에서는 1번 노드는 2, 3번 노드의 상태를 반영할 것입니다. 두번째 Graph Conv 레이어에서도 2, 3번 노드의 상태를 반영하겠죠. 하지만 여기서..
GoogLeNet (2014)¶ VGGNet에서 언급하였듯이 GoogLeNet은 2014년도 ILSVRC의 우승 모델입니다. Inception V1이라고 불리며 한번쯤은 들어보았을 만한 Inception V2, V3 시리즈의 초기 버젼입니다. 22개의 레이어를 사용하였으며 GoogLeNet을 시작으로 단순한 CNN 구조에서 좀 더 복잡한 구조의 CNN 모델이 탄생했습니다. 먼저 GoogLeNet의 구조를 가볍게 구경해보겠습니다. 이렇게 복잡하고 깊은 층으로 네트워크를 구성하면 우리가 학습하였듯이 파라미터 수의 증가로 인한 Overfitting과 연산량의 문제가 발생할 수 있습니다. 하지만 GoogLeNet은 놀랍게도 AlexNet 보다도 적은 파라미터의 수와 적은 연산량을 보입니다. (아래 사진 참고) ..