Artificial Intelligence (7) 썸네일형 리스트형 14. Generative Adversarial Networks 대학원 수업 'Deep Learning', 교재 'Understanding Deep Learning', 그리고 직접 찾아서 공부한 내용들을 토대로 작성하였습니다. generative adversarial network , GAN은 training example의 set과 구분이 안되는 새로운 sample들을 생성하는 것을 목표로 한 unsupervised model입니다. GAN은 단순히 새로운 sample을 만들어내는 mechanism입니다. 모델링된 data에 대한 probability distribution을 설계하지도 않고 그렇기 때문에 같은 distribution에 대해 해석한 새로운 data point에 대한 probability도 평가할 수 없습니다.GAN에서, main 'generator.. 13. Unsupervised learning 대학원 수업 'Deep Learning', 교재 'Understanding Deep Learning', 그리고 직접 찾아서 공부한 내용들을 토대로 작성하였습니다. 지금까지 우리는 supervised learning에 대해서만 알아봤습니다. 관찰된 data x를 output value y로 mapping하는 model을 정의하고 training dataset {xi,yi}에 대한 mapping의 quality를 측정하는 loss function에 대해 알아봤습니다. unsupervised learning에선, model이 'label이 존재하지 않는' 관찰된 data의 set을 통해 학습을 하게 됩니다. (models learn from a set of observed data in the absence.. 12. Graph neural networks 대학원 수업 'Deep Learning', 교재 'Understanding Deep Learning', 그리고 직접 찾아서 공부한 내용들을 토대로 작성하였습니다. 이전에 우리는 규칙적인 배열의 data를 처리하는 데에 특화된 convolutional network와, 다양한 길이의 sequence를 처리하는 데에 특화된 transformer에 대해 알아봤습니다. 이번 chapter에선 'graph neural network'에 대해 알아보겠습니다. 이름에서 알 수 있듯, graph를 처리하는 neural architecuture입니다. graph를 다루는 데엔 3가지의 challenge가 있습니다.1. topology가 다양하고, 이 variation을 다루면서도 충분히 표현할 수 있는 network를 .. 11. Transformers 이전까진 regular grid로 표현가능한 data를 처리하는 것에 특화된 convolutional network에 대해 알아봤습니다. 이런 경우는 특히 inpur variable이 굉장히 커서 fully connected network를 사용하는 것이 어려운 image를 처리하는데에 적합했습니다. convolutional network의 각 layer는 공유하는 parameter를 사용해 image의 각 position에서 local image patch가 비슷하게 진행됩니다. 이번 chapter에선 'Transformer'에 대해 알아봅니다. transformer는 natural language processing (NLP) problems에 target되어 있고 NLP의 경우에 net.. 10. Residual networks 대학원 수업 'Deep Learning', 교재 'Understanding Deep Learning', 그리고 직접 찾아서 공부한 내용들을 토대로 작성하였습니다. deep neural network의 특징 중 하나는 너무 많은 layer를 쌓으면 performance가 줄어든다는 점입니다. 이 챕터에선 이를 해결하는 'residual blocks'에 대해 알아보겠습니다. 여기서, 각 layer는 직접적으로 변형하는 대신 현재 representation에 대해 추가적인 변화를 계산합니다. 이는 더 깊은 network가 train되도록 하지만 초기화에서 기하급수적인 크기로 증가할 수 있게 만듭니다. Residual block은 이런 현상을 보완하기 위해 'batch normalization'을 사용합니다. .. 9. Convolutional networks 대학원 수업 'Deep Learning', 교재 'Understanding Deep Learning', 그리고 직접 찾아서 공부한 내용들을 토대로 작성하였습니다. 지금까진 deep neural network를 위한 supervised learning pipeline에 대해 알아봤는데 단순히 input에서 output으로 가는 single path에 대한 fully connected networks에 대해 고려했습니다.<p data-ke-.. 8. Regularization 대학원 수업 'Deep Learning', 교재 'Understanding Deep Learning', 그리고 직접 찾아서 공부한 내용들을 토대로 작성하였습니다. 8장에선 model performance를 어떻게 측정하는지, 그리고 training data와 test data사이에 중요한 performance gap이 있다는 것에 대해 알아봤습니다.1. model은 input에서 output까.. 이전 1 다음
