AI·빅데이터 융합 경영학 Study Note

참고 자료밑바닥부터 시작하는 딥러닝2https://wikidocs.net/24996https://www.youtube.com/watch?v=4DzKM0vgG1Y&t=1s (여기서부터는 밑바닥2의 챕터 7-2의 요약입니다. )  sequence to sequence: 한 시계열 데이터를 다른 시계열 데이터로 변환하는 것.- 기계 번역, 챗봇, 자동 답신에 응용됨. - 2개의 RNN(= Encoder와Decoder)을 이용함- Encoder-Decoder모델이라고도 한다.Encoder- RNN을 이용해 시계열 데이터를 h라는 은닉 상태의 벡터로 변환한다. (h=hidden) 단순히 RNN이라고 했지만 LSTM이나 GRU를 사용할 수도 있다.- 은닉상태 h는 고정 길이의 벡터이다. 결국 "인코딩한다" 는 임의..

참고 자료밑바닥부터 시작하는 딥러닝2 p141-146https://wooono.tistory.com/244 [DL] Word2Vec, CBOW, Skip-Gram, Negative SamplingOne-Hot Vector 기존의 자연어처리 분야에서는, 단어를 One-Hot Vector 로 표현했습니다. One-Hot Vector란, 예를 들어 사전에 총 10000개의 단어가 있고, Man이라는 단어가 사전의 5391번째 index에 존재한다면 Manwooono.tistory.com   (간단!) word2vec은 2개의 모델이 있다.하나는 CBOW고다른 하나는 여기서 다룰 skip-gram이다. 서로 반대되는 방법인데 CBOW는 context로 target을 예측하는 방법식으로 학습하고,skip-gram..

chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://arxiv.org/pdf/1512.03385  " Deep Residual Learning for Image Recognition " 레츠고     [Abstract]깊은 neural net은 학습시키기가 더 어려움 residual network 가 더 optimize하기 쉽고 깊은 네트워크에서 accuracy를 얻을 수 있음ImageNet 데이터셋으로 VGG net 보다 8배 깊은 152 layer를 사용했고, 여전히 낮은 복잡도임3.57% error rate을 달성했고 ILSVRC classification task에서 1등을 달성함 (2015)ILSVRC & COCO 2015 Competiti..

https://velog.io/@chaujin00/NLP-Embedding-Dot%EC%9C%BC%EB%A1%9C-%EB%8C%80%EC%9A%A9%EB%9F%89-%ED%85%8D%EC%8A%A4%ED%8A%B8-CBOW [NLP] Embedding Dot으로 대용량 텍스트 CBOW목차 word2vec의 문제점 Embedding 층 다중분류에서 이진분류로 Embedding dot 층velog.io 오늘의 교훈: CBOW보다 Skip-gram의 성능이 더 좋다. 그리고 선형대수 복습하자

https://ar5iv.labs.arxiv.org/html/1409.1556  참고 사이트https://velog.io/@quasar529/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-VGG-VERY-DEEP-CONVOLUTIONAL-NETWORKS-FOR-LARGE-SCALE-IMAGE-RECOGNITION  요약[Summary]깊이 증가시키며(16-19 Layers) 성능 향상모든 Conv LAYER에서 3x3 filter 사용 → 파라미터수 줄여 연산량 감소 [Abstract]We investigate the effect of the convolutional network depth on its accuracy in the large-scale image recognitio..