Deep learning (6) 썸네일형 리스트형 논문과 관련된 사이트 (SOTA) https://paperswithcode.com/ Papers with Code - The latest in Machine Learning Papers With Code highlights trending Machine Learning research and the code to implement it. paperswithcode.com [Article] GRU & LSTM Long Short-Term Memory (LSTM) Background 장기의존성 문제 과거의 정보가 마지막까지 전달되지 못하는 현상 https://yjjo.tistory.com/17 I grew up in France and want to be a plumber who the best is in the world and I speack fluent French 문장에서 France가 너무 초반에 등장하여 뒷단까지 충분히 전달되기 어려워 French로 예측하기 쉽지 않음 -> 장기 의존성 문제 LSTM RNN의 특별한 구조로 장기의존성을 학습할 수 있는 딥러닝 프레임워크 이전 단계의 정보를 memory cell에 저장하여 흘려보냄, 현재 시점의 정보를 바탕으로 과거의 내용을 얼마나 잊을지 곱해주고 그 .. 05 Logistic Regression Logistic Regression: 분류 기법의 일종 Binary Classification: 0 또는 1의 결과값 Logistic and Linear Logistic Linear 셀 수 있고 데이터의 값들이 흩어져있음 예) 신발사이즈 연속적으로 이어져있음. 예) 몸무게 Hyphothesis Representation ↓ -g(x)를 통해 Logistic function 으로: y의 범위를 0과 1 사이에 정의할 수 있도록 함. 따라서, x가 커질 수록 분모는 1에 가까워지기 때문에 결국 함수값은 1로, x가 작아질수록 분모가 무한대로 가기 때문에 결국 0으로 수렴하게 됨. 결론: 함수로 치면 y축에 있는 값이 0과 1 사이에 있게 됨. Cost Function : 랜덤 w를 최적의 파라미터로 만드는 .. 04 Multi-variable linear regression Hypothesis : 변수의 갯수만큼 가중치의 갯수가 늘어남. Cost function: 변수의 갯수가 늘어나는 만큼 가중치가 늘어나는 문제점을 해결해야함. 데이터가 많아질 경우 x1, x2, x3: data, Y: Label(true value) ▶ 변수가 3개이기 때문에 weight 3개, 변수의 갯수에 따라 w값도 증가함. → 만약 data가 무한대로 증가할 경우 hypothesis를 계산하는데 어려움이 생길 수 있음. Matrix Matrix 사용 - x 매트릭스를 입력 받아 xw(매트릭스의 곱)로 간편히 사용할 수 있음. - 데이터의 갯수가 많아도 동일하게 사용할 수 있음. - 앞에있는 matrix의 열의 갯수와 뒤에 있는 matrix의 행의 갯수가 같아야 함. - 데이터의 갯수와 무관. ※ .. 02 Simple Linear Regression 가장 중요한 Linear!! Linear Regression: 데이터를 가장 잘 대변하는 직선의 방정식을 찾는 것. 예) 가장 정확한 W, b를 구해보기 위해서 cost 고려 cost = H(x) - y : 가설과 실제 데이터 차 - cost의 합이 최소화되게 -> 문제가 생길 수 있음. 어떤 부분은 양수, 어떤 부분은 음수로 나타나면 무의미해짐. 따라서, - cost(W,b)를 minimize 하는 W,b 를 찾는 것 ! = 학습 - Gradient descent: 경사하강알고리즘, 경사하강법 - cost minimize 하는 W,b 찾기 코드 오류없이 실행된는지 확인해보기 !! 01 ML 머신러닝(ML) - 일종의 소프트웨어, 개발자가 일일이 정하지 않고 데이터를 학습해서 배우는 영역 - explicit programming의 한계: Spam filter, Automatic driving → too many rules 학습 Supervised learning: 정해져있는 데이터(training set)갖고 학습 → Image labeling → Email spam filter: 스팸 label을 갖고 있는 것들을 갖고 학습시킴. → Predicting exam score: 이전에 시험친 사람이 몇 시간 공부했는데 몇점이다 label이 달려있는 사진을 갖고 학습을 시킴 사용되는 데이터 : training data set - Supervised learning의 종류: -> regressio.. 이전 1 다음
