목록
반응형
Model Theory
반응형
(4)

Tech-Logs of Data-Scientist

역전파(Back Propagation)란?

DNN에서 예측값과 실제값의 차이를 최소화로 하도록, 가중치를 업데이트 하는 과정이 필요함 $w_{ij}^{l}$를 l번째 레이어의 i번째 노드에서 다음번째 레이어의 j번째 노드로 갈 때 연결되는 가중치(weight)라고 하면, $w_{ij}^{l}$가 변동되면 다음 레이어(l+1번째)의 j번째 노드에서 연결되는 가중치에 영향을 끼침 즉, $w_{ij}^{l}$의 편미분을 구하기 위해서는 다음번째 레이어의 가중치에 대한 편미분 값이 필요함 따라서, 역전파는 순전파(Foward Propagation)를 통해서 모든 가중치를 얻은 다음, 반대방향(Backword)으로 편미분값을 구한 다음에 이를 반영하여 가중치를 업데이트 해주는 과정 참조 : Youtube
Model Theory/DL 2022. 12. 10. 12:20
Model Theory

모델 관련 이론들을 모아 놓은 공간입니다. ML : 머신러닝과 관련된 모델들의 이론들을 모아 놓은 공간입니다. DL : 딥러닝과 관련된 모델들의 이론들을 모아 놓은 공간입니다. NLP : 자연어처리와 관련된 모델들의 이론들을 모아 놓은 공간입니다.
Model Theory 2022. 6. 30. 01:02
Shap value vs importance 설명

설명참조 https://todayisbetterthanyesterday.tistory.com/m/56 [Data Analysis 개념] Ensemble(앙상블)-4 : Feature Importance & Shap Value 1. Feature importance 앙상블에서 변수 해석의 문제 앙상블 모형은 많은 모델들이 기본적으로 Tree 기반으로 이루어진다. 동시에, 이 Tree기반의 앙상블들은 전반적으로 우수한 성능을 내는 모델들이 todayisbetterthanyesterday.tistory.com 해석참조 https://datanetworkanalysis.github.io/2019/12/24/shap3
Model Theory/ML 2022. 6. 29. 09:47
NLP의 변천

LSA → pLSA LDA → DTM : time CTM : Correlated STM : Structure
Model Theory/NLP 2022. 6. 29. 01:45
이전 Prev 1 Next 다음