Category7 부스팅(Boosting) 부스팅 알고리즘은 분류기에서 진행되는 과정간에 오차 분류 data에 다가 가중치를 주어 다시 분류를 진행하는 과정으로 반복적으로 하여 개선해 나가는 학습 방법이다. 의사결정트리모델의 앙상블 기법에는 Baggin과 Boosting이 있다. Boosting은 Bagging과는 목적성이 다른 방법이다. 부스팅의 목적은 모델의 Bias를 감소하는데에 있다. Low variance하고 High Bias를 가진 모델에 적합한 기법이다. Low variance라는 것은 입력변수에 따라 예측값이 일정하게, 분산이 크지 않게 나오는 것을 의미하고, high bias라는 것은 정답과의 괴리가 높다는 것을 의미한다. 즉, 예측값의 분산이 크지 않지만 정답과 거리가 있게 나오는 모델에 부스팅이 효과적일 수 있다. 왜냐면, 부.. 2020. 12. 4. DQN (Deep Q-Networks) DQN (Deep Q-Networks) DQN이 나오기전 Neural network 를 사용하기 어려웠던 이유 1. Correlations 수많은 data중 sampling data를 통해 접근하였을 때, sampling data간 correlation이 있으면 나머지 data와의 관련성이 나오지 않기 때문에 제대로된 학습을 할 수가 없다. 2. Non-stationary targets Q러닝 알고리즘은 cost function(MSE)를 최소화하는 방향으로 학습을 한다. cost function를 보면 min(예측값 - 정답값)^2 식으로 나타내고 있는데 Q_learning 에서 예측값을 실제값과 가까와 지기 위해 θ을 조정하면 실제값의 θ 값 또한 변하게 된다. 즉, 부트스트랩을 진행하면 정답값도 같.. 2020. 12. 1. [ PyTorch ] PyTorch 설치하기( with 아나콘다) Pytorch 설치 방법 1. PyTorch 홈페이지에서 pytorch 설치 commend 확인 pytorch.org/get-started/locally/ PyTorch An open source deep learning platform that provides a seamless path from research prototyping to production deployment. pytorch.org Get Started를 클릭하면 화면에 START LOCALLY창이 보이고, 설정에 맞게 클릭 후 제일 하단에 있는 RUN this Command 를 확인한다. ※ CUDA 버전 확인 방법 >>>nvcc -V or >>>nvidia-smi 홈페이지에서 얻은 명령어를 가지고 pytorch를 설치한다. 2. .. 2020. 12. 1. 교차검증(Cross-Validation) scikit-learn.org/stable/modules/cross_validation.html 3.1. Cross-validation: evaluating estimator performance — scikit-learn 0.23.2 documentation 3.1. Cross-validation: evaluating estimator performance Learning the parameters of a prediction function and testing it on the same data is a methodological mistake: a model that would just repeat the labels of the samples that it has just seen would h.. 2020. 11. 26. [pandas] DataFrame 컬럼 이름 변경하기 new_name=[] for i in df_new.columns: new_name.append(i.split()[0]) df_new_dic=dic(zip(df_new.columns,new_name)) df_new.rename(columns=df_new_dic,inplace=True) 2020. 11. 25. [Keras] 학습 모델 저장하고 불러오기 딥러닝 모델을 학습진행할 때 시간이 많이 소요된다. 환경에 따라 다르겠지만 많게는 수십시간이 걸릴때가 있다. 어렵게 학습시킨 모델을 한번만 쓰고 버릴수는 없을 것이다. 어떻게 하면 귀중한 모델을 재사용할 수 있을까. 모델 저장 방법은 의외로 간단하다. (상세한 내용은 아래 링크) www.tensorflow.org/api_docs/python/tf/keras/models/load_model tf.keras.models.load_model | TensorFlow Core v2.3.0 Loads a model saved via model.save(). www.tensorflow.org Model Save 1. 먼저 keras.models.load_model을 import 한다. 2. model.save() 메.. 2020. 11. 23. Deep Learning(딥러닝) 개요 일반적으로 머신러닝(Maching Learning:ML)은 현재 값(예측할 값: predictor)을 x로 두고, 실제값(response)을 y라고 하면, y=f(x)를 만족하는 함수(function) f()를 찾는데에 포커싱 되어있다. - 학습되어진 함수 f()는 새로운 x'값이 주어졌을 때에도 분류하는 데에 사용된다. - 예를 들어 어떠한 이미지(x=image)가 주어지고 이미지의 카테고리(y= category)를 맞추는 문제라고 할 때, 이미지를 카테고리로 바꿔주는 함수를 학습하는 것이다. - 학습하는 이유는 새로운 이미지에 대해 학습한 함수를 적용하여 어떤 카테고리인지 예측하기 위해서이다. - 하지만 우리가 원하는 것은 x와 f()가 주어진 상태에서 y값을 얻는 것이 목적이 아닌 경우가 있다. 딥.. 2020. 11. 21. 이전 1 다음
