반응형

빅데이터분석기사 3

[빅데이터분석기사 / 필기] 빅데이터 결과해석

오차행렬실제답 True False예측결과TrueTrue PositiveFalse PositiveFalseFalse NegativeTrue Negative정확도(accuracy)정밀도 (Precision)재현율 (Recall)(TP + TN) / (TP + FP + TN + FN)TP / (TP + FP)TP / (TP + FN) F1 score : 정밀도와 재현율을 결합한 조화평균 지표, 값이 클수록 모형이 정확ROC Curve : FP rate가 변할 때 TP rate가 어떻게 변화하는지 나타내는 곡선, 하단 면적 = AUC (지도학습) 회귀모델 평가 지표- SSE : 실제값과 예측값의 차이를 제곱하여 더한값 > SSE에 평균을 취하면 MSE, MSE에 루트를 취하면 RMSE, MSE를 퍼센트로 변환하..

[빅데이터분석기사 / 필기] 빅데이터 모델링2

인공신경망가중치 : 노드와의 연결계수 학습 : 가중치와 편향을 훈련 데이터에 적응하도록 조정하는 과정 > 1단계 : 미니배치, 2단계 : 가중치 매개변수 기울기 산출, 3단계 : 매개변수 갱신오차역전파 : 가중치 매개변수 기울기를 미분을 통해 진행하지 않고 오차를 출력층에서 입력층으로 전달, 연쇄법칙을 활용한 역전파를 통해 가중치와 편향을 계산 과대적합 해결방안1. 가중치 감소 : 가중치가 클수록 일종의 패널티를 부과하여 가중치 매개변수 절대값을 감소시킴 > 패널티 역할로 L1 규제(라쏘), L2 규제(릿지)2. 드롭아웃 : 은닉층의 뉴런을 임의로 삭제하면서 학습하는 방법, 적은 뉴런만으로 훈련한 뒤 테스트 시 전체 뉴런을 사용하면 정답을 더 잘 찾음3. 초매개변수 최적화 : 수동으로 변수들을 설정하여 ..

[빅데이터분석기사 / 필기] 빅데이터 모델링

#1 분석 절차 수립분석 모형 : 분석 목표에 따라 데이터 특성을도출, 가설 수립에 따라 전체적 분석 방향을 정의 > 예측 분석 모형, 현황 진단 모형, 최적화 분석 모형 등분석 모형 선정 프로세스 : 문제요건 정의 - 데이터 수집·정리 - 데이터 전처리 - 분석 모형 선정상향식 접근 : 특정 영역을 지정하여 의사결정 지점으로 진행하는 과정에서 분석 기회를 발굴분석 유스케이스 기반 접근 : 분석 테마 후보 그룹(pool)을 활용하고 연관된 분석 기회를 발굴 분석 모형 구축 절차분석 시나리오 작성 : 데이터 분석 대상 및 범위를 요구사항에 맞게 정의, 해결할 수 있는 문제와 목표, 목표별 구현 모델과 예상 결과 작성분석 모형 설계 : 분석 대상 및 범위를 정하여 분석 목적구현을 위한 분석 방법론 설계 분석..

반응형