빅데이터 분석기사 필기 요약(8)

1. 분석 모형 리모델링 및 활용 

• 데이터 마이닝 리모델링: 구축된 모형의 성능 저하를 막기 위해 최신 데이터를 적용하거나 새로운 변수를 추가하여 모형을 재조정하는 과정입니다.
• 최적화(Optimization): 특정 목적을 달성하기 위해 제약조건을 추가하거나 가중치를 조정하여 계수값을 찾는 과정입니다.
• 시뮬레이션(Simulation): 모형을 재조정하는 것이 아니라, 가상의 조건을 입력해 결과를 예측 및 모의시험하는 과정입니다.
• 모델링 순서: 문제 정의 → 데이터 전처리(표준화/정규화) → 최적화 → 일반화

2. 데이터 전처리 및 변동성 척도

• 표준화 (Standardization): $Z = (X - \mu) / \sigma$. 평균 0, 표준편차 1인 표준정규분포로 변환. 단위가 다른 데이터의 상대적 위치 비교에 탁월.
• 정규화 (Normalization): $X_{norm} = (X - Min) / (Max - Min)$. 데이터를 0~1 사이로 압축. 최댓값은 항상 1, 최솟값은 0.
• 변동계수 (CV): $CV = \sigma / \mu$. 단위가 다른 두 집단의 상대적인 퍼짐 정도를 비교할 때 사용 (단위 없음).

3. 확률 분포 및 가설 검정

• 초기하 분포: 비복원 추출. 시행이 서로 영향을 주는 종속적 관계이며, 셀 수 있는 이산형 자료임.
• 귀무가설($H_0$): "차이가 없다", "평균이 모두 같다".
• p-value: 귀무가설이 맞을 확률. $p < 0.05$이면 "희박한 확률이 일어났다"고 보아 귀무가설을 기각하고 "차이가 있다"고 결론 내림.
  • 공학적 표기($5.936e-10$): $5.936 \times 10^{-10}$을 의미하며 0에 매우 가까워 유의성이 높음.

4. 분산분석 (ANOVA) 표 해석

• 처리(Feed) Df: $(집단 수 - 1)$. 자유도가 5면 비교 집단은 6개임. 처방의 개수는 이 행을 보고 판단.
• 잔차(Residuals) Df: $(전체 데이터 수 - 집단 수)$. 데이터 전체의 크기(마릿수)와 관련됨.
• 총 데이터 수: $(처리 Df + 잔차 Df + 1)$.

5. 머신러닝 모형 및 평가

• 앙상블: 여러 모델 결합. 배깅(병렬, 랜덤포레스트) vs 부스팅(순차 보완, XGBoost 등).
  • 부스팅은 여러 모델을 쓰지만, 이전 모델의 오답을 다음 모델이 이어받는 '약한 학습기의 연속적 개선'이 핵심.
• 경사하강법: 최적의 가중치를 찾기 위해 기울기를 따라 이동. (BGD, SGD, Adam 등)
• K-fold 교차검증: 데이터를 K개로 나눠 1개는 검증, K-1개는 훈련에 사용. 모든 데이터를 학습/검증에 활용 가능.
• ROC 커브: x축은 $1 - 특이도$, y축은 민감도. x축 값이 커질수록(오른쪽) 특이도는 감소함.

6. 시각화 및 기타

• 박스플롯: 상자 가로선은 중앙값임. 분포가 한쪽으로 쏠리면 평균과 다를 수 있음. 수염 밖 점은 이상값.
• 카토그램: 데이터 값에 따라 지도의 면적을 왜곡하는 공간 시각화.
• XOR 문제: 직선 하나로는 해결 불가능. 활성화 함수로 계단 함수를 쓰는 단일 퍼셉트론의 한계.

 

 

 

 

 

 

---