빅데이터 분석기사 필기 요약(2)

📊 1. 데이터 시각화 (비교 시각화 중심)

• 스타 차트 (Star Chart) = 레이더 차트 (Radar Chart)
  • 중심점에서 뻗어 나가는 여러 축을 이용해 다차원 데이터를 다각형 모양으로 시각화.
  • 수치를 '별의 개수(평점)'로 표현하는 것이 아님.
• 평행 좌표 그래프 (Parallel Coordinates Plot)
  • 독립변수/종속변수의 인과관계를 보는 것이 아님.
  • 여러 변수(축)를 평행하게 세워두고, 각 개체의 데이터 포인트를 선으로 연결하여 다차원 데이터의 패턴(상관관계)이나 이상치를 탐색.
• 히트맵 (Heatmap)
  • 실무에서는 상관관계를 볼 때 자주 쓰지만, 시험에서는 2차원 표의 수치를 색상으로 표현하여 크기를 대조하는 비교 시각화로 분류됨.
• 체르노프 페이스 (Chernoff Faces)
  • 다차원 데이터를 사람 얼굴의 다양한 특징(눈, 코, 입 등)에 매핑하여 표현.

---

💼 2. 빅데이터 기획 및 비즈니스 효과

• 빅데이터의 ROI (투자 자본 수익률)
  • 투자 요소 (비용): 데이터의 크기(Volume), 속도(Velocity), 다양성(Variety) $\rightarrow$ 3V
  • 비즈니스 효과 (수익): 데이터 분석을 통해 창출되는 가치(Value)
• 관련 주요 지표
  • NPV (순현재가치): 미래의 예상 수익을 '현재 가치'로 환산하여 투자 비용을 뺀 재무 지표. (0보다 크면 투자 가치 있음)
  • KPI (핵심 성과 지표): 프로젝트의 구체적인 목표 달성도를 측정하는 과정 지표 (예: 모델 정확도, 지연 시간 등).

---

⚙️ 3. 하이퍼파라미터 최적화 기법

• 수동 탐색 (Manual Search): 분석가의 사전 지식/경험에 의존. 차원이 높아지면 비효율적이며 절대 '최적'의 방식이 아님.
• 격자 탐색 (Grid Search): 모든 조합을 촘촘하게 탐색 (자동화).
• 무작위 탐색 (Random Search): 범위 내에서 무작위 조합 탐색. 격자 탐색보다 효율적으로 예상치 못한 최적값을 찾기도 함.
• 베이지안 최적화 (Bayesian Optimization):
  • 이전 탐색 결과를 반영하여 다음 탐색 위치를 똑똑하게 추천하는 통계적 방식.
  • 대리 모델(Surrogate Model): 목적 함수를 추정 (가우시안 프로세스 활용).
  • 획득 함수(Acquisition Function): 탐색(불확실성 높은 곳)과 활용(성능 좋은 곳)의 균형을 맞춰 다음 파라미터 조합을 계산.

---

📈 4. 통계 분석: 콜모고로프-스미르노프 (K-S) 검정

• 목적: 두 집단이 동일한 분포를 이루는지, 혹은 데이터가 특정 이론적 분포(예: 정규분포)를 따르는지 검증.
• 핵심 원리:
  • 누적분포함수(CDF): 완벽한 이상형의 매끄러운 이론적 누적 그래프.
  • 경험적 누적분포함수(ECDF): 실제 관측 데이터를 누적하여 그린 투박한 계단식 그래프.
  • K-S 통계량 ($D$): 위 두 그래프(분포) 사이의 수직적 최대 거리.
  • 이 최대 거리가 짧으면 "분포가 같다(정규성을 띤다)", 길면 "분포가 다르다"고 해석.

---

🧪 5. 분석 모델 평가 및 표본 추출

• CV (Cross-Validation, 교차 검증): 데이터를 여러 폴드(Fold)로 나누어 돌아가며 테스트하여 모델의 일반화 성능을 평가.
• Stratified K-Fold CV (층화 K-교차검증):
  • 데이터를 나눌 때 각 폴드 내의 정답(클래스) 비율을 원본 데이터와 동일하게 유지.
  • 불균형 데이터 평가에 필수적.
• 부트스트랩 (Bootstrap):
  • 중복을 허용하여 데이터에서 무작위로 복원 추출하는 방식.
  • 동일한 분석 모델의 파라미터 추정치에 대한 신뢰도나 분산을 평가할 때 적합.

 

---