빅데이터 분석기사 필기 요약(6)

🏗️ 1단계: 데이터의 모양 (확률분포)

데이터가 어떤 성격이냐에 따라 사용하는 '도구(함수)'가 달라집니다.

[이산확률분포] - 셀 수 있는 횟수

• 이항분포: 성공/실패 (동전 던지기).
• 초기하분포: 다시 넣지 않고 뽑기 (비복원 추출).
• 포아송분포: 일정 시간 내 발생하는 '사건 횟수' (교차로 통과 차량 수).
• 핵심 도구: 확률질량함수(PMF). 막대그래프 형태이며 각 막대 높이가 곧 확률.

[연속확률분포] - 끊이지 않는 측정값

• 정규분포: 세상에서 가장 흔한 종 모양 (키, 몸무게).
• 지수분포: 사건 사이의 '대기 시간' ($a^x$ 꼴의 미끄럼틀 모양).
• T분포: 모집단을 모를 때 쓰는 보수적인 종 모양 (꼬리가 두툼함).
• 핵심 도구: 확률밀도함수(PDF). 특정 지점 확률은 0이며, 구간의 면적이 확률.

---

⚙️ 2단계: 데이터 가공 (전처리)

분석 모델이 잘 학습하도록 데이터를 성형하는 과정입니다.

• 자연로그 변환: 한쪽으로 쏠린 데이터를 정규분포 모양으로 펴줌.
• 최소-최대 정규화: 모든 값을 0~1 사이로 압축 (단위 통일).
• 표준화 (Z-score): 평균 0, 분산 1로 이동 (위치 조정일 뿐, 모양은 안 변함).
• 범주형 인코딩:
  • 원핫 인코딩: 모든 항목을 평등한 열로 만듦 (딥러닝 선호).
  • 더미 변수화: 다중공선성을 피하기 위해 열 하나를 삭제하여 기준점으로 삼음 (통계학 선호).

---

📏 3단계: 흩어짐의 미학 (분산과 오차)

데이터가 얼마나 믿을만한지 측정하는 척도입니다.

• 표준편차 ($\sigma$): 내 표본 안의 사람들끼리 얼마나 다른가?
• 표준오차 ($SE$): 내가 구한 평균이 진짜 정답(모평균)에서 얼마나 빗나갈까?
  • 공식: $\frac{\sigma}{\sqrt{n}}$. 표본($n$)이 커질수록 오차는 줄어듦.
• 자유도 ($n-1$): 합계가 정해진 순간, 마지막 데이터는 선택권이 없다는 원리 (사탕 비유).

---

🎯 4단계: 진짜 정답 찾기 (추정)

딱 한 번 뽑은 표본으로 '진짜 세상'을 예측하는 마법입니다.

• 대응표본 vs 독립표본:
  • 대응: 동일 인물의 전/후 비교 (다이어트 약 효과).
  • 독립: A그룹 vs B그룹 비교.
• 95% 신뢰구간: 내 표본평균($\bar{X}$)을 중심으로 양옆으로 1.96배의 표준오차만큼 그물을 치는 것.
  • 표 읽는 법: 가운데 95%를 남기기 위해 왼쪽 꼬리(2.5%)까지 합쳐진 0.9750 지점을 표에서 찾음 $\rightarrow$ 그게 바로 Z=1.96.
• 결론: "내가 만든 이 그물(구간) 안에 진짜 정답이 걸려들 확률이 95%다!"

 

 

---