빅데이터 분석기사 필기 요약(7)

빅데이터 분석기사 필기 요약(7)

2026. 4. 1. 00:20ㆍ빅데이터 분석 기사

📊 1. 데이터 분석 및 머신러닝 기초

분류(Classification)와 예측(Prediction)의 차이
- 분류: 데이터가 사전에 정의된 그룹(범주) 중 어디에 속하는지 판별하는 것 (예: 스팸 메일 O/X, 개/고양이 판별). 결과값은 범주형 데이터입니다.
- 예측(회귀): 데이터의 패턴을 분석하여 연속적인 수치나 미래의 상태를 추정하는 것 (예: 내일의 기온, 다음 달 아파트 가격). 결과값은 수치형 데이터입니다.

분석 기법의 목적별 분류
- 시계열 분석: 시간 흐름에 따른 과거 데이터를 바탕으로 미래 수치를 추정하는 예측 기법입니다.
- 군집 분석 / 인자 분석: 데이터 내의 패턴을 파악하거나 변수를 줄이는 기술적(Descriptive) 분석 기법입니다.
- 판별 분석: 새로운 데이터가 어떤 집단에 속할지 결정하는 분류 기법입니다.

병렬 DBMS (Parallel DBMS)
- 다수의 마이크로 프로세서를 동시에 사용하여 데이터 처리 속도를 높이고 시스템 용량 확장이 용이한 시스템입니다.
- 파티셔닝(Partitioning): 빠른 동시 접근을 위해 데이터를 여러 디스크에 중복 없이 쪼개어 분산 저장하는 기술입니다. 데이터 중복을 늘리는 것이 목적이 아닙니다.
분산 DBMS vs 하둡(Hadoop)
- 분산 DBMS: 여러 컴퓨터에 RDBMS를 분산시켜 놓은 형태로, 실시간 트랜잭션 처리(OLTP)와 데이터 무결성 유지에 적합합니다. (예: 은행 시스템)
- 하둡: 대용량 비정형 데이터를 분산 파일 시스템(HDFS)에 저장하고 일괄 처리(Batch Processing)하는 데 특화된 프레임워크입니다.
프로세서의 개념
- 마이크로 프로세서: 연산과 제어를 담당하는 CPU 기능을 단일 반도체 칩에 집약한 것입니다. (물리적인 칩 1개)
- 멀티 프로세서: 마이크로 프로세서 여러 개를 장착하여 병렬 처리가 가능하게 만든 시스템 구조입니다.
- 최근의 마이크로 프로세서(칩 1개) 안에는 여러 개의 작업 두뇌인 '코어(Core)'가 들어있는 경우가 많습니다.

데이터 수집 기술 및 커넥터
- 스쿱(Sqoop): 관계형 DB(RDBMS)와 하둡 사이에서 데이터를 주고받게 해주는 전용 커넥터(Connector)입니다.
- 커넥터: 서로 다른 두 시스템(예: RDBMS와 하둡)이 데이터를 주고받을 수 있도록 번역하고 연결해 주는 어댑터 역할을 합니다.
- 기타 수집 기술: API(시스템 간 실시간 연동), 크롤링(웹 문서 수집). 단, 대용량 실시간 로그 수집에는 FTP가 아닌 Flume, Kafka 등을 사용해야 합니다.
자료 수집 방법의 올바른 개념
- 브레인스토밍: 비판 없이 자유롭게 아이디어 도출
- 인터뷰: 대상자와 직접 대화하여 심층 정보 수집
- FGI (표적집단면접): 소수의 집단을 모아놓고 진행자의 안내에 따라 토론하여 자료 수집
- 스캠퍼 (SCAMPER): 기존 아이디어를 7가지 키워드로 변형하여 새로운 아이디어 발상
데이터 품질 진단과 프로파일링
- 데이터 품질측정: 사전에 정의된 기준을 바탕으로 데이터를 검사하여 오류 건수 등 구체적인 수치를 산출하는 단계입니다.
- 데이터 프로파일링: 본격적인 분석 전, 데이터의 결측치, 유효성, 중복 여부 등을 훑어보고 현 상태를 파악하는 '데이터 건강검진' 과정입니다.

개인정보 비식별화 조치
- 데이터 범주화: 나이를 '20대'로 묶는 등 데이터를 특정 구간으로 묶어 값을 숨기는 기법입니다. (주요 식별정보를 '삭제'하는 것은 '데이터 삭제' 기법입니다.)
- 총계 처리: 개별 값 대신 총합이나 평균으로 대체합니다.
- 가명 처리: 식별 정보를 다른 가짜 식별자나 ID로 변경합니다.
- 데이터 마스킹: 정보의 일부 또는 전체를 '*' 등으로 가립니다.
CRISP-DM 방법론 절차
- 데이터 분석의 대표적인 표준 프로세스입니다.
- 순서: 비즈니스 이해 ➡️ 데이터 이해 ➡️ 데이터 준비 ➡️ 모델링 ➡️ 평가 ➡️ 전개(Deployment)