수집 → 저장 → 처리 → 분석 → 시각화
빅데이터 처리 파이프라인 + RDBMS와 보완
① 수집Flume·Kafka
→
② 저장HDFS·NoSQL·S3
→
③ 처리MapReduce·Spark·Tajo
→
④ 분석Hive·MLlib
→
⑤ 시각화Tableau·Grafana
| 구분 | RDBMS | 빅데이터 시스템 |
|---|
| 데이터 | 정형(고정 스키마) | 정형+반정형+비정형 |
| 확장 | 수직 확장 | 수평 확장 |
| 트랜잭션 | ACID(즉시 일관) | BASE·결과적 일관 |
| 주 용도 | OLTP(거래) | OLAP·DW·NoSQL |
합격 한 줄
'정형·수직·ACID·OLTP = RDBMS / 비정형·수평·BASE·OLAP = 빅데이터.' 서재(RDBMS) vs 물류 창고(빅데이터) — 경쟁이 아닌 보완 관계. 단계별 도구 매핑이 변형 1순위.