Streaming

스파크-마이크로배치 / 플링크-네이티브 스트리밍: 어느 차이로 플링크가 '진짜 스트리밍'라고 하는 것일까?

🧭 서론최근 스트리밍 시스템을 공부하면서 '진짜'스트리밍 처리, 실시간 처리, 이벤트 도착하자마자 처리 라는 개념을 이해하기 위해 리서치한 내용을 바탕으로 글을 작성한다."Flink는 진짜 스트리밍 처리 시스템이다" 이 말, 도대체 어떤 의미일까.Flink는 어떻게 동작하길래 '진짜 스트리밍'이라는 수식어가 붙는걸까?마이크로배치로 동작하는 스파크랑 비교하면서 알아봤다.📌 본론✅ 마이크로배치란?Spark Structured Streaming은 사실 이름과 다르게 완전한 실시간(streaming) 시스템이 아니다.데이터를 아주 짧은 시간 단위(예: 1초, 500ms)로 '모아서' 한 번에 처리하는 방식이것을 마이크로배치(Micro-Batch) 라고 부른다. 즉, Spark는 실시간처럼 보일 뿐, 내부적으..