개발지식 아카이브

[Flink 공부하기] 1. Window 개념

Flink 윈도우란? 스트리밍 데이터는 끝이 없는 강물과 같다. 스트리밍과 배치의 차이도 그것이다. 끝이 없음 vs 끝이 있음...이렇게 끊임없이 흘러들어오는 스트리밍 데이터를 통계치로 만들려면 결국 '어디서부터 어디까지' 묶을지 정해야 하는데, 이것이 바로 윈도우 (window)이다. 윈도우는 시간 기반 또는 데이터 기반으로 설정할 수 있다.예를 들어 30초마다 집계한다면 시간 기반이고, 100개마다 집계한다면 데이터 기반이다. Flink 윈도우의 종류윈도우 종류는 Flink에서는 현재 4개로 구분된다. Tumbling (텀블링): 겹치지 않게 딱딱 끊어지는 윈도우. 예: 매 1시간 매출Hop (호핑): 겹치게 해서 부드러운 추세 계산. 예: 10분마다 갱신되는 최근 1시간 매출Session (..

Big Data 스파크 배치를 성능개선하다 (리팩토링)

최근에 Big Data 처리 배치 성능개선에 대한 고민을 할 기회가 있었다.전체 소요시간을 3시간 이상 줄여야하는 도전적인 과제였는데, 결국 성공했다...! (뿌듯) 데이터 입수 상황 1) 원본 소스 데이터세트는 10개 가량이다. 2) 1차 마트 데이터를 만드는 dag은 원본 소스 데이터 10개의 완료시점을 계속 감지하고 있다. (sensor 존재)센서가 10개 다 성공하면, 10개 데이터에 여러가지 필터를 적용하여 1차 마트 데이터를 만든다. 3) 2차 마트 데이터는 1차 마트 데이터를 기반으로 만드는데, 이벤트 시간을 주요 검색 key로 사용한다. 리팩토링 방법 A. 센서 병렬화이것은 아주 단순한 아이디어였는데, 크게 효과가 있었다.센서 10개가 다 성공한 후 전체 데이터를 만들지 말고..

데이터 엔지니어링에서 최종 파일 용량 줄이는 tip

컬럼 정렬 수행1) “정렬”이 왜 도움이 되나? (컬럼 기준 정렬)Parquet는 컬럼 단위 인코딩 + 페이지/딕셔너리 인코딩 + 압축을 사용해.값이 뭉쳐 있을수록(= 같은 값이 길게 반복되거나 가까이 모여 있을수록)RLE(런-렝스), 딕셔너리 인코딩 적중률 ↑ → 압축률이 올라가고 파일 크기 ↓.따라서, 쿼리 필터/파티션 키/중복도가 높은 컬럼을 우선 정렬하면 효과가 좋다.그리고 길이가 긴 string 데이터일 수록 효과가 좋았다. 압축량이 커지기 때문이다.주의: 전체 셔플이 필요하므로 쓰기 비용↑. 하지만 장기적으로는 읽기 성능 + 용량 절감의 이득을 볼 수 있었다.3) 파티셔닝과 파일 개수의미 있는 정렬키로 프루닝 + 정렬 효과를 극대화.데이터 양이 적은 경우 order by, 많은 경우 sort ..

가용성과 신뢰성의 개념 정확히 이해하기

가용성과 신뢰성, Reliability와 Availability의 개념이 헷갈릴 때가 많았다.그래서 복습을 하고, 구체적인 예시로 적어두려고 한다. 신뢰성이 낮다는 것은 결함이 많다는 것이다. 그러나 결함 != 장애이다.결함은 사양에서 벗어나서 동작하는 것이고, 장애는 시스템 전체가 멈춘 것이다. 결함이 장애로 이어지지 않도록 설계할 수 있다. 요약하면 신뢰성은 결함과 연결되고, 가용성은 장애와 연결된다.신뢰성이 낮더라도(결함이 많더라도) 가용성이 높게 설계된 시스템은 사용자가 이상을 인지하지 못한다. 다음은 가용성과 신뢰성의 차이에 대한 실제적이고 구체적인 예시들이다. GPT의 도움을 받았다. (고마워... 이해가 쏙쏙..) ✅ 1. Kafka 클러스터Reliability (신뢰성)Kafka 브로..

[Hive] insert overwrite 중에 데이터가 없어도 파티션이 생겼으면 할 때

[요건 정의]Hive 테이블의 특정 파티션에 대해 insert overwrite로 데이터 재생성중이다. 이 때 row가 없어도 파티션 폴더는 생겼으면 함 [문제 상황]row가 없는 경우에 물리적 파티션 폴더가 생기지 않고, 사라져 버림... [해결 방법]1. 해당 파티션을 ALTER 테이블 DROP PARTITION 쿼리로 메타스토어에서 삭제한다2. 삭제한 후 insert overwrite 수행한다3. 그러면 row가 없어도 파티션 폴더가 생긴다. 데이터 재생성시 발생하는 hive serde 오류인 것 같다.파티션이 없는 상태에서 최초 실행시에는 디렉토리가 생기는데, 파티션이 있는 상태에서 재실행하면 디렉토리가 사라져버린다; 파티션이 없는 상태에서, 최소 실행이어야 row가 없어도 파티션 폴더가 생기..

ABOUT ME

개발지식 아카이브 개발지식 아카이브

리스트 : 콘텐츠가 있으면 최근 5건을 불러옵니다.

티스토리툴바