-
[Kafka] 카프카의 실전 서비스 운영
2020.02.15 - [[IT] 공부하는 개발자/Open Source] - [Kafka] 카프카란? 개념과 디자인 [Kafka] 카프카란? 개념과 디자인차례 카프카란 카프카의 특징 카프카 데이터 모델 카프카 리플리케이션 카프카란 카프카는 서비스간에 메시지 통신을 제공하는, 메시지 큐 서비스이다. 실 서비스에서 언제 메시지 통신이 요구gem1n1.tistory.com 최근에 카프카 관련 장애를 겪고 나서, 내가 정말 수박 겉핥기로 카프카를 알고 있었다는 걸 깨닫게 되었다. 그래서 조금 더 공부해서 위의 포스팅에 이어서 2편을 쓴다. 카프카 운영 옵션클라이언트 공통 옵션metadata.max.age.ms- 클라이언트가 브로커로부터 토픽에 대한 메타데이터를 받아와 새로고침하는 시간 - default는 ..
-
[Hive] 하이브 핵심정리
하이브 개요 하이브는 하둡의 HDFS 데이터를 SQL로 질의할 수 있게 해주는 Hadoop 생태계의 일원이다. 하이브는 테이블(Table), 파티션(Partition), 버킷(Bucket) 세 개의 구조로 분할될 수 있다. 테이블을 HDFS 디렉토리에 대응시키고, 이를 파티션으로 분할 후 파티션을 버킷으로 차례차례 나눌 수 있다. 하이브의 장점 하이브의 HQL은 SQL과 문법이 비슷하다. 하이브는 여러 컴퓨팅 프레임워크에서 동작할 수 있다. (MapReduce, Spark, ...) 하이브는 HDFS 데이터에 Ad-hoc 질의를 할 수 있다. 하이브는 UDF, 사용자 정의 I/O 포맷을 지원한다. 하이브의 구조 테이블 테이블 = 디렉토리에 맵핑된다고 생각하면 된다. 하이브에서 salary 테이블을 생성하..
-
[Auth] oAuth2 proxy + Okta 연동하기 예제
Oauth2 proxy 란? 백엔드 서비스에 대한 인증 및 권한 부여를 처리하는 중간 프록시 서버 OAuth 2.0 인증을 사용한다. 어떤 역할을 수행할까요? - 사용자 인증 - Provider 에 요청해 액세스 토큰을 발급 아키텍처 AS-IS: 사용자에게서 들어온 요청을 바로 업스트림(실제 서비스)으로 보낸다 TO-BE: 사용자에게서 들어온 요청은 업스트림으로 가기 전에 OAuth2 reverse proxy를 거친다. (중간에 Nginx를 한 번 더 거쳐도 되고, 거치지 않아도 된다.) 리버스 프록시 서버는 요청이 액세스 토큰을 가지고 있다면 업스트림으로 패스시켜 주고, 액세스 토큰이 없다면 Auth provider를 호출해 유저의 접근 여부를 확인, 액세스 토큰을 발급받아 유저에게 부여한다. Flow..
-
Zeppelin 과 Notebook 비교, 어떤 것을 고를까?
Zeppelin 은 데이터 분석과 시각화를 위한 인터랙티브한 환경을 제공하는 Web Notebook 기반의 오픈 소스 프로젝트 Zeppelin을 쓰는 이유 인터랙티브한 환경 실시간으로 코드를 실행하고 결과를 확인할 수 있는 대화형 환경 -> 분석의 효율성 다중 언어 지원 다양한 언어로 코드를 작성하고 실행할 수 있음 -> 사용자가 선호하는 언어 선택 가능 ex) HDFS에 접근하고자 할 때에 상황에 맞게 Hive query 를 작성할 수도, Presto query를 작성할 수도 있다. Python, Scala등의 다양한 언어를 섞어가며 분석 코드를 짤 수 있고, Spark, Cassandra 등 다양한 분석 도구에도 붙을 수 있다. 시각화 기능 데이터 시각화를 위한 다양한 도구와 라이브러리를 지원하여 결..
-
[Terraform] 테라폼이란? 테라폼으로 인프라 구성하기
최근에 운영에서 AWS k8s 클러스터 셋업을 하면서... ALB, IAM 등을 테라폼으로 만들었는데 정말 편리하더라고요 인간은 이렇게 계속해서 대체되어 가는군요..ㅠㅋㅋㅋ 자동화의 물결을 피할 수가 없어요... 테라폼이란? 테라폼은 인프라를 코드로 관리할 수 있는 도구 테라폼을 쓰는 이유 1. 인프라를 코드로 관리할 수 있음 -> 자동화 가능! 테라폼을 사용하면 인프라를 코드로 관리할 수 있습니다. 이를 통해 서버나 네트워크 등의 인프라를 쉽게 생성, 수정, 삭제할 수 있습니다. 또한, 코드로 관리하므로 변경 이력도 추적할 수 있습니다. 코드로 관리하기 때문에 인프라를 자동으로 생성할 수 있습니다. 자동화를 통해 Human error를 줄일 수 있습니다. 2. 다양한 클라우드 서비스 지원 테라폼은 AW..
리스트 : 콘텐츠가 있으면 최근 5건을 불러옵니다.
-
[파이썬/Python] 티켓팅 자동화 매크로 개발해보기Python 2019.07.01 14:27
처음에 블로그를 개설할 때는, 유익한 IT블로그를 만들겠다는 야심찬 포부가 있었는데, IT 포스트로 유입이 거의 전혀 없다시피 하다보니, 아무래도 잘 하지 않게 됩니다. 물론 유입이 없는 건 제 포스팅 역량 부족 + 개발 역량 부족 때문이지만서도요...ㅎㅎㅎ 무튼 개인적 호기심으로 만들어 보았던 티켓팅 자동화 매크로 코드입니다. 저는 업무외에 혼자서 코딩할때에는 거의 파이썬으로 합니다. 구현 알고리즘 티켓팅 자동화를 구현하기 위해서 3가지 방법을 고려할 수 있습니다. 1. 좌표를 설정하여 자동화 구현 2. 각 엘리멘트를 바로 실행시키는 웹 자동화 형식 3. 서버단에 예매정보 패킷 전송 좌표 설정법은, UI적으로 위치적 변화가 있을 경우 작동하지 않는다는 단점이 있습니다. 웹 자동화 형식은 좌표 변화에는 ..
-
일본 우체국 국내 우편 이용 방법/봉투/발송후기일본 살이 Tip 2019.07.28 14:27
발송 방법 우체국 발송 : 창구에서 접수하고 요금을 지불합니다. 이 때에는 우표 대신 소인 도장을 찍어 줍니다. 우체통 투입 : 도심의 우체통에 우편물을 투입하는 형식으로 접수할 수 있습니다. 사전에 구입한 우표가 반드시 붙어 있어야하며, 우표는 우체국, 그리고 로손・세븐일레븐・패밀리마트 전국 편의점에서 요금별로 구입이 가능합니다. 우체통에 투입구는 일반 우편물[왼쪽]과 특급 우편물[오른쪽]으로 나누어집니다. 이 포스트에서 다루는 편지 형 일반우편물의 경우, 우체통의 [왼쪽]에 투입하게 됩니다. 우편 요금 (일반) 정형 우편물 (定形郵便物) 규격: 세로 14 ~ 23.5cm, 가로 9 ~ 12cm, 두께 1cm 이내 무게 가격 25g 이내 82 엔 50g 이내 92 엔 * 일반 봉투에 편지지 3~4장를 ..
-
[Java Stream] GroupingBy 를 이용한 그룹화 예시 소개JAVA 2021.02.15 08:55
Introduction Java 8에서 처음 도입된 스트림은 데이터 집합을 처리할 수 있는 반복자 역할을 수행한다. 스트림의 연산은 filter, map과 같이 중간 연산자와, collect와 같은 최종 연산자로 구분된다. 이 포스팅에서는 최종 연산자 collect 의 Collector 인터페이스를 구현하여 그룹화하는 다양한 방법에 대해 다룬다. 그룹화 Stream GroupingBy 를 이용하면 데이터 집합을 하나 이상의 특성으로 분류, 그룹화하는 연산을 쉽게 수행할 수 있다. 아래와 같은 데이터 셋을 가지고 그룹화를 연습해보자. 나라 도시 거주자 이름 한국 서울 홍길동 한국 서울 임영웅 한국 부산 김태희 중국 베이징 왕서방 미국 보스턴 미셸 미국 엘에이 마이클 미국 엘에이 케이트 이 데이터를 담을 클..
-
Python segmentation fault 해결방법Python 2022.09.24 13:51
Python sementation fault는 다양한 상황에서 발생할 수 있다. 1. 코드 상의 문제 (도달할 수 없는 메모리에 액세스 하는 코드를 작성했을 때) 2. 호환되지 않는 패키지 간의 충돌 나의 경우는 2였다. 원래 문제가 없던 코드였는데 특정 라이브러리 (time-decorator)를 install 한 이후부터 갑자기 Segmentation fault 에러가 발생했기 때문에, 코드에서 발생하는 문제는 아니라고 생각되었다. time-decorator에서 참조하는 라이브러리와, 내 프로젝트 안에서 사용하는 특정 라이브러리가 충돌하는 것일 것 같았다. 그 특정 라이브러리가 무엇인지는, 에러메시지를 보고 알 수 있었다. Segmenataion fault 를 던지는 참조 코드를 따라가다 보니, goo..
-
[일본 완전 귀국] 일본생활 정리 매뉴얼일본 살이 Tip 2020.01.08 19:06
목차 1. 집 렌트 계약 해지 2. 인터넷 해약 신청 3. 가구 처분 (중고 판매 & 메루카리) 4. 쓰레기 처리 5. 핸드폰 해약 신청 6. 신용카드 정리 & 해약 신청 7. 귀국 비행기 예약 8. 은행/증권 계좌 정리 9. 전기/가스/수도 공공요금 해지 신청 10. 한국으로 짐 보내기, 우체국 픽업 신청 11. 주민세 일괄 납부 처리 12. 납세 대리인 신청 13. 전출 신고 14. 경력증명 서류 발급 15. 우편물 부재지 배달 신청 16. 정기권 환불 17. 연금 탈퇴 일시금 환급의 우편 접수 18. 재류카드 무효화 1. 집 렌트 계약 해지 계약 해지 통보 무엇보다 가장 먼저 해야 할 일은 살고 있는 집에 대한 계약 해지 통보이다. 집 계약할 때 받았던 계약서 사본을 확인하면, 계약 해지 시에 통보..