전체보기
-
[Kubernetes] CrashLoopBackOff 이슈 트러블슈팅 (+Nginx)[IT] 공부하는 개발자/Open Source 2023. 4. 15. 12:23
[Kubernetes] CrashLoopBackOff 이슈 트러블슈팅 직접 도커파일을 작성하고 쿠버네티스로 배포하다 보면 CrashLoopBackOff 에러를 자주 만나게 된다. CrashLoopBackOff는 컨테이너가 시작되지 않고 종료되어 버릴 때 발생하기 때문에, 컨테이너에 직접 들어가서 명령어를 실행하거나 테스트를 하는 것이 불가능하다. (kubectl exec... 실행 안 돼요!) 그러므로 kubectl logs 명령어를 실행해서 컨테이너가 종료되기 직전의 로그를 확인해야 한다. kubectl logs 해결 사례 내가 찾아낸 이슈는 2가지였다. 1. 내가 이미지 Dockerfile에 작성한 app 실행 명령이 수행되지 않고 컨테이너가 종료되었다. - 발생 원인 Dockerfile 에 작성된 ..
-
스파크 - 성능 최적화하기, 리팩토링 practice[IT] 공부하는 개발자/Data engineering 2023. 2. 26. 19:52
스파크 분산 데이터 컬렉션 스파크에서 발생할 수 있는 성능 저하 이슈, 성능 개선 방법에 대해 정리해 보았다. 데이터 콜렉션의 비교 DataFrame과 Dataset 스파크는 데이터를 쪼개서 여러 개의 Executor nodes에 분산저장한다. 이것이 가능하려면 데이터는 분산 데이터 콜렉션에 저장되어 있어야 하는데, 스파크에서 사용되는 분산 콜렉션 API는 다음 세 가지이다. - DataFrame - Dataset - SQL 테이블, 뷰 유형 DataFrame Dataset 데이터 타입 검증 시기 런타임에서 확인 컴파일 타임에 확인 지원 모두 지원 JVM 기반의 언어인 스칼라, 자바에서만 지원 Row 접근 Row 타입을 직렬화된 바이너리 구조로 변환 스파크의 최적화된 내부 포맷: 일반적으로 가장 빠름 R..
-
스파크는 무엇이고 왜 쓰는지? 스파크에 대해 알아보기[IT] 공부하는 개발자/Data engineering 2023. 2. 26. 19:01
스파크는 무엇인가요? 기존의 애플리케이션들은 단일 프로세서에서만 실행되도록 설계되었다. 문제는 시대가 바뀌면서 데이터의 양은 기하급수적으로 늘어났지만, 물리적인 방열 한계 때문에 하드웨어의 성능 향상은 멈췄다는 것이다. 그래서 개발자들은 단일 프로세서의 성능을 향상하는 방법 대신 CPU 코어를 병렬로 더 많이 추가하는 방법을 선택했다. 지금도 데이터는 나날이 거대해져 가고 있고, 마침내 컴퓨터 한 대로는 도저히 처리할 수 없을만큼 거대해졌다. 스파크는 이 문제를 해결하기 위해 등장한 데이터 병렬 처리 오픈 소스 라이브러리 엔진이다. 스파크를 사용하면 클러스터 환경에서 데이터를 병렬로 처리할 수 있다. 단일 노트북 환경에서 실행할 수도 있지만, 수천 대의 서버로 구성된 엄청난 규모의 클러스터에서 실행할 수..
-
신세대 성장 동력인 로봇 산업 - 추천 ETF, 비교SEN/재테크 2023. 2. 18. 15:56
미국에 상장된 로봇 ETF (거래량이 높을 수록 위에) Global X Robotics & Artificial Intelligence ETF (BOTZ) ROBO Global Robotics and Automation Index ETF (ROBO) iShares Robotics and Artificial Intelligence ETF (IRBO) First Trust Nasdaq Artificial Intelligence and Robotics ETF (ROBT) ARK Autonomous Technology & Robotics ETF (ARKQ) ETF 별 특징? ETF Description Stocks (As of 2022.Nov) BOTZ 로봇과 인공지능 기술에 동시 집중 BOTZ 펀드는 대체로 로..
-
연 10% 수익률을 목표로 할 때 투자SEN/재테크 2023. 2. 18. 15:15
연 10% 수익률을 목표로 할 때 투자 수익률을 안정적으로 얻으려면 위험자산인 주식을 편입하는 것이 필수적이다. 단기 변동성은 크지만 기다리면 안정적인 연 10% 수익률을 제공한다. (이 포스팅은 김학주의 40배 투자클럽 책의 요약입니다.) 1. 주가 지수에 장기 투자하기 한국의 KOSPI200, 미국 NASDAQ, S&P500, 인도 NIFTY50 같은 주가 지수에 장기 투자하는 방법이다. 장기 투자 시 거의 확실하게 10% 수익률을 보장한다. - 비싸게 사지 말기 비싸게 샀다가 물리면 연 10% 수익률에 도달하기까지 너무 오래 기다려야 한다. 비싸게 산다는 것의 기준은 PER이다. 주가지수의 PER이 정상 수준보다 낮아졌을 때 주가지수를 사면 연 10%의 투자수익률을 빨리 올릴 수 있다. - 주가지수..
-
연 5% 수익률을 목표로 할 때 투자법 #2 옵션 상품SEN/재테크 2023. 2. 18. 13:33
이전 포스팅 2023.02.18 - [SEN/재테크] - 연 5% 수익률을 목표로 할 때 투자법 #1 고금리 채권 연 5% 수익률을 목표로 할 때 투자법 #1 고금리 채권 돈을 잃지 않을 만큼의 위험을 선택하면서 안정적인 연 5% 수익률을 목표로 한다면? 답은 채권 그중에서도 고금리 채권 1. 전환 사채 - CB 일반 채권에, 만기 이전에 발행기업 주식으로 교환할 수 gem1n1.tistory.com 연 5% 수익률을 목표로 할 때 투자법 #2 옵션 상품 7. 주식 연계증권 ELS 주식가격과 연계된 옵션을 팔아서, 그 프리미엄(수익)을 수익률에 더해서 주는 상품이다. ELS는 증권사에서 설계해서 판매하는 상품이다. 예상치 못하게 주가가 폭락하면 고객들이 큰 손해를 볼 수도 있는 상품이기 때문에 증권사의 ..
-
연 5% 수익률을 목표로 할 때 투자법 #1 고금리 채권SEN/재테크 2023. 2. 18. 09:41
돈을 잃지 않을 만큼의 위험을 선택하면서 안정적인 연 5% 수익률을 목표로 한다면? 답은 채권 그중에서도 고금리 채권 1. 전환 사채 - CB 일반 채권에, 만기 이전에 발행기업 주식으로 교환할 수 있는 권리가 붙어있는 채권. 지금 주가보다 주가가 올라갔을 때 행사할 수 있는 권리 전환가격 10000원짜리 CB는 주식이 12000원일 때 행사하면 20% 수익률! 근데 채권만기까지 전환을 안 했다면? 전환을 안 해도 원금과 이자는 지급 2. 신주 인수권부 사채 - BW 위의 CB 와 비슷하지만, 채권이 사라지는지 남는지 여부가 다르다. BW는 주식 매수권리와 채권이 별도..! CB는 채권을 주식으로 교환하는 권리를 주는 거라서 주식을 교환하고 나면 채권도 사라지지만, BW는 내 돈을 내고 추가로 주식을 살..
-
[잠실 파인다이닝] 우마담호수여행 공항 쇼핑 맛집 2023. 2. 11. 16:26
잠실 석촌호수 우마담호수 우마담 시그니처 1인 8만원 10만원 소규모 예약제. 한 타임에 10명 정도 착석할 수 있는 작은 홀. 예약시간에 맞춰 들어가서 착석하면, 오늘 먹을 고기를 보여주신다. 요게 2인분. 어.. 적은데?라고 생각했지만 다 먹고 나서 엄청 배불렀던ㅎㅎ 안심 부채살 안심추리 채끝등심 업진살 소고기 구성이다. 애피타이저인 한우 육회로 시작~ 한 점씩 건져서 천천히 음미하며 먹었다. 애피타이저지만 정말 손꼽게 맛있었던 플레이트 중 하나 육회에 참기름 대신 트러플 오일이라니... 셰프님 맛잘알 인정! 그리고 나온 계란찜~ 푸딩같이 미끄덩한 질감이었다. 나는 일본식 계란찜을 좋아하지 않아서 약간 긴장하면서 한 스푼 떴는데 ㅜㅠㅠㅜ 달지는 않아서 안심하고 먹었다. 그리고 세팅된 첫 번째 고기는 ..