Cloud

AWS EKS 비용 절감 방안 (인스턴스 비용 절감)

개요 EKS를 사용하다 보면 노드의 타입과 개수가 늘어나면서 인스턴스에 대한 비용이 많이 늘어나게 된다. 이때 비용절감을 할 수 있는 방법은 크게 두 가지가 있다. 첫 번째는 모니터링을 통해 리소스(Limit, Request)를 알맞게 조정하는 것이다. 두 번째는 인스턴스를 On-Demand만 사용하지 않고 RI 또는 Spot을 같이 사용하는 것이다. 1. 리소스(Limit, Request) 조정 Kubernetes를 사용하면서 Pod 리소스가 무한정으로 커지지 않고 리소스 용량 관리를 하기 위해서는 리소스(Limit, Request) 설정을 해야 한다. 또한 CA, HPA에서 확장/축소시킬 기준값이 되기 때문에 운영환경에서 리소스 설정은 필수이다. 설정팁은 Request를 무조건 작게 설정하면 조금만 ..

[GCP] GKE 클러스터 생성 및 기능 정리

개요 GCP GKE를 생성해 보고 AWS EKS와 비교해 보겠습니다. Standard로 생성합니다. 클러스터 기본사항 위치 유형 영역: 컨트롤 플레인이 해당 한 개의 영역에만 설치된다. 리전: 컨트롤 플레인이 해당 리전에 여러 개의 영역에 설치된다. 제어 영역 버전 (마스터 버전) 출시 채널(Release channel): 새 버전이 나올 때마다 GKE 자동 업그레이드 된다. 각 채널 별로 업그레이드 버전 출시 속도가 다르므로 각 채널 특징을 확인하여 원하는 채널을 선택한다. https://cloud.google.com/kubernetes-engine/docs/concepts/release-channels 정적 버전(Static channel): GKE 자동 업그레이드를 사용하지 않는다. 수동으로 업그레..

[GCP] VPC Network 통신 테스트 및 정리

개요 약 2년 동안 AWS만 사용했는데 이번에 저희 팀에서 GCP를 사용해 보기로 했습니다. GCP Network를 대충 보니 AWS와 많이 다른 거 같았습니다. 비교해 보면서 정리해 보겠습니다. 공부하면서 적는것이라 틀린 부분이 있을 수 있습니다. 틀린 부분은 댓글로 알려주시면 감사하겠습니다. VPC Network 범위는 Project > VPC > Region > Subnet 입니다. (AWS의 범위는 Region > Zone > VPC > Subnet ) GCP VPC는 Global이기 때문에 VPC 내부에 Region이 있습니다. 같은 VPC에 위치한 서로 다른 리전끼리 VPC Routing을 통해 프라이빗 IP로 서로 통신이 가능합니다. 위의 내용을 테스트해보겠습니다. Firewall에서 ssh..

[AWS] EC2에 EBS 추가하는 방법

EBS 개념 EC2 인스턴스에 사용할 수 있는 블록 수준 스토리지 볼륨을 제공합니다. EBS 볼륨은 형식이 지정되지 않은 원시 블록 디바이스처럼 동작합니다. 이러한 볼륨을 인스턴스에 디바이스로 마운트 할 수 있습니다. 인스턴스에 연결된 EBS 볼륨은 스토리지 볼륨으로 표시되며, 인스턴스 수명에 관계없이 지속됩니다. 즉, 인스턴스가 종료되어도 보관할 수 있습니다. 서버의 스토리지 개념입니다. 주의할 점: 루트볼륨의 용량은 신중하게 생성해야 합니다. 한번 생성하고 나면 용량을 늘릴 수는 있지만 줄이는 것은 불가능합니다. EC2에 EBS 추가하는 방법 1. EC2 > EBS > 볼륨 생성 원하는 용량의 볼륨을 생성합니다 2. EBS Attach 생성한 볼륨이 사용 가능 상태가 되면 해당 볼륨을 선택하고 작업 ..

[AWS] Application Migration Service(MGN) 고찰 + CloudEndure 차이점

1. Edit Replication Settings Template CloudEndure의 REPLICATION SETTING과 동일 Source Server 와 동기화를 하면서 스냅샷을 찍어낼 Replication Server Template을 작성해야 합니다 동기화 부분이 가장 시간이 많이 걸리므로 인스턴스 타입을 높게 하는 것이 정신건강에 좋습니다 ㅎㅎ CloudEndure와 달리 Converter 서버 인스턴스 타입을 설정하지 않아서 auto로 정해집니다. Replication Server 보안그룹 인바운드 규칙에 TCP 443, 1500번을 열어줘야 합니다(Source Server도 마찬가지) https://docs.aws.amazon.com/mgn/latest/ug/Network-Require..

[AWS] RDS S3에서 복원 기능 버전 문제

MySQL DB를 마이그레이션 하다가 생긴 어이없는 일 때문에 글을 씁니다 2021년 10월 1일 기준으로 MySQL 최신 버전은 8.0.26입니다 하지만 RDS S3복원을 하려고 했을 때 소스 버전은 8.0대 기준으로 8.0.23 버전 밖에 없었습니다 소스가 그 외의 버전이라면 호환 불가 에러가 뜹니다 5.6.51, 5.7.33, 8.0.23 버전이 아니라면 S3복원이 불가능합니다 S3 복원을 하고 싶다면 8.0.23 버전을 사용해야겠군요.... 인간적으로 사용 가능한 버전이 너무 적네요 열심히 일해라 아마존..!! https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/UserGuide/ MySQL.Procedural.Importing.html#MySQL.Proce..

[AWS] Windows CloudWatch Agent 설치 방법

CloudWatch는 애플리케이션을 모니터링할 수 있도록 해주는 서비스입니다 하지만 memory, disk를 수집하기 위해선 Agent를 설치해줘야 합니다 오늘은 Windows에서 CloudWatchAgent를 설치하는 방법을 포스팅해보겠습니다 역할 만들기 일반 사용 사례에서 EC2를 선택하고, 정책으로 CloudWatchAgentServerPolicy를 넣어서 역할을 만들어야 합니다 만든 역할은 인스턴스에 설정해 주세요(작업 > 보안 > IAM 역할 수정) Windows CloudWatchAgent 설치 1. 제일 먼저 windows 인스턴스에 접속 후 aws configure 설정해주세요 2. 파워쉘에서 CloudWatchAgent 설치 파일 다운로드해주세요 Invoke-WebRequest https..

[AWS] ALB와 NLB 사용 결정

ALB(Application LoadBalancer) L7 계층, 즉 애플리케이션 계층에서 동작하는 로드밸런서입니다 프로토콜: HTTP, HTTPS sticky session 설정이 가능합니다 path-based(경로 기반) 라우팅 지원: 마이크로서비스 구조에서 path별로 각 마이크로서비스로 라우팅이 필요한 api gw는 alb를 사용합니다 sticky session 이란? http cookie 방식을 사용하여 트래픽을 분산합니다 예를 들면, 웹사이트에 로그인을 하면서 session을 서버에서 생성했는데, 또다시 서버에 접속할 때 로드반란서가 다른 쪽으로 서버로 라우팅 시키면 세션이 공유되지 않아 새로 로그인 요청을 하게 됩니다 (무한 로그인 지옥에 빠질 수 있음) sticky session 설정을 하..

[AWS] SSM Parameter Store Version 관련 삽질

명령, API 호출 및 SSM 문서에서 특정 파라미터 버전을 참조하는 방법 ssm:parameter-name:version-number Parameter Store에서 Edit을 하면 버전이 자동으로 증가됩니다 PS C:\Users\Administrator> & "C:\Program Files\Amazon\AmazonCloudWatchAgent\amazon-cloudwatch-agent-ctl.ps1" -a fetch-config -m ec2 -s -c ssm:cloudwatch-Windows 버전을 안 쓰면 최신 버전이 지정됩니다 PS C:\Users\Administrator> & "C:\Program Files\Amazon\AmazonCloudWatchAgent\amazon-cloudwatch-age..

[AWS] DMS - Source MySQL 데이터베이스 설정

DMS란? Data Migration Service 관계형 데이터베이스, 데이터 웨어하우스, NoSQL 데이터베이스 및 기타 유형의 데이터 저장소를 쉽게 마이그레이션할 수 있는 클라우드 서비스입니다. DMS 구성도 소스를 타겟으로 바로 마이그레이션 하는 것이 아니라 복제 인스턴스를 통해 마이그레이션을 합니다 Linux2 인스턴스 Mariadb을 install하고 스키마와 테이블을 생성합니다 보안그룹 포트 3306을 열어줍니다(Source EndPoint에 설정한 포트) 1 2 3 4 5 6 7 8 $ yum install mariadb-server $ service mariadb start $ systemctl enable mariadb.service $ mysqladmin -u root -p passw..