AWS 온라인 컨퍼런스 정리1

[ 알아두면 쓸모있는 EC2 이야기 ]

Amazon EC2 기본 개념

Amazon Elastic Compute Cloud(EC2)

Linux | Windows | MAC

Arm | x86 | AMD 아키텍쳐

범용 및 특정 워크로드 용

베어메탈, 디스크, 네트워크 성능

Packaged | Custom | Community AMIs

여러가지 구매 옵션 : 온디맨드, 세이빙플랜, 스팟 인스턴스

 

Amazon EC2 Mac instances (Apple 개발자를 위한 인스턴스 환경 제공)

 - Desktop 구입 또는 별도 계약없이 Mac 환경을 제공

 - 인프라 대신 코드에 집중

 - DevOps 파이프 라인 통합

 - 더 높은 민첩성, 탄력성 및 보안

 - AWS services와 연동 (e.g, EBS, VPC, SSM, IAM, CloudWatch)

 - EC2인스턴스의 선택한 한번의 최적의 인스턴스를 선택하는게 아니라 모니터링을 통하여 최적화하며 찾아야함

 

AWS License Manager (온프레미스 및 클라우드를 위한 간소화된 라이센스 관리)

 - 소프트웨어 공급 업체의 라이선스를 보다 쉽게 관리

 - 라이선스 규칙 정의, 사용량 검색, 접근 관리

 - AWS 및 온-프레미스에 대해 단일 라이선스 관리

 - 비 준수 소프트웨어 발견 및 오용 방지

 - AWS Systems Managers 및 AWS Organizations와 완벽한 통합

 - 모든 고객을 위한 무료 서비스

 

AWS Gravition Processor (Amazon EC2 최고의 가격 대비 성능 제공)

AWS Gravition 프로세서는 Amazon EC2에서 실행하는 클라우드 워크로드에 최고의 가성비를 제공하기 위해 64비트 Arm Neoverse 코어를 사용하여 Amazon Web Services에서 맞춤형으로 구축한 제품입니다.

 - AWS Linux2 | RHEL 8.2+ | SUSE | ubuntu

 - Cloud-native workload에 대한 최적화

 - Rapidly innovae, build, and iterate on behalf of customers

 - M6g, T4g, C6g, R6g, X2gd instance

 

AWS Gravition3 (Gravition2 대비 25% 더 높은 성능 향상)

 - Cryptographic 및 Scientific 워크로드에 2x 성능 향상

 - ML 워크로드에서 3x 성능 향상

 - 최대 60% 에너지 사용 절감

 - Preview: Amazon C7g, G5g instance

 

Amazon EC2@2021 (광범위하고 세분화된 컴퓨팅 자원 선택)

분류	CAPABILITIES	OPTIONS	450+ 인스턴스 타입
범용 M	프로세서 (Intel, AMD a, AWS g)	Amazon EBS Amazon Elastic Inference Elastic Fabric Adapter	for virtually every workload and business nedd
버스팅용 T	프로세서 속도 (up to 4.5 GHz)
컴퓨팅 C	메모리 확장 x (up to 24 TiB)
메모리 R	스토리지 확장 d (HDD and SSD)
고 I/O 스토리지 I	네트워킹 n (up to 400 Gbps)
고밀도 스토리지 D	베어메탈 m
범용 GPU P	다양한 사이즈 s/m/l/xl (Nano to 32xlarge)
그래픽 G
성능 가속 F

 

Amazon EC2 수명 주기

실행중(Running)

 - 인스턴스 동작 중 상태

 - 과금 발생

 - 정지/종료/리붓 명령으로 상태 전이 가능

 

정지됨(Stopped)

 - 중지된 상태

 - EBS 볼륨을 루트로 사용하는 인스턴스만 가능

 - 과금 안 됨

 - 시작/종료 명령으로 상태 전이 가능

 - 탄력적 IP 주소 유지

 

종료된(Terminated)

 - 인스턴스가 완전히 제거된 상태

 - 시작이나 정지 불가능

 - 과금 안됨

 

 

나의 워크로드에 적합한 EC2 인스턴스 선택하기

 

Instance type selection is a process, but don't overthink it.

 

Amazon EC2 인스턴스 표기법

ex) M5d.xlarge

 - 인스턴스 유형: M6d.xlarge

 - 인스턴스 패밀리 : M

 - 인스턴스 세대: 6

 - 추가 기능: d

 - 인스턴스 크기 : xlarge

 

Amazon EC2 인스턴스 추가 기능 표시

프로세서	스토리지 및 네트워크	성능
g AWS Gravition 프로세서	d 빠른 로컬 NVMe 스토리지	e Enhanced performance
a AMD EPYC 프로세서	n 최대 100 Gbps 네트워크 성능
i Intel Xeon 프로세서
인스턴스는 하나 이상의 추가 기능을 가질 수 있습니다.

ex) P3dn : 인스턴스 스토어가 NVMe SSD로 되어있고 네트워크 Bandwidth가 100Gbps인 인스턴스

 

Amazon EC2 범용 인스턴스

M6g 인스턴스	4:1의 메모리:vCPU 비율로 균형있는 컴퓨터, 메모리, 네트워크 지원 최신의 프로세서(M6g, M6l, M6a) 지원
T4g 인스턴스	지속적인 성능이 필요하지 않은 워크로드에 대한 버스트(Burst) 성능을 제공 T4g, T3, T3a, T2 제공
A1 인스턴스	적정한 메모리에 여러 코어로 확장하고 ARM 명령어를 실행할 수 있는 워크로드

Amazon EC2 메모리 집약적 인스턴스 (인메모리 캐쉬, 고성능 데이터베이스, 빅데이터 분석 워크로드)

R6g 인스턴스	메모리에서 큰 데이터 세트를 처리하기 위한 워크로드 최신의 프로세서(R6g, R6l, R5, R5a0 지원
X2 인스턴스	16:1 및 32:1의 메모리:vCPU 비율로 인메모리 워크로드 다양한 추가 기능을 제공
대용량 메모리 인스턴스	6~24TB의 대용량 인메모리 워크로드 SAP HANA 실행 인증 베어 메탈 또는 가상 메모리 기반 선택 구성

Amazon EC2 컴퓨팅과 가속화 인스턴스 (분산 컴퓨터, HPC, 멀티플레이어 게임, 비디오 인코딩, AI/ML, 3D 모델링 및 렌더링, 가상 그래픽, 가상현실/증강현실)

C6g 인스턴스	저렴한 가격에 vCPU당 높은 성능 제공 2:1 메모리:vCPU 비율 최신 Gravition3 프로세서 장착의 C7g 출시
P4 인스턴스	딥러닝 학습, HPC 시뮬레이션, 재무 컴퓨팅 및 배치 렌더링을 포함한 워크로드를 위한 GPU 컴퓨팅 인스턴스 NVIDIA A100 Tensor Core GPU
G5 인스턴스	3D 렌더링, 비디오 인코딩 및 AR/VR과 같은 워크로드를 위해 설계된 GPU 그래픽 인스턴스 AMD EPYC Processors, NVIDIA A10G Tensor Core GPU

Amazon EC2 스토리지 집약적 인스턴스 (높은 IO 트랜젝션, 빅데이터, 데이터웨어하우스, HDFS, MAPERDUCE, 로그분석)

I3 인스턴스	트랜젝션이 많은 워크로드, 대기 시간이 짧은 워크로드에 최적화된 인스턴스 Gravition2 기반의 Im4gn, Is4gen 타입 제공
D3 인스턴스	스토리지당 최저 비용 높은 순차적 디스크 처리량 지원 (580MiB/s ~ 4,600MiB/s)

 

 

EC2 인스턴스 타입에 대한 지속적인 최적화

EC2 인스턴스 최적화

 - 비용 효율적으로 EC2 자원을 사용하고 있는가

 - 사용하고 있는 EC2 자원이 워크로드 요구사항에 적합한가

 

AWS Compute Optimizer (비용절감 및 워크로드 성능 향상을 위한 AWS 리소스 권장)

AWS Compute Optimizer는 자원의 사용률 기록 지표에 대한 기계 학습을 통하여 현재 워크로드에 대한 최적의 AWS 리소스(EC2, EBS & Lambda)를 권장합니다.

 

 - AWS 리소스 구성 데이터와 Cloudwatch 지표 기반

 - 최적의 AWS 리소스를 권장하는 머신러닝 기반 서비스

 - 최적의 EC2 인스턴스 및 Amazon EC2 Auto Scaling 그룹 구성 권장

 - 권장 인스턴스 유형에 따른 예상 성능 시나리오

 => 권장사항은 Amazon S3로 내보낼 수 있으며 AWS Cost Explorer 및 AWS Systems Manager와 통합됨

 

AWS Compute Optimizer 진행절차

 1. 권장 사항 자동 생성

  - AWS 인프라르 검사하고 권장사항을 생성합니다.

  - 권장사항을 제공하는 데 최대 12시간이 소요될 수 있습니다.

 2. 권장 사항 검토

   - EC2 인스턴스, Auto Scaling 그룹, EBS 볼륨 또는 Lambda함수에 대한 권장 사항을 검토합니다.

 3. 예상 시나리오 확인

   - 권장되는 인스턴스 유형에 대한 3가지 옵션을 확인하고 성능 및 비용을 비교합니다.

 

 

 

스팟 인스턴스를 통한 유연한 확장

Auto Scaling Group (변화하는 수요에 동적으로 대응하고 비용을 최적화)

 - Fleet management

   : 비정상 인스턴스 교체

 

 - Dynamic scaling

   : 수요에 맞게 확장

 

Amazon EC2 Spot Instance (내결함성 및 상태 비 저장 워크로드를 위한 EC2 인스턴스)

 - 사용하지 않는 EC2 용량을 사용 온디맨드와 동일

 - 온디맨드 요금 대비 최대 90% 할인 스팟 가격

 - 다른 인스턴스 타입, 사이즈, 위치를 선택하여 auto scaling group이나 spot fleet와 같이 사용

 - 스팟 인스턴스는 중단될 수 있음. 중단 2분에 경고 알람

 

EC2 Spot 인스턴스는 많은 AWS servic에서 사용될 수 있습니다.

 - Amazon EC2 Auto Scaling

 - EC2 Fleet

 - Amazon ECs

 - Amazon EKS

 - Amazon EMR

 - AWS CloudFormation

 - AWS Batch

 

스팟 배치 점수(: Spot placement score, 스팟 요청의 성공 가능성을 사전에 확인 )

 - 스팟 워크로드를 사용할 수 있는 최적의 위치 추천

 - 스팟 용량, 인스턴스 유형 요구 사랑 등을 기반으로 권장 사항 지정

 - 과거 및 현재의 스팟 사용 추세, 요청 시간 요소를 기반으로 10~1까지의 범위에서 리전 및 가용 영역에 대한 점수 표시

 - 가용 역역 권장 사항에 따라 인스턴스를 요청시, EC2 Fleet이나 Auto scaling 요청에 적용해야 함

 

Auto Scaling Group Multi instance

AutoScalingGroupName: my-asg
CapcityRebalance: true
MixedInstancesPolicy: 
  LaunchTemplate:
    LunchTemplateName: my-launch-template
    version: $Default
  Overrides:
    - InstanceType: c5.large
    - InstanceType: c5a.large
    - InstanceType: m5.large
    - InstanceType: m5a.large
    - InstanceType: c4.large
    - InstanceType: m4.large
    - InstanceType: c3.large
    - InstanceType: m3.large
  InstancesDistribution:
    OnDemandBaseCapacity: 1
    OnDemandPercentageAboveBaseCapacity: 0
    SpotAllocationStrategy: # "capacity-optimized-prioritized", "capacity-optimized", "lowest-price"
MinSize: 1
MaxSize: 5
DesiredCapacity: 3
VPCZoneIdentifier: subnet-5ea0c127, subnet-6194ea3b, subnet-c934b82

CapcityRebalance => Auto Scaling시에 운영 중단이 높은 스팟 인스턴스에 대하여 사전에 재조정 신호를 보내어 애플리케이션의 가용성 향상을 제공함

MixedInstancesPolicy => 여러 인스턴스 유형에 걸쳐 온디맨드와 스팟 인스턴스 조합을 프로비저닝함

 

인스턴스 확장에 대한 전략 => SpotAllocationStrategy에 Capacity-optimized-prioritized 또는 capacity-optimized 설정 시, 사용 가능한 스팟 용량을 기반으로 최적으로 선택된 스팟 풀을 사용하요 auto scaling을 적용함

 

워크로드에 따른 스팟 인스턴스 사용 예

 - 세이빙 플랜 : 장기적으로 일정한 트래픽이 유지되는 워크로드

 - 온디맨드 : Scaling out이나 예측 불가능한 워크로드

 - 스팟 인스턴스 : 유연하고 내결합성을 갖춘 워크로드

 

 

Amazon EC2의 데이터 보호 관리

Amazon EBS

 - 블록 스토리지

 - API를 이용하여 생성, 연결, 수정

 - 워크로드에 따라 스토리지 및 컴퓨팅 선택

 - 하나의 EBS 볼륨은 하나의 인스턴스에만 연결

 - 마그네틱 및 SSD 기반 볼륨 유형 선택

 - 스냅 샷 지원 : 특정 시점 백업

 

Amazon EBS 스냅샷 관리

Amazon Data Lifecycle Manager

 - 스냅샷을 통하여 정기적으로 데이터 백업

 - 정기적으로 표준화된 EBS-backed AMI 생성

 - 정책 기반의 스냅샷 보존 및 삭제 자동화

 - 단일/다중 볼륨 스냅샷

 - 계정간 또는 리전간에 스냅샷 공유 및 복제 기능 제공

 - Cloudwatch와 Cloudtrail를 통한 모니터링 및 알람