Amazon Kinesis Data Streams

1. Amazon Kinesis Data Streams 란?

Amazon Kinesis Data Streams (KDS)는 고도로 확장 가능하고 내구성 있는 실시간 데이터 스트리밍 서비스이다.

KDS는 웹 사이트 클릭스트림, 데이터베이스 이벤트 스트림, 금융 트랜잭션, 소셜 미디어 피드, IT 로그 및 위치 추적 이벤트와 같은 수십만 개의 소스에서 초당 기가바이트 규모의 데이터를 지속적으로 캡처할 수 있다. 수집된 데이터는 실시간 대시보드, 실시간 이상 항목 탐지, 동적 요금 등과 같은 실시간 분석 사용 사례를 지원할 수 있도록 수 밀리초 만에 제공한다.

 

2. 장점

실시간 성능

데이터가 수집된지 70밀리초 이내에 스트리밍 데이터를 여러 실시간 분석 애플리케이션, Amazon S3 또는 AWS Lambda에 제공할 수 있다.

 

사용 편의성

AWS SDK, Kinesis Client Library(KCL), 커넥터 및 에이전트를 사용하여 스트리밍 애플리케이션을 신속하게 구축할 수 있다. AWS Lambda, Amazon Kinesis Data Analytics 및 Amazon Kinesis Data Firehose와 기본적으로 통합되므로 데이터를 손쉽게 처리할 수 있다.

 

내구성

데이터 손실 가능성을 줄인다. AWS 리전의 가용 영역 3개에 걸쳐 스트리밍 데이터를 동기식으로 복제하고 최대 7일간 해당 데이터를 저장함으로써 데이터 손실을 방지하는 여러 보호 계층을 제공할 수 있다.

 

탄력성

애플리케이션을 동적으로 확장할 수 있다. Kinesis Data Streams는 시간당 메가바이트에서 테라바이트 규모로 확장하며 초당 수천 개의 PUT 레코드에서 수백만 개로 확장한다. 언제든지 입력 데이터의 볼륨에 따라 스트림의 처리량을 동적으로 조정할 수 있다.

 

보안

KDS 내 민감한 데이터를 암호화하고 Amazon VPC를 통해 데이터에 비공개로 액세스하여 규제 및 규정 준수 요구 사항을 충족할 수 있다. 저장 데이터는 서버측 암호화와 AWS KMS 마스터 키를 사용하여 보호할 수 있다.

 

저렴한 비용

Kinesis Data Streams에는 선수금이 없으며 사용한 리소스에 대해서만 비용을 지불하면 된다. 시간당 0.015 USD라는 저렴한 비용으로 1MB/초의 수집 용량과 2MB/초의 송신 용량을 갖춘 Kinesis Data Streams를 확보할 수 있다.

 

 

Amazon Kinesis Data Streams 작동 방식

 

 

3. 사용 사례

로그 및 이벤트 데이터 수집

Kinesis Data Streams를 사용하여 서버, 데스크톱 및 모바일 디바이스와 같은 소스에서 로그와 이벤트 데이터를 수집할 수 있다.

그런 다음 지속적으로 데이터를 처리하고, 지표를 생성하고, 실시간 대시보드를 구동하고, Amazon S3와 같은 스토어로 집계 데이터를 내보내도록 Kinesis 애플리케이션을 구축할 수 있다.

 

실시간 분석

Kinesis 애플리케이션을 사용해 Kinesis Data Streams에서 수집한 센서 데이터 등 발생 빈도가 높은 이벤트 데이터에 대한 실시간 분석을 실행함으로써, 몇 시간 또는 며칠이 아닌 몇 분 단위로 데이터에서 통찰력을 얻을 수 있다.

 

모바일 데이터 캡처

모바일 애플리케이션을 사용해 수십만 개의 디바이스에서 Kinesis Data Streams로 데이터를 푸시함으로써, 모바일 디바이스에서 데이터가 생성되는 즉시 이를 사용할 수 있다.

 

게임 데이터 피드

Kinesis Data Streams를 사용하여 지속적으로 플레이어와 게임 간 상호 작용에 대한 데이터를 수집하고 게임 플랫폼으로 데이터를 피드할 수 있다. Kinesis Data Streams를 사용하면 플레이어의 동작 및 행동에 따라 흥미롭고 역동적인 경험을 제공하는 게임을 설계할 수 있다.

 

4. 정리

Amazon KDS는 실시간 데이터 스트리밍 처리에 매우 효과적인 서비스라고 생각이 든다. 예를 들면, 선착순 100명 이벤트라던지, 은행업무, 결제서비스 등... 많은 분야에서 쌓인 로그 데이터를 푸쉬하게 되면 사용자 유입수를 분석 및 통계 내림으로써 서비스의 성능 향상에 매우 도움 되리라 생각 한다.

또한, 나한테 가장 메리트가 있었던 장점은 모바일에서 생성된 로그 또한 데이터를 푸쉬할 수 있다는 점이 였던거 같다.