クラウド,

２０１８年１１月合格！ＡＷＳ認定ＳＡＡに向けた勉強⑬分析系サービスについて

クラウドを利用したシステムの設計構築がすっかり当たり前になってきて、ユーザ側でもある程度専門的な知識をつけてきている方が増えてきました。

フルスタックテクノロジーコンサルタントとしては、ユーザ側と同レベルの知識だけでは、クライアントにより良い提案をしていくことはできないので、クライアントよりも新しくかつ深い知識を習得することは、必要不可欠です。

ここでは、その知識を証明できるよう、代表的な資格である、AWS 認定 Solutions ArchitectのAssociate levelの取得に向け、私が勉強した内容を公開していきます！

ＡＷＳのサービスは百数十を数え、いったい何をどこから手を付けていいかわかりづらいと思いますので、カテゴリごとに体系的に情報を整理したので、是非情報整理の参考にしていただければと思います。なお、ここで書いてあることのみを丸暗記することで試験合格を保証するものではありません。また、ＡＷＳのブラックベルトやホワイトペーパーなどの資料もきちんと確認もしてくださいね。

⑬Analytics関連

分析系のサービスについてです。

目次

1. Amazon Kinesisについて
2. AWS Data Pipelineについて
3. Amazon Elasticsearch Serviceについて
4. Amazon EMRについて

これが、私のまとめ資料です。（誤字脱字誤謬ご容赦ください）

1. Amazon Kinesisについて

数十万規模のソースから秒あたり数ギガバイトものデータを継続的にキャプチャできる、スケーラブルで耐久性に優れたリアルタイムデータストリーミングサービス

• Amazon Kinesis Video Streams…ストリーミング動画のキャプチャ、処理、保存用サービス。接続されたデバイスから AWS へ動画を簡単かつ安全にストリーミングできる。
• Amazon Kinesis Data Streams…データストリームのキャプチャ、処理、保存サービス。データを継続的にキャプチャできる。
• Amazon Kinesis Data Firehose…データストリームをロードするサービス。ストリームデータをS3やRedshiftへ配信できる。
• Amazon Kinesis Data Analytics…SQL や Java でデータストリームを分析できる

2.AWS Data Pipelineについて

データの移動や変換を簡単に自動化する（いわゆるＥＴＬ機能の）サービス

• Collect …S3やKinesisやDynamoDBへデータ収集＆ストア：
• Process…Lambdaなどで、イベント実行
• Analyze…EMRやRedshiftによりデータ分析実施

3.Amazon Elasticsearch Serviceについて

Full text search：全文検索サービス（複数文書にまたがって、文書に含まれる全文を対象とした検索できる。）。

ElasticsearchはデータをShardという単位でデータを保持します。このShardを複数のノードに分散して保持することで、分散処理により高負荷な環境でもスケールする。

RESTfulに則ったAPIで操作が可能です。INPUT/OUTPUTはJSON形式。

4.Amazon EMRについて

Hadoop フレームワークにて、大量のデータを迅速、容易に、かつコスト効果よく分析処理するためのウェブサービス。

• マスターノード: クラスターを管理するノード。マスターノードは、タスクのステータスを追跡し、クラスターの状態を監視します。すべてのクラスターにはマスターノードがあり、マスターノードのみで 1 つのノードクラスターを作成することができます。
• コアノード: タスクを実行し、クラスター上の Hadoop Distributed File System (HDFS) にデータを保存するソフトウェアコンポーネントを持つノードです。マルチノードクラスターには、少なくとも 1 つのコアノードがあります。
• タスクノード: タスクを実行するのみで、HDFS にデータを保存しないソフトウェアコンポーネントを持つノードです。タスクノードはオプションです。

繰り返しになりますが、ここで書いてあることのみを丸暗記することで試験合格を保証するものではありません。また、ＡＷＳのブラックベルトやホワイトペーパーなどの資料もきちんと確認もしてくださいね。