AWSでS3の利用料を節約するためにやって置いた方がよいこと

AWS

AWSでS3の利用料を節約するためにやって置いた方がよいこと

AWSでファイルや画像などを配置する場所として利用する場所はS3ですが、今回はS3を使用して利用料を節約できる方法をご紹介します。

サービスへの影響を気にすることなく簡単に設定できるの設定しておくことをオススメします。

マルチパートアップロードとは

AWSでS3の利用料を節約するためにやって置いた方がよいこと

簡単に言うと、大きなファイルを送信するときに細かく分割してアップロードすることです。

マルチパートアップロードの概要

細かく分割することで並列してファイルを高速にアップロードしたり、中断した場合は、途中から再開したりといったことができます。

S3へマルチパートアップロードをする方法

AWSでS3の利用料を節約するためにやって置いた方がよいこと

AWS CLIを使ってaws s3 cpコマンドでファイルをアップロードする場合、ファイルサイズに応じて、マルチパートアップロードが自動的に使用されるので、意識しないうちにマルチパートアップロードが使用されています。

AWS CLI を使用して、Amazon S3 にファイルをマルチパートアップロードする方法を教えてください。

aws s3 コマンドはファイルサイズに応じてマルチパートアップロードおよびマルチパートダウンロードを自動的に実行するため、マルチパートアップロードおよびマルチパートダウンロードには、 aws s3 コマンド ( aws s3 cp など) を使用することをお勧めします。

デフォルトでは8MB以上のファイルのアップロードにはマルチパートアップロードが使われ10個同時に送信されます。この設定はカスタマイズ可能ですが普段はそんなに意識しなくても大丈夫だと思います。

AWS CLI S3 Configuration

  • max_concurrent_requests    最大同時リクエスト数。デフォルト10
  • multipart_threshold             ここで設定したファイルサイズを超えたものはマルチパートアップロードになる。デフォルト8MB
  • multipart_chunksize             マルチパートアップロードで分割される1ファイルあたりのサイズ。デフォルト8MB

その他、RubyやJavaなどのSDKを使った場合でも高いレベルAPIではマルチパートアップロードが自動的に使われます。

Multipart Upload API を使用したオブジェクトのアップ

マルチパートアップロードのデメリット

AWSでS3の利用料を節約するためにやって置いた方がよいこと

ユーザーが知らないうちにマルチパートアップロードが使用されていることが多いのですが、まだ完了していない不完全なマルチパートアップロードをデフォルトではS3は永久に削除しません。そのため、長年S3を使っていると、不完全なマルチパートアップロードが溜まっていき、それに対してもS3のストレージ使用料がかかってしまいます。そのため、不完全なマルチパートアップロードには有効期限を設けて、古いものは自動的に削除した方が良いです。

バケットライフサイクルポリシーを使用した完了しないマルチパートアップロードの中止

ベストプラクティスとして、ストレージコストを最小限に抑えるため、ライフサイクルルールを設定することをお勧めします

古いマルチパートアップロードの自動削除の設定手順

AWSでS3の利用料を節約するためにやって置いた方がよいこと

AWSコンソールでS3バケットを選択して、Managementタブを選びAdd Lifecycle ruleをクリックしますます。

AWSでS3の利用料を節約するためにやって置いた方がよいこと

適当にわかりやすいルール名を入れます

AWSでS3の利用料を節約するためにやって置いた方がよいこと

Clean up Incomplete multipart uploadsにチェックします。日数は7日のままで良いと思います。

AWSでS3の利用料を節約するためにやって置いた方がよいこと

Saveボタンを押して完了です。

簡単に設定できて、S3の使用料の節約になるのでぜひやってみてください。

関連記事

  1. AWS

    AWSで大規模障害発生時に被害を最小限にする方法

    先日、AWSで大規模障害が発生し、多くのサービスが影響を受けました。こ…

  2. AWS

    AWSでCloudFrontを使った方が良い理由

    今回はAWSでCloudFrontを使用する際に、設定しておいた方が良…

  3. AWS

    AWSでEC2インスタンスを安全に使うための3つの注意点

    今回はAWSでEC2インスタンスを起動した際に、安全に使うために行った…

  4. PCI DSSの12要件とAWSにおける対応方法

    AWS

    PCI DSSの12要件とAWSにおける対応方法

    今回は、AWSを使ってクレジットカード業界のセキュリティ基準であるPC…

  5. AWS

    AWSでS3を安全に使うための2つのポイント

    今回は、AWSのS3(ストレージサービス)を安全に使うためのポイン…

  6. AWS

    AWSでLinuxサーバ上のログを自動的にS3に保存する方法

    AWSでLinuxサーバ上のApacheのアクセスログやアプリケーショ…

最近の記事

  1. AWSコンソール用の安全なユーザーの作成方法

    AWS

    AWSコンソール用の安全なユーザーの作成方法
  2. AWS

    AWSでS3を安全に使うための2つのポイント
  3. AWS

    AWSを利用してPCI DSS準拠のシステムを構築する3つのメリット
  4. AWS

    AWSでLinuxサーバ上のログを自動的にS3に保存する方法
  5. AWSをセキュリティを高めて安全に使う方法

    AWS

    AWSをセキュリティを高めて安全に使う方法
PAGE TOP