S3

AWS

【AWS】S3からlistObjectsV2で1000件以上のリストを取得する方法!

AWSのSDKを使ってS3からオブジェクトのリストを取得した場合に、「listObjectsV2」を使ってオブジェクトのリストを取得することができるのですが、listObjectsV2を使ってリストを取得したとき、 あれ?全件取得できていない? と、なったことはないでしょうか。 実はlistObjectsV2で取得すると最大1000件までしか取得できないので、バケットの中に1000件以上のオブジェクトは存在すると、1000件以降は対象外とされてしまうのです。 今回はそんなときにlistObjectsV2で1000件以上でも全件取得する方法を書いてみたいと思います。
AWS

【AWS】S3でFTPが使える!AWS Transfer Familyを使ってみる!

S3にSFTPでファイルを転送したかったので調べてみると「AWS Transfer Family」というサービスがあったので早速使ってみました。 かなり簡単にSFTPの環境を構築する事ができたので説明してみたいと思います。 構成としてはSFTPを行うサービスとして「AWS Transfer Family」、FTPユーザーの管理として「AWS Secrets Manager」を使います。 ユーザー認証処理を行うために、間に「Lambda」を使用します。
AWS

【AWS・Java】署名付きURLでS3にファイルをアップロードする方法!

AWSのS3では署名付きURLというものが発行できます。 これはプライベートなバケットやオブジェクトに対して限定的にアクセス可能にすることの出来るURLです。 今回はJavaからAWSのSDKを使って署名付きURLでファイルをアップロードする方法を説明してみます。 S3Presignerを使うためのGradleのバージョンの設定も説明します。
AWS

【AWS】S3で「AccessControlListNotSupported」とエラーが出た場合の対処法!

S3にファイルをアップロードしようとしたときに、とエラーが発生してアップロードに失敗したときの対処方法を説明したいと思います。 このエラー、アップロードするときにACL(AccessControlList)の変更など、ACLに関する設定をしようとしたときに、S3のバケット側でACLの変更が許可されていない場合に発生します。
ALB

【AWS】便利!ALBのアクセスログをS3に出力する方法!

AWSでWEBアプリケーション環境を構築するような場合に、EC2にWEBアプリケーションを配置して、その前にALB(Application Load Balancer)を設置することで負荷分散を行ったりSSL証明書をALBに設定することで常時SSL化を行ったりという構成をとることがよくある構成です。 WEBサービスを運用していると、様々なエラーや不具合が発生することがあります。 WEBアプリのログなどを調査してすぐ原因が分かればいいのですが、 WEBになぜかエラーとなり接続できない。 WEBアプリのログを確認してもなぜかログがちゃんと出力されていない。 WEBアプリのログを調べてもエラーの原因がよくわからない。 という事になり、調査に予想以上に時間を取られてしまうといったこともよくあると思います。 そんな時、ALBでアクセスログを出力することができる事をご存じでしょうか? 実はALBにはアクセスログを簡単に指定のS3バケットに出力する方法があります、ALBを通る全てのアクセスログが出力されるようになりいろいろと調査がしやすくなるので、ぜひやっておきたい設定です。 デフォルトは機能がオフになっているので、設定する方法を説明したいと思います。
スポンサーリンク