aws服務(wù)從入門到精通|s3文件的操作

s3 簡介(什么是s3)

Amazon Simple Storage Service 是互聯(lián)網(wǎng)存儲(chǔ)解決方案。該服務(wù)旨在降低開發(fā)人員進(jìn)行網(wǎng)絡(luò)規(guī)模級(jí)計(jì)算的難度。
Amazon S3 提供了一個(gè)簡單 Web 服務(wù)接口，可用于隨時(shí)在 Web 上的任何位置存儲(chǔ)和檢索任何數(shù)量的數(shù)據(jù)。此服務(wù)讓所有開發(fā)人員都能訪問同一個(gè)具備高擴(kuò)展性、可靠性、安全性和快速價(jià)廉的數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施， Amazon 用它來運(yùn)行其全球的網(wǎng)站網(wǎng)絡(luò)。此服務(wù)旨在為開發(fā)人員帶來最大化的規(guī)模效益。

S3的基本概念

  • 存儲(chǔ)桶：

    存儲(chǔ)桶是 Amazon S3 中用于存儲(chǔ)對(duì)象的容器。每個(gè)對(duì)象都儲(chǔ)存在一個(gè)存儲(chǔ)桶中。

  • 對(duì)象：

    對(duì)象是 Amazon S3 中存儲(chǔ)的基本實(shí)體。對(duì)象由對(duì)象數(shù)據(jù)和元數(shù)據(jù)組成。

  • 鍵：

    鍵是指存儲(chǔ)桶中對(duì)象的唯一標(biāo)識(shí)符。存儲(chǔ)桶內(nèi)的每個(gè)對(duì)象都只能有一個(gè)鍵。由于將存儲(chǔ)桶、鍵和版本 ID 組合在一起可唯一地標(biāo)識(shí)每個(gè)對(duì)象，可將 Amazon S3 視為一種“存儲(chǔ)桶 + 鍵 + 版本”與對(duì)象本身間的基本數(shù)據(jù)映射。將 Web 服務(wù)終端節(jié)點(diǎn)、存儲(chǔ)桶名、鍵和版本 (可選) 組合在一起，可唯一地尋址 Amazon S3 中的每個(gè)對(duì)象。例如，在 URL http://doc.s3.amazonaws.com/2006-03-01/AmazonS3.wsdl 中，“doc”是存儲(chǔ)桶的名稱，而“2006-03-01/AmazonS3.wsdl”是鍵

  • 區(qū)域:
    • 美國東部（弗吉尼亞北部）地區(qū) 使用在弗吉尼亞北部的 Amazon S3 服務(wù)器
    • 美國東部（俄亥俄）區(qū)域 使用在俄亥俄州哥倫布的 Amazon S3 服務(wù)器
    • 美國西部（加利福利亞北部）區(qū)域 使用在加利福尼亞北部的 Amazon S3 服務(wù)器
    • 美國西部（俄勒岡）區(qū)域 使用在俄勒岡的 Amazon S3 服務(wù)器
    • 加拿大 (中部) 區(qū)域 使用在蒙特利爾的 Amazon S3 服務(wù)器
    • 亞太地區(qū)（孟買）區(qū)域 使用在孟買的 Amazon S3 服務(wù)器
    • 亞太區(qū)域（首爾） 使用在首爾的 Amazon S3 服務(wù)器
    • 亞太區(qū)域（新加坡） 使用在新加坡的 Amazon S3 服務(wù)器
    • 亞太區(qū)域（悉尼） 使用在悉尼的 Amazon S3 服務(wù)器
    • 亞太區(qū)域（東京） 使用在東京的 Amazon S3 服務(wù)器
    • 歐洲（法蘭克福）區(qū)域 使用位于法拉克福的 Amazon S3 服務(wù)器
    • 歐洲（愛爾蘭）區(qū)域 使用在愛爾蘭的 Amazon S3 服務(wù)器
    • 歐洲 (倫敦) 區(qū)域 使用在倫敦的 Amazon S3 服務(wù)器
    • 南美洲（圣保羅）區(qū)域 使用在圣保羅的 Amazon S3 服務(wù)器
  • 收費(fèi)價(jià)格：

    https://amazonaws-china.com/cn/s3/pricing/

S3的java的基本操作的準(zhǔn)備工作

  • 1、導(dǎo)入pom.xml文件：
  <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk-s3 -->
<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-s3</artifactId>
    <version>1.11.255</version>
</dependency>
  • 2、在 s3服務(wù)中創(chuàng)建用戶，獲取：aws_access_key_id 和aws_secret_access_key
image.png
image.png
image.png
image.png

  • 3、給改用戶 AmazonS3FullAccess權(quán)限


    image.png

  • 4、創(chuàng)建可以連接的授權(quán)文件

    • 1、linux平臺(tái)文件創(chuàng)建路徑：~/.aws/credentials:

    • 2、windows平臺(tái)文件創(chuàng)建路徑：C:\Users\Administrator.aws\credentials

    • 3、文件的內(nèi)容如下：

[default]
aws_access_key_id= xxxx
aws_secret_access_key=xxxx

S3的java的基本操作API

  • 1、獲取憑證，初始化連接：
    /***
     * s3初始化方法
     * */
    private static void initS3() {
        if(s3 == null){
            try {
                AWSCredentials  credentials = new ProfileCredentialsProvider().getCredentials();
                s3 = AmazonS3Client.builder().withRegion(Regions.US_WEST_2).withCredentials(new AWSStaticCredentialsProvider(credentials)).build();
            } catch (Exception e) {
                LOGGER.error("s3初始化系統(tǒng)異常", e);
            }
        }
    }
  • 2、創(chuàng)建桶：
String bucketName = "s3-bucket-name"
s3.createBucket("bucketName ")
  • 3、刪除桶：
String bucketName = "s3-bucket-name"
s3.deleteBucket("bucketName");
  • 3、獲取bucket的list：
   List<Bucket> buckets = s3.listBuckets();
            for (Bucket bucket: buckets) {
                System.out.println(bucket.getName());
            }
  • 4、上傳對(duì)象 (文件上傳)
/**
     * 上傳文件
     * @throws IOException
     */
    public  static  boolean uploadFile(File file, String bucketName,Date now) throws IOException {
            // 判斷s3桶是否存在
            initS3();
        try{
            s3.putObject(new PutObjectRequest(bucketName, FILE_PREFIX+FILE_LINK_STR+DateUtil.parse(now,DateUtil.YYYYMMDD) + LINK_STR + file.getName(), file));
        } catch (Exception e) {
            LOGGER.error("Upload an object to your bucket error:{}" + e);
            return false;
        }
        return true;
    }

    public static File createSampleFile(String content,Date now) throws IOException {
        File file = File.createTempFile(DateUtil.parse(now, DateUtil.SXF_TIME), FILE_POSTFIX);
        file.deleteOnExit();
        Writer writer = new OutputStreamWriter(new FileOutputStream(file),CHARSET_NAME);
        writer.write(content);
        writer.close();
        return file;
    }

    /**
     * 多線程寫文件
     */
    
    public  static void saveFileToS3(String content, String bucketName) {
        try {
            Date now = new Date();
            File tempFile = createSampleFile(content, now);
            if(null!=tempFile){
                boolean result = uploadFile(tempFile, bucketName, now);
                if(result){
                    tempFile.delete();
                }
            }else{
                LOGGER.info("創(chuàng)建本地文件失敗");
            }
        } catch (IOException e) {
            LOGGER.error("寫入s3文件系統(tǒng)異常:{}" + e);
        }
    }

完整的上傳文件代碼

-1、注意：下面代碼的桶是通過s3的控制臺(tái)創(chuàng)建。對(duì)象是以dt=XXXX-XX-XX開頭。方便以后使用aws的Athena工具分區(qū)使用。

image.png

package com.sdk.wifi.yiba.utils.aws.s3;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.io.Writer;
import java.util.Date;
import java.util.List;

import com.amazonaws.services.s3.model.Bucket;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;

import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.profile.ProfileCredentialsProvider;
import com.amazonaws.regions.Regions;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.services.s3.model.PutObjectRequest;
import com.sdk.wifi.yiba.config.Config;
import com.sdk.wifi.yiba.utils.date.DateUtil;

public class S3Util{

    /**
     * 初始化aws文件的服務(wù)
     */
    private final static Logger LOGGER = LoggerFactory.getLogger(S3Util.class);
    private static AmazonS3 s3 = null;
    private static final String LINK_STR = "/";
    private static final String FILE_POSTFIX = ".csv";
    private static final String CHARSET_NAME = "UTF-8";
    private static final String FILE_PREFIX = "dt";
    private static final String FILE_LINK_STR = "=";



    /***
     * s3初始化方法
     * */
    private static void initS3() {
        if(s3 == null){
            try {
                AWSCredentials  credentials = new ProfileCredentialsProvider().getCredentials();
                s3 = AmazonS3Client.builder().withRegion(Regions.US_WEST_2).withCredentials(new AWSStaticCredentialsProvider(credentials)).build();
            } catch (Exception e) {
                LOGGER.error("s3初始化系統(tǒng)異常", e);
            }
        }
    }

    /**
     * 上傳文件
     * @throws IOException
     */
    public  static  boolean uploadFile(File file, String bucketName,Date now) throws IOException {
            // 判斷s3桶是否存在
            initS3();
        try{
            s3.putObject(new PutObjectRequest(bucketName, FILE_PREFIX+FILE_LINK_STR+DateUtil.parse(now,DateUtil.YYYYMMDD) + LINK_STR + file.getName(), file));
        } catch (Exception e) {
            LOGGER.error("Upload an object to your bucket error:{}" + e);
            return false;
        }
        return true;
    }

    public static File createSampleFile(String content,Date now) throws IOException {
        File file = File.createTempFile(DateUtil.parse(now, DateUtil.SXF_TIME), FILE_POSTFIX);
        file.deleteOnExit();
        Writer writer = new OutputStreamWriter(new FileOutputStream(file),CHARSET_NAME);
        writer.write(content);
        writer.close();
        return file;
    }

    /**
     * 多線程寫文件
     */
    
    public  static void saveFileToS3(String content, String bucketName) {
        try {
            Date now = new Date();
            File tempFile = createSampleFile(content, now);
            if(null!=tempFile){
                boolean result = uploadFile(tempFile, bucketName, now);
                if(result){
                    tempFile.delete();
                }
            }else{
                LOGGER.info("創(chuàng)建本地文件失敗");
            }
        } catch (IOException e) {
            LOGGER.error("寫入s3文件系統(tǒng)異常:{}" + e);
        }
    }

}

參考文檔

http://docs.aws.amazon.com/zh_cn/AmazonS3/latest/dev/Welcome.html
https://github.com/aws
https://github.com/aws/aws-sdk-java

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容