[GCP] 나만 몰랐던 파일 복제 작업 Storage Transfer

목차

• Storage Transfer
• 소스 유형 및 대상 위치 유
• 예약 모드
• 소스 선택 및 필터링
• 작업 실행 시점 선택
• 세부 설정

또 나만 몰랐던 gcp 기능

aws를 사용하다가 gcp로 플랫폼을 옮기게 되면서 aws에 있는 자료들을 어떻게 옮길지 고민하였다.

그런데 gcp에서 좋은 기능을 제공해주고 있었다.

Storage Transfer

이벤트 기반 전송을 통해 거의 실시간으로 분석 및 복제 지원

이제 이벤트 기반 전송을 통해 Google Cloud Storage 및 Amazon S3 소스에서 변경 사항을 더 빠르게 캡처할 수 있으므로 데이터에 거의 실시간으로 대응할 수 있습니다. 시작하려면 객체가 생성되거나 업데이트될 때 이벤트 알림을 보내도록 구성된 Pub/Sub 또는 AWS SQS 기반 이벤트 스트림으로 전송 작업을 만드세요.

 

클라우드 및 온프레미스 스토리지 시스템 간에 빠르고 안전하게 데이터를 전송합니다. 소스에는 Google Cloud Storage, Amazon S3, Azure Storage, 파일 시스템 등이 포함됩니다.

https://cloud.google.com/storage-transfer/docs/event-driven-transfers?hl=ko

이벤트 기반 전송  |  Cloud Storage Transfer Service Documentation  |  Google Cloud

 

--

소스 유형 및 대상 위치 유

s3뿐만아니라 파일 시스템들도 가능한것으로 보인다.

예약 모드

기본은 단위로 진행되는것 같고 이벤트 기반으로 할 수 있는 기능이 신규로 추가된듯하다.

나는 모든 데이터를 옮길꺼라 단위를 선택했다.

 

• 단위 : 소스에서 누적된 데이터를 일회성으로 또는 반복적으로 전송합니다.
• 이벤트 기반 : 소스에서 데이터가 추가되거나 변경될 때마다(즉, '이벤트'가 발생할 때) 데이터를 전송하므로 거의 실시간으로 데이터에 대한 조치를 취할 수 있습니다.
  이벤트 기반 전송은 AWS S3 소스용 Amazon SQS로 전송된 Amazon S3 이벤트 알림을 리슨합니다. Cloud Storage 소스는 Pub/Sub 구독에 알림을 보냅니다.

소스 선택 및 필터링

필터링은 속도를 위해서 그런가 프리픽스와 최종 수정 시간별 필터링만 있다.

단위 예약모드 선택시 소스 선택

 aws s3 버킷을 소스로 선택하게 되면 권한을 가지고 있는 액세스키와 보안 비밀 액세스키를 넣으라고 한다.

aws s3 선택시 소스 선택

이벤트 기반 예약모드를 선택하게되면 아래와 같이 이벤트 스트림을 추가로 적어주어야한다.

이벤트 기반 예약모드 선택시 소스 선택

작업 실행 시점 선택

작업 실행 시점을 선택할 수 있다.

세부 설정

작업 이름은 기본으로 자동 생성이 check 되어있으나, 체크를 풀어 고유한 이름을 넣을 수 있다. 수정이 불가능하니 할 때 잘 적어두도록 하자

매니페스트 파일은 사용해보지 않았지만, 원하는 파일만 옮길 수 있게 하는 목록인듯 하다.

잘 사용하면 좋지 않을까

Storage Transfer Service는 매니페스트를 사용하여 지정된 특정 파일 또는 객체의 전송을 지원합니다. 매니페스트는 Cloud Storage에 업로드되는 CSV 파일로, Storage Transfer Service가 작업할 파일 또는 객체 목록이 포함됩니다.