최승현 2016-03

1편부터 잘 보았네요.
마루타 정신을 높게 삽니다 ^^
경험은 소중하니까요~ 추천!

강영준2C 2016-03

핫
감사합니다
일주일동안 삽질을했는데 아쉽네요 ㅠㅠ
대용량 및 많은 자료를 백업하기에는 클라우드는 부적합하지 않나 생각해봅니다....

DoubleSH 2016-03

리눅스 운영을 안하는지라.. 참고삼아만 읽어봤어요. 잘봤습니다.

해당 내용들을 아마존에도 문의 하셨나요?..
기술지원 쪽에서도 의지가 있다면, 문제가 되는 부분에 대해 설명해주길 원할텐데..

무료체험과 결제고객을 떠나서, '기술적'인 부분에 해결해야될 부분은 해결하려 할테고
'이미 알려진 문제' 로 분류되어 조치중인 사항일 수도 있습니다.

강영준2C 2016-03

이미 1년전에 이슈가 된 문제더군요
아직도 해결이 안된걸 보니
딱히 기대는 안되길레
그냥 아마존 클라우드 자체를 포기했습니다. ㅎㅎ

iThanks 2016-03

앞서 한분이 mulitupload 를 사용하라고 한 분의 이야기는 스토리지쪽의 S3 서비스를 이야기 한 것입니다
참조 하세요

Amazon S3는 업로드하는 데이터의 크기에 따라 다음과 같은 옵션을 제공합니다.

단일 작업으로 객체 업로드 - 단일 PUT 작업으로 최대 5GB 크기의 객체를 업로드할 수 있습니다.
자세한 내용은 단일 작업으로 객체 업로드 단원을 참조하십시오.
부분으로 나누어 객체 업로드 - 멀티파트 업로드 API를 사용하여 최대 5TB의 대형 객체를 업로드할 수 있습니다.
멀티파트 업로드 API는 대용량 객체의 업로드 경험을 개선하기 위해 디자인되었습니다. 객체를 파트별로 업로드할 수 있습니다. 이러한 객체 파트는 임의의 순서로 독립적으로, 그리고 병렬적으로 업로드할 수 있습니다. 크기가 5MB에서 5TB까지인 객체에 대해 멀티파트 업로드를 사용할 수 있습니다. 자세한 내용은 멀티파트 업로드 API를 사용한 객체 업로드 단원을 참조하십시오.

http://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/UploadingObjects.html

S3 의 mount 의 경우 s3fs-fuse 를 참조 바랍니다
/etc/passwd-s3fs 등으로 접속 파일이 필요하며,
s3fs ithanks -o use_cache=/tmp -o allow_other /mnt/ithanks ( 이런 형태로 마운트합니다; 물론 이전에 마운트 폴더가 필요합니다)

epowergate 2016-03

아마존에  뭔가를 백업한다는 모든 프로그램,서비스는 아마존의 s3를 사용합니다.
아마존 s3에 명확하게 나와있습니다.  최대 단일파일크기  얼마라고. 2012년에 2gb였던걸로 기억합니다.
s3구조상 최대파일크기 설정은 필수고 지금 10gb로 되어있나봅니다.  절대로 아마존 버그 아닙니다.  기능 이고 한계입니다
많은 상용 백업 프로그램들 중에 파일을 알아서 나누어 저장해 주는 툴들이 있습니다. 
무료프로그램중 에서 상용으로 업그래이드하면 추가로 제공하는 기능 목록에 숨어있습니다.

강영준2C 2016-03

아마존S3 얘기가 계속 올라옵니다만...
아마존 클라우드가 S3는 아니잖아요
제공하는 API자체가 다르다고 알고있는데...

https://github.com/yadayada/acd_cli/issues/32

https://github.com/yadayada/acd_cli/issues/8

파일을 split해서 업로드한다는 아이디어가 있기는 했습니다.
이거를 API단에서 지원해주지가 않는다는게 문제죠

epowergate 2016-03

물론 아마존 S3가 아마존클라우드는 아닙니다.
하지만 대부분의 아마존에 백업하는 서비스/프로그램들은 S3를 사용합니다.
그리고 S3에 파일을 split해서 up/download하는 API는 이미 제공합니다.

iThanks 2016-03

epowergate 님의 2012년 2gb 라는 글을 보며,
AWS CTO의 S3 를 예를 들어 계속적인 시스템 발전이 중요하다는 이야기가 생각납니다
저도 10gb 인지 확인은 못해봤으나, 현재 멀티파트업로드를 통해 5TB 의 대형객체라고 표현한 것을 보면
당연히 된다고 생각을 하고 있지만 게으른 관계로 문서만 표기했습니다

강영준2C 2016-03

이게 업로드 자체는 50GB까지 단일 파일이 업로드됩니다.
문제는 10GB 이상의 파일을 다운로드할때는 70퍼센트 이상의 확률로 실패합니다.
그리고 수동으로 재시도를 해줘야되요...
그리고 수백개의 폴더 작성을 시켰더니
도중에 몇개 누락도 되고...
이래저래 불안정하더군요 하하...

iThanks 2016-03

S3 SDK upload 소스를 올려주시면 테스트 해 보도록 하겠습니다

강영준2C 2016-03

SDK는 저도 잘모릅니다.
https://github.com/yadayada/acd_cli
저는 그저 오픈소스인 요 툴을 썻을뿐입니다.

iThanks 2016-03

http://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/UploadingObjects.html 의 문서를 통해
http://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/uploadobjusingmpu.html 여기 SDK를 사용하여 가능하다고 나와있습니다
php 의 경우 http://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/UsingMPphpAPI.html 의 하위수준 SDK - API 를 사용하여 가능하다고 보입니다

영상 자료 등 하시는 분들께는 중요한 작업이 되겠네요
저도 주말에 테스트 프로그램을 제작해 보도록 하겠습니다
좋은 결과가 있길 바랍니다

제주김재민 2016-03

저도 비슷한경험을 해서.. 클라우드베리 익스플로러를 사용하고 잇습니다. free버전으로 아마존클라우드 잘 사용하고 잇는데 10기가 이상 다운로드는 아직 테스트 안해봣네요,,, 제가 보기에는 잘될듯합니다.

iThanks 2016-03

네 저도 기대하고 있습니다 ^^

iThanks 2016-04

먼저 단일 대용량 파일에 대해 실험을 해 보앗습니다
일단 EBS 에서는 정상적으로 파일이 생성되었습니다
S3 에서는 생각외로 파일에서는 끊어졌는데 중간에 Kill 을 아마존 서비스를 통해 자동 실행되었는데 아마 제가 무료 서버를 사용하고 있기 때문이라고도 보입니다
메모리 1G 아마존 Free Tier 로 테스트 되었습니다

업로드, 다운로드 부분은 여러가지 방법으로 테스트를 해 보도록 하겠습니다
물론 S3 에서 에러가 난 이유도 찾아보도록 해 보겠습니다

테스트 결과는 http://blog.naver.com/amazonwebservices/220672167459 에 메모했습니다

iThanks 2016-04

서버 사양을 높인 후 S3 에서 파일 생성은 성공했습니다
다음 번에는 파일 업로드, 다운로드를 진행해 보겠습니다
아래 내용을 기술해 놓았습니다

http://blog.naver.com/amazonwebservices/220672944379

지나가던개 2016-04

http://boto.readthedocs.org/en/latest/s3_tut.html#storing-large-data
API 쓰세요... s3fs로 마운트 해서 쓰시는건 비추 합니다...

iThanks 2016-04

네 저도 S3 를 사용시 그런 것을 조금 느낍니다
웹서버쪽 파일서버로 사용하실때도 약간은 주의가 필요하다고 생각합니다

jake 2016-05

좋은 경험담 소중하게 잘 읽었습니다. 애 쓰셨네요. 덕분에 좋은 정보 얻었습니다.