怎樣同步數(shù)據(jù)到阿里云OSS?
發(fā)布時間:2018-02-27 點擊數(shù):2040
用戶如希望,將增量數(shù)據(jù),自動往OSS的Bucket中同步,可以參考以下方法。
?主要方法
- OSS跨區(qū)域復制:將OSS的BucketA數(shù)據(jù),同步到另一個區(qū)域的BucketB中。您可以在控制臺中,對OSS源Bucket設(shè)置跨區(qū)域復制。
-
鏡像回源:適用于客戶源站無縫遷移數(shù)據(jù)到OSS。即服務(wù)已在建源站或者在其他云產(chǎn)品上運行,需遷移到OSS,但又不能停止服務(wù)。在Ossimport完成歷史數(shù)據(jù)遷移后,業(yè)務(wù)切換到OSS后,當訪問的數(shù)據(jù)不在OSS,會觸發(fā)鏡像回源,到源站抓取下載到OSS中。
- OSS API或SDK:使用OSS API或SDK編寫代碼實現(xiàn),詳情請參見Copy Object、Upload Part Copy。
?場景1:OSS的不同Bucket之間的數(shù)據(jù)同步
當需要將BucketA數(shù)據(jù),同步到BucketB時,可參考如下方法:
-
設(shè)置跨區(qū)域復制
- 適用于源BucketA、目的BuketB都不是歸檔存儲,且分屬不同區(qū)域場景
-
鏡像回源
- 適用于當客戶端訪問BucketB時,BucketB中沒有該數(shù)據(jù),觸發(fā)鏡像回源去BcuektA中抓取,下載到BucketB。
-
OSS API/SDK Copy Object、Upload Part Copy
- 適用于用戶有特性需求,且有較強開發(fā)能力
?常見疑問
-
是否可以指定Bucket下特定目錄而非整個Bucket間進行同步?
可以。通過設(shè)置跨區(qū)域復制功能指定文件名前綴進行同步,控制只同步特定目錄。 -
歸檔存儲是否可以使用跨區(qū)域復制功能?
當源Bucket或目標Bucket是歸檔存儲時,不支持設(shè)置跨區(qū)域復制。用戶可以使用OSS API/SDK 編寫代碼,以實現(xiàn)同步。由于歸檔存儲存在恢復時間,如果客戶在應(yīng)用中,需要由歸檔存儲,向標準或低頻存儲間同步,建議采用更合理的架構(gòu),將源Bucket改為標準或低頻存儲,目標Bucket改為歸檔存儲,節(jié)省成本,提升業(yè)務(wù)體驗。
?場景2:第三方數(shù)據(jù)源的數(shù)據(jù)“同步”到OSS
第三方數(shù)據(jù)源,自動同步到OSS,可參考如下方法:
-
鏡像回源
-
當客戶端訪問OSS時,OSS如沒有該數(shù)據(jù),則觸發(fā)鏡像回源去第三方數(shù)據(jù)源站中抓取,下載到OSS。
-
當客戶端訪問OSS時,OSS如沒有該數(shù)據(jù),則觸發(fā)鏡像回源去第三方數(shù)據(jù)源站中抓取,下載到OSS。
-
OSS API/SDK Copy Object、Upload Part Copy
適用于用戶有特性需求,且有較強開發(fā)能力 -
使用OSSimport增量遷移模式
使用OSSIMPORT數(shù)據(jù)遷移增量模式,間隔固定時間,去查詢源站數(shù)據(jù),并將其同步到OSS中。
?常見疑問
-
如果是將歷史數(shù)據(jù),批量地遷移或復制到OSS,請參考數(shù)據(jù)遷移文檔
?其他
如果問題還未能解決,請聯(lián)系售后技術(shù)支持。