Python操作Azure Storage Blob經(jīng)驗

本文不同于官網(wǎng)的HelloWorld式入門,它沒考慮賬號安全和數(shù)據(jù)量等實際應(yīng)用情況

本文經(jīng)驗并不全面,因為一般會使用StorageExplorer和AzCopyV10,Python只是用于做下腳本操作;

搭建

  • 默認(rèn)已安裝好Python,已擁有Azure存儲賬號;
  • 安裝依賴項( Git SDK地址):
pip install azure-storage-blob

創(chuàng)建

不應(yīng)該

block_blob_service = BlockBlobService(account_name = 'accountname', account_key = 'accountkey') 

而應(yīng)該

block_blob_service = BlockBlobService(account_name = 'accountname', sas_token= '連接字符串') 

使用經(jīng)驗:代碼應(yīng)盡可能不放置密鑰,而是使用賬號+SAS(shared access signature)的方式;官方文檔的SDK說明都是使用賬號+密鑰的連接字符串方式,其實聽危險的。應(yīng)該為不同的容器獲取不同的SAS,設(shè)置合理的過期時間和操作權(quán)限,做好管理工作;

遍歷(list)

#可以視為“目錄路徑”,一般不會要列出一整個container的文件
path_preffix = "blob_path1/blob_path2"
marker = None
while True:
    generator = block_blob_service.list_blob_names(container_name, path_preffix, num_results=100, marker=marker)
#返回的是一個生成器
    for blob_name in generator:
        print(blob_name)
        marker=generator.next_marker
        if not marker:
            break
  • list_blob_names和list_blobs主要參數(shù)相同,只是返回不同,如果只是遍歷操作,自然是選擇IO和耗時更小的list_blob_names
  • path_preffix是路徑前綴,因為不是文件系統(tǒng),目錄都是假的;實際影響是:1)不可能創(chuàng)建一個空目錄,上傳空目錄也是非法的;2)list返回的只有blob文件,帶有路徑前綴的文件,不像Linux有目錄文件;
  • num_results 返回結(jié)果數(shù),類似分頁,數(shù)據(jù)量大時需要分頁獲取,配合next_marker 可以獲取全部結(jié)果

上傳

block_blob_service.create_blob_from_path(container_name, local_file_name, full_path_to_file)

下載

block_blob_service.get_blob_to_path(container_name, local_file_name, full_path_to_file)

沒有實際使用,所以不詳述了;有需要可以了解下AzCopy的sync命令

讀取文件

content = block_blob_service.get_blob_to_text(container_name, blob_name).content
  • get_blob_to_text其實也是下載的一種,同類操作有:get_blob_to_path(下載為文件),get_blob_to_byte(二進制),get_blob_to_stream(讀取為流);上傳create_blob_也有這四種方式;
  • blob_name是完整路徑加文件名,只適合讀取小文本文件;

復(fù)制

這里我希望做個操作:將一個blob文件重命名復(fù)制到另一個位置,不用下載本地修改后再上傳;

copy_opt = block_blob_service.copy_blob(container_name, "target_blod_name", "source_file_url")
  • target_blod_name是要復(fù)制到的文件路徑
    source_file_url是復(fù)制的Azure存儲源文件的地址,https格式的url;此處需要加SAS,使用帶連接字符串的URL,因為上方我是使用賬號+SAS的方式連接,無法自動判斷是同一個賬號下的資源。哪怕加了連接字符串,但實際也是云內(nèi)的操作,速度有保證
  • copy_blob會返回一個操作對象,可以查看狀態(tài);操作默認(rèn)是異步的,可以通過requires_sync參數(shù)改為同步;

刪除

#你真的需要刪除嗎?

如果對你有幫助,希望能點個關(guān)注,或者點個喜歡

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 一、Python簡介和環(huán)境搭建以及pip的安裝 4課時實驗課主要內(nèi)容 【Python簡介】: Python 是一個...
    _小老虎_閱讀 6,340評論 0 10
  • ORA-00001: 違反唯一約束條件 (.) 錯誤說明:當(dāng)在唯一索引所對應(yīng)的列上鍵入重復(fù)值時,會觸發(fā)此異常。 O...
    我想起個好名字閱讀 5,985評論 0 9
  • feisky云計算、虛擬化與Linux技術(shù)筆記posts - 1014, comments - 298, trac...
    不排版閱讀 4,356評論 0 5
  • 官網(wǎng) 中文版本 好的網(wǎng)站 Content-type: text/htmlBASH Section: User ...
    不排版閱讀 4,721評論 0 5
  • 2017/9/5 23:04 晚上和高中同桌聊微信,我說起想開一個公眾號來寫寫自己的小心情,他隨即給我安利...
    honeyDoris閱讀 477評論 0 0

友情鏈接更多精彩內(nèi)容