Scrapy爬蟲——session與cookie詳解

有條件的請支持慕課實戰(zhàn)正版課程,本blog僅僅是歸納總結(jié),自用。

An HTTP cookie (also called web cookie, Internet cookie, browser cookie, or simply cookie) is a small piece of data sent from a website and stored on the user's computer by the user's web browser while the user is browsing.

一、cookie請求

應(yīng)用層的http協(xié)議是無狀態(tài)請求,為了方便服務(wù)器識別用戶,使用cookie機制保存必要的用戶信息:


帶cookie的有狀態(tài)請求
  • 我們打開chrome的開發(fā)者工具,查看百度網(wǎng)頁的cookies,注意這個cookies其實是存儲在本地的,可以刪除,數(shù)據(jù)結(jié)構(gòu)類似字典dict


    百度首頁的cookie
  • 利用cookie,我們可以把網(wǎng)站的用戶名和密碼存儲起來,然后服務(wù)器收到后,提取數(shù)據(jù),實現(xiàn)自動登錄。但是存在安全隱患,因為把用戶名和密碼存儲在本地,容易被竊取。于是有了session技術(shù)。

二、session

  • session機制還是利用的是cookie,但是避免了用戶名和密碼的本地存儲與網(wǎng)絡(luò)傳輸。
  • 這里下面的id就是指session_id,而每個web后臺生成session_id的方式不同。


    帶cookie的有狀態(tài)請求

2.1 session的生成過程

  • django下session_id的生成過程:
    當(dāng)用戶第一次登錄之后,django根據(jù)用戶名和密碼,在數(shù)據(jù)庫表中加密生成對應(yīng)的session_key(就是session_id)和session_data,還有expired_date(過期時間)。
  • 當(dāng)我們登錄網(wǎng)址一次后,查看下django后臺的表:
django_session數(shù)據(jù)庫表
  • 回到瀏覽器,查看網(wǎng)頁的cookie,發(fā)現(xiàn)已經(jīng)拿到了服務(wù)器回傳來的session_id:
網(wǎng)頁cookie
  • 至此,session生成結(jié)束。

2.2 利用session登陸流程

  • 第二次請求時,帶著session_id的cookie一起請求。
  • 服務(wù)器收到session_id,進入數(shù)據(jù)庫中查詢,取出對應(yīng)的session_data,若沒過期,則解密,獲得用戶名,密碼,其他信息后登陸。

2.3 django后臺解析session機制

  • 利用sessions這個模塊,每次攔截request和response,做session生成與解密工作:
sessions模塊
  • 若注釋掉它后,則無法自動登錄

三、總結(jié)

  • cookie是瀏覽器本地的一種存儲行為,存儲鍵值對。分域名存儲,不同域名的cookie不能互相訪問。

  • cookie存在安全隱患,我們使用session機制。session是服務(wù)器端生成,發(fā)給用戶,只有服務(wù)器端知道session對應(yīng)的用戶信息,存在過期時間。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,534評論 19 139
  • HTTP cookie(也稱為web cookie,網(wǎng)絡(luò)cookie,瀏覽器cookie或者簡稱cookie)是網(wǎng)...
    留七七閱讀 18,377評論 2 71
  • 背景在HTTP協(xié)議的定義中,采用了一種機制來記錄客戶端和服務(wù)器端交互的信息,這種機制被稱為cookie,cooki...
    時芥藍閱讀 2,461評論 1 17
  • ?想讓孩子有趣,你得先是個有趣的人! 妮妮講《超強親子游戲》書 01 不知道什么時候,我們和孩子用于游戲的方式,似...
    妮妮小屋閱讀 513評論 0 1
  • "格局"一事大抵指人聞思的高度和深度,反映在做事上,便體現(xiàn)出人的氣量與胸懷。舉凡大成就者,大抵都是大格局之人,很難...
    韌性十足的牛皮糖閱讀 744評論 0 4

友情鏈接更多精彩內(nèi)容