scrapy實(shí)現(xiàn)對github用戶的自動(dòng)關(guān)注

? ? ?很無聊惡作劇的想法,剛注冊github不久,空空蕩蕩的,沒有關(guān)注人,也沒有人關(guān)注。正好也算是練習(xí)python和scrapy了,萌生了想法,批量follow用戶,可以從一個(gè)明星用戶的follower頁面開始,批量follow。

? ? ? 兩個(gè)知識點(diǎn),一是登錄,二是關(guān)注。登錄見上篇文章,這里說下關(guān)注,依然是采用chrome開發(fā)者工具network欄,找post的數(shù)據(jù)和網(wǎng)址。網(wǎng)址形式為https://github.com/users,post的數(shù)據(jù)的payload為?

request headers 的Content-Type為multipart/form-data類型,但是scrapy的FormRequest的post類型為application/x-www-form-urlencoded,可見其實(shí)現(xiàn)

查了好多資料,斷續(xù)兩三天時(shí)間,學(xué)習(xí)了scrapy? post?multipart/form-data類型的方法,首先是要使用?requests_toolbelt庫中的 MultipartEncoder類,以實(shí)現(xiàn)post的payload。

構(gòu)建payload:

數(shù)據(jù)字段為utf8,anthenticity_token,取出網(wǎng)頁中的anthenticity_token字段,兩個(gè)字段構(gòu)成字典send_data

然后以send_data為參數(shù)構(gòu)建MultipartEncoder對象,這構(gòu)成了payload內(nèi)容。然后構(gòu)建headers,url,具體代碼如下

上述既是follow某個(gè)用戶的具體方法。批量關(guān)注github用戶,只要對follower頁面關(guān)注用戶批量關(guān)注就可以了。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 采用scrapy框架來實(shí)現(xiàn),主要有兩塊,一是實(shí)現(xiàn)用戶的登錄,二是實(shí)現(xiàn)對用戶的爬取。 首先,用戶的登錄,采用c...
    bitmote閱讀 788評論 0 0
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,506評論 19 139
  • http://192.168.136.131/sqlmap/mysql/get_int.php?id=1 當(dāng)給sq...
    xuningbo閱讀 10,559評論 2 22
  • 目錄 查詢指定項(xiàng)目屬性接口 1. 查詢指定項(xiàng)目屬性 接口功能 獲取制定項(xiàng)目的分類信息 URL http://www...
    逗比punk閱讀 114評論 0 0
  • 棲真之地發(fā)自簡書App 結(jié)冰的湖 小片的黃葉和細(xì)莖的枯草 被安頓在暫時(shí)的寓所 湖面,一枚巨大而新鮮的琥珀 陽光普照...
    桑子簡書閱讀 283評論 0 1

友情鏈接更多精彩內(nèi)容