Python 爬蟲 | 善用Charles

小編我個人是有接觸炒股的,央媽說的話對市場的影響力是很大,要是我們可以知道央媽每天都發(fā)了什么公告或許可以對我們的操作有所幫助。


本次的受害者網(wǎng)站

aHR0cCUzYSUyZiUyZnd6ZGlnLnBiYy5nb3YuY24lM2E4MDgwJTJmc2VhcmNoJTJmcGNSZW5kZXIlM2ZwYWdlSWQlM2RmYTQ0NWY2NDUxNGM0MGM2OGIxYzhmZmU4NTljNjQ5ZQ==


目錄:

1、環(huán)境

2、分析網(wǎng)站

3、實現(xiàn)爬取


1、環(huán)境

Python3.7、lxml、requests、Charles


2、分析網(wǎng)站

圖2-1

搜索“公開市場業(yè)務交易公告“得圖2-1


圖2-2
圖2-3

很容易就可以找到數(shù)據(jù)在第一個請求中,查看請求如圖2-3,app這個參數(shù)感覺是MD5加密,但是這里先不急著對參數(shù)進行逆向。


圖2-4

這里轉(zhuǎn)用Charles進行抓包,修改參數(shù)可以幫助我們確定哪些參數(shù)系統(tǒng)是不校驗的,這就可以避免很多不必要的工作

先把空的參數(shù)去掉,如圖2-5


圖2-5

去掉空的參數(shù)再次請求,如圖2-6

圖2-6
圖2-7

去掉空參數(shù)請求得到的數(shù)據(jù)size和原本基本無差,說明去掉的參數(shù)無關(guān)緊要

當我試著去掉參數(shù)app再請求的時候發(fā)現(xiàn)居然也可以獲得數(shù)據(jù)如圖2-8


圖2-8

既然這樣誰還去傻傻的逆向參數(shù)app是怎么來的呀,加幾個固定參數(shù)就好了,注意這里是post請求,本文結(jié)束。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關(guān)閱讀更多精彩內(nèi)容

  • 當今大數(shù)據(jù)的時代,網(wǎng)絡爬蟲已經(jīng)成為了獲取數(shù)據(jù)的一個重要手段。 但要學習好爬蟲并沒有那么簡單。首先知識點和方向?qū)嵲谑?..
    IT青年閱讀 1,385評論 2 11
  • 漸變的面目拼圖要我怎么拼? 我是疲乏了還是投降了? 不是不允許自己墜落, 我沒有滴水不進的保護膜。 就是害怕變得面...
    悶熱當乘涼閱讀 4,480評論 0 13
  • 感覺自己有點神經(jīng)衰弱,總是覺得手機響了;屋外有人走過;每次媽媽不聲不響的進房間突然跟我說話,我都會被嚇得半死!一整...
    章魚的擁抱閱讀 2,387評論 4 5
  • 夜鶯2517閱讀 128,155評論 1 9
  • 版本:ios 1.2.1 亮點: 1.app角標可以實時更新天氣溫度或選擇空氣質(zhì)量,建議處女座就不要選了,不然老想...
    我就是沉沉閱讀 7,450評論 1 6

友情鏈接更多精彩內(nèi)容