大佬，這個手機端的url你怎么抓到的，我用fiddler根本抓不到啊，找了半天就沒有找到
美團外賣爬蟲接到一個新的任務，是根據(jù)城市名，爬取美團外賣的商戶電話聯(lián)系方式 先去分析美團外賣的網(wǎng)站，https://waimai.meituan.com/，可是并沒有任何商家的信息，后來...
發(fā)簡信
IP屬地：加州
-
無頭瀏覽器模擬登陸遇到滑塊過不去，進行js注入改變特征值但是沒有效果，但是，有界面的情況下就能過
Puppeteer-無頭瀏覽器簡介
Puppeteer是什么 Puppeteer 是一個 Node 庫，它提供了高級的 API 并通過 DevTools 協(xié)議來控制 Chrome(或Chromium)。通俗來說...
-
-
我今天寫了淘寶登陸，好幾個地方用了頁面顯示等待，就是定位不到元素，給多長時間都沒用，頭都大了
Selenium筆記（7）常見的坑
本文集鏈接：http://www.itdecent.cn/nb/25338984 1. 用Xpath查找數(shù)據(jù)時無法直接獲取節(jié)點屬性 通常在我們使用xpath時，可以使用@c...
-
@小溫侯 就這個登陸模塊我走了不少彎路，一開始是覺得用selenium能方便一點，然后嘗試了發(fā)現(xiàn)滑動驗證始終過不去，后來，看了一篇文章就學著別人用pyppeteer實現(xiàn)，確實成功了，但是太繁瑣了，用不慣，后來了解到selenium也可以通過代理，比如mitmproxy，或者fiddler攔截相關(guān)的js請求，并修改相關(guān)js代碼，我嘗試確實可以，原理都一樣，都是讓淘寶檢測不到屬于那些測試用的瀏覽器特有的預定義的js變量值，但是昨天我發(fā)現(xiàn)有大神用了個更簡單的辦法，使用selenium的時候，設(shè)置以下瀏覽器的選項，開啟開發(fā)者模式，成功繞開了檢測，好神奇啊，但是，總覺得用這些測試工具，要是搭建個cookie池顯得好笨重啊，想著分析登陸接口，但是如果出現(xiàn)滑動驗證就不好過了，對我來說實在是太難了，js水平有限，現(xiàn)在的爬蟲感覺遇到瓶頸期了，沒啥突破的感覺，大神有什么建議呢，是不是得要好好學js才行嗎
模擬淘寶登陸獲取初始Cookie
思路 還記的上一篇文章里使用的Cookie嗎？由于每次登陸淘寶的Cookie都不一樣，所以每次都要手動登陸獲取新的Cookie。這里我想研究一下怎樣用程序獲取這個Cookie...
-
@煎煉 我晚上再去看看怎么解決，大佬，這個模擬登陸能不能不用測試工具實現(xiàn)，完全代碼可以模擬登陸嗎
淘寶爬蟲 之 登陸驗證（二）
淘寶作為一大電商網(wǎng)站，反爬措施還是相當?shù)耐晟频?，在我的文章?淘寶爬蟲 之 登陸驗證（一）是以cookie驗證的，這次用selenium模擬登陸，用過selenium登陸淘寶...
-
這幾天被這個東西搞吐了，總結(jié)以下，最終的解決方案有兩種，一是堅持使用selenium的，那就使用代理，修改js文件，二是使用pyppeteer替代selenium，但是還是需要寫js代碼修改
淘寶爬蟲 之 登陸驗證（二）
淘寶作為一大電商網(wǎng)站，反爬措施還是相當?shù)耐晟频?，在我的文章?淘寶爬蟲 之 登陸驗證（一）是以cookie驗證的，這次用selenium模擬登陸，用過selenium登陸淘寶...
-
-
@小溫侯 據(jù)說淘寶可以檢測到selenium爬蟲，我之前看過有人介紹過，所以上手的時候就沒有通過selenium去模擬登陸，而是采用pyppeteer，注入js，讓淘寶無法識別到是瀏覽器爬蟲，倒是不知道selenium可不可以修改js，你可以看看
模擬淘寶登陸獲取初始Cookie
思路 還記的上一篇文章里使用的Cookie嗎？由于每次登陸淘寶的Cookie都不一樣，所以每次都要手動登陸獲取新的Cookie。這里我想研究一下怎樣用程序獲取這個Cookie...
