通過webmagic爬取高分電影下載鏈接電影

? ? ?最近有一個(gè)goood idea,想把電影網(wǎng)站中能用迅雷下載的鏈接用程序給爬下來，分別對(duì)應(yīng)：電影名稱 下載鏈接 IMDB或豆瓣的評(píng)分，優(yōu)先取IMDB評(píng)分，沒有再取豆瓣評(píng)分，為了提高電影質(zhì)量，篩選的都是8.0分以上的,低于8.0或者沒有評(píng)分的不入庫，傳說IMDB評(píng)分8.0以上的都是非常值得看的,9.0以上的稱謂"神片",至于IMDB（Internet Movie Database ）的評(píng)分我認(rèn)為還是比較公正的,是使用貝葉斯統(tǒng)計(jì)的算法加權(quán)算出來的,哈哈，后續(xù)有時(shí)間深入學(xué)習(xí)一下該算法，當(dāng)然也存在漏網(wǎng)之魚，沒評(píng)分的或者服務(wù)器沒反應(yīng)的時(shí)候也不乏存在好電影

接下來是程序的過程

1、先說要做的事情，上面也有簡(jiǎn)介過，爬取該界面的>8.0評(píng)分的電影......http://www.dytt8.net/html/gndy/dyzz/list_23_1.html

2、先設(shè)計(jì)數(shù)據(jù)庫（moveId moveName moveLink moveScore）,其中moveId是自增，如圖所示：

3、創(chuàng)建一個(gè)Maven項(xiàng)目，并配置pom.xml文件，因?yàn)樵摽蚣苣阋淮笈懙摹?。所有要配置該引用?xiàng)目，如圖所示：

4、moveLink文件是爬蟲邏輯

moveInfo是實(shí)體類對(duì)應(yīng)的表結(jié)構(gòu)

moveUtil是對(duì)數(shù)據(jù)庫的一些操作，其中數(shù)據(jù)庫配置信息存放在源程序的這個(gè)位置

其中java操作數(shù)據(jù)庫，需要一個(gè)jar包


程序源碼:https://github.com/zhangzichao11/Android_Move

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 前兩年這篇就在我心里盤算著，要寫一篇如何讓未涉獵的小白能像我一樣對(duì)于歐美文化如此融會(huì)貫通的攻略，但就是遲遲沒有動(dòng)手...
    fantastic6754閱讀 9,472評(píng)論 1贊 22
  • 孩子的開關(guān)要打開，不能嚇孩子，打開了，不用老師管。 專業(yè)成長(zhǎng)，學(xué)習(xí)，培訓(xùn)，研修。為何累，不累，是能力不足。 喚醒，...
    自在山輝閱讀 197評(píng)論 0贊 0
  • 這個(gè)暑假我過得很很快樂，很充實(shí)，然后，的閱讀嘛，因?yàn)橹埃趯W(xué)校的時(shí)候就把草房子，特別的女生薩哈拉，小王子還有西游...
    暗夜男爵閱讀 236評(píng)論 0贊 0

友情鏈接更多精彩內(nèi)容