1. 功能
- 爬取豆瓣每日書單信息
- 處理爬取后的信息，制作成makedown文件，方便瀏覽
2. 原理
1、requests獲取網絡信息
2、BeautifulSoup解析網頁
3、生成makedown文件
3. 源碼
#!/usr/bin/env python3
# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
import requests
import time
import datetime
r = requests.get('https://book.douban.com')
html=r.text
soup = BeautifulSoup(html, 'html.parser')
items = []
global_nav_items = soup.find('div', class_='global-nav-items')
for tag in global_nav_items.find_all('a'):
items.append(tag.string)
print(items)
class Info(object):
def __init__(self, title, img, link, author, year, pulisher, abstract):
self.title = title
self.img = img
self.link = link
self.author = author
self.year = year
self.publisher = publisher
self.abstract = abstract
new_book_html = soup.find('ul', class_='list-col list-col5 list-express slide-item')
book_info_list = []
for tag in new_book_html.find_all('li'):
info_html = tag.find('div', class_='info')
info_title = info_html.find('a')
title = info_title.string.strip()
cover = tag.find('div', class_='cover')
img = cover.find('img')['src'].strip()
href = info_title['href'].strip()
author = info_html.find(class_='author').string.strip()
year = info_html.find(class_='year').string.strip()
publisher = info_html.find(class_='publisher').string.strip()
abstract = info_html.find(class_='abstract').string.strip()
book = Info(title, img, href, author, year, publisher, abstract)
book_info_list.append(book)
print('推薦%s本新書' % len(book_info_list))
for book in book_info_list:
print('*'*100)
print(book.title)
print(book.img)
print(book.link)
print(book.author)
print(book.year)
print(book.publisher)
print(book.abstract)
def save():
today = datetime.datetime.fromtimestamp(time.time()).strftime('%Y-%m-%d')
file_name = '豆瓣'+today+'推薦書單'
with open(file_name+'.md', 'w') as file:
file.write('#'+file_name)
file.write('\\n---')
with open(file_name+'.md', 'a') as file:
num = 1
for book in book_info_list:
file.write('\\n\\n')
file.write('## ' + str(num) +'. ' + book.title)
file.write('\\n')
file.write('')
file.write('\\n\\n')
file.write('簡介\\n')
file.write('---\\n')
file.write(book.abstract)
file.write('\\n\\n')
file.write('作者: '+book.author+'\\n\\n')
file.write('出版時間: '+book.year+'\\n\\n')
file.write('出版社: '+book.publisher+'\\n\\n')
file.write('[更多...]('+book.link+')')
num = num + 1
if __name__ == '__main__':
save()
4. 生成的md文件
#豆瓣2016-11-02推薦書單
---
## 1. 以蓄滿淚水的雙眼為耳
簡介
---
本書是當代著名作家、中國作協(xié)主席鐵凝女士近十年來的散文、隨筆、演講、訪談的自選集，共31篇文章，都是作者自2007年擔任作協(xié)主席以來的重要作品。
大量篇幅，如她與楊絳先生深情交往的細節(jié)、與諾貝爾文學獎得主大江健三郎先生的文學對話等，都屬首次發(fā)表。
書中既刻畫了楊絳、馬識途、汪曾祺、賈大山、張潔、井上靖、大江健三郎、詩琳通公主等文學家，也精選了作者...
作者: 鐵凝
出版時間: 2016-9-1
出版社: 生活?讀書?新知三聯(lián)書店 生活書店出版有限公司
[更多...](https://book.douban.com/subject/26864818/?icn=index-editionrecommend)
## 2. 哈利·波特與被詛咒的孩子
簡介
---
時隔九年,哈利?波特帶著他的魔法世界重磅回歸！
《哈利?波特與被詛咒的孩子》打破2016年度預售紀錄，北美地區(qū)兩日賣出2,000,000冊！
六大看點
1.哈利的小兒子阿不思被分院帽分進了斯萊特林，他會適應那里的生活嗎？
2.德拉科?馬爾福的兒子斯科皮竟然與阿不思成為了最好的朋友，這是真正的友情還是另有預謀？
3．伏地魔的女兒出現(xiàn)了……她將履行怎樣的使命？她是否會成...
作者: 約翰·蒂法尼 / 杰克·索恩 / J.K.羅琳
出版時間: 2016-10
出版社: 人民文學出版社
[更多...](https://book.douban.com/subject/26871656/?icn=index-editionrecommend)
## 3. 視覺思維
簡介
---
本書是使用代表事物、思維、概念等含義的象征圖像與簡單的文字，整理思維、傳遞情感、表達心境、尋找樂趣的思維訓練圖書。書中講述了視覺思維整理法的諸多構成要素，并詳細列舉了用途與示例。可著力培養(yǎng)用圖形思考和整理習慣，可極為迅速捕獲創(chuàng)意點子與靈感，可更加輕松理解復雜難懂的知識。讓你在講話或提出自我主張的時候更有說服力，更容易激起聽眾的共鳴。
作者: [韓] 鄭珍好
出版時間: 2016-10
出版社: 中國鐵道出版社
[更多...](https://book.douban.com/subject/26905838/?icn=index-editionrecommend)
## 4. 人類的演化
簡介
---
是什么讓我們成為人類？
我們怎么發(fā)展出了語言、思維和文化？
為什么我們存活下來，而其他的人科物種卻滅絕了？
人類演化的故事，比任何其他故事都更讓我們著迷。我們的好奇心永不滿足，總是不斷在問：我們是誰？來自哪里？本書對人類演化歷程提出了全新的疑問，也給出了嶄新的研究方式和回答。
“這是一個偵查的過程，呈現(xiàn)在我們面前的，是一個由考古學記錄組成的犯罪現(xiàn)...
作者: [英] 羅賓·頓巴
出版時間: 2016-8-1
出版社: 上海文藝出版社
[更多...](https://book.douban.com/subject/26834220/?icn=index-editionrecommend)
## 5. 故宮日歷（2017年）
簡介
---
作者: 陳麗華 / 馮賀軍 / 李湜
出版時間: 2016-9-10
出版社: 故宮出版社
[更多...](https://book.douban.com/subject/26840888/?icn=index-editionrecommend)
## 6. 余生，請多指教
簡介
---
曾經以為，自己這輩子都等不到了——世界這么大，我又走得這么慢，要是遇不到良人要怎么辦？
早過了“全球三十幾億男人，中國七億男人，天涯何處無芳草”的猖狂歲月，越來越清楚，循規(guī)蹈矩的生活中，我們能熟悉進而深交的異性實在太有限了，有限到我都做好了“接受他人的牽線，找個適合的男人慢慢煨熟，再平淡無奇地進入婚姻”的準備，卻在生命意外的拐彎處迎來自己的...
作者: 柏林石匠
出版時間: 2016-10
出版社: 百花洲文藝出版社
[更多...](https://book.douban.com/subject/26872990/?icn=index-latestbook-subject)
## 7. 大師們的寫作課：好文筆是讀出來的
簡介
---
好文筆是讀出來的？
不是所有的人都真的會讀，但真正會讀的人一定會寫！
《大師們的寫作課》讓你通過讀就能迅速地提升寫作能力，從48位文學大師的筆下，找到關于寫作的密碼——
【內容篇】從“顏色”到“情色”，你的筆下也可以寫出10萬種活色生香；
【技能篇】從“標點”到“收束”，為你深度解碼大師們的寫作密碼；
【拓展篇】從傳統(tǒng)文學、外國語言、前人新秀、自媒體...
作者: 舒明月
出版時間: 2016-10
出版社: 江蘇鳳凰文藝出版社
[更多...](https://book.douban.com/subject/26890188/?icn=index-latestbook-subject)
## 8. 千門八將1
簡介
---
江湖未死，但很多規(guī)矩卻已遠去。
傳承幾千年的外八門，進入當代社會，無不面臨著“變則形亡，守則身亡”的困境。
當代千門門主高陽，堅守“平衡江湖”的門派宗旨，希望重拾江湖規(guī)矩。
然千門有“八將少五不做局”的規(guī)矩，千門八將，各司其責，八將相依相靠才能做出完美的千局。當代千門人丁凋零，連八將尚未湊齊，無法發(fā)揮千局的力量。僅靠千術，千門無法折服外八門。
千...
作者: 高陽
出版時間: 2016-9-1
出版社: 江蘇鳳凰文藝出版社
[更多...](https://book.douban.com/subject/26890239/?icn=index-latestbook-subject)
## 9. 大腦使用指南
簡介
---
人為什么會做夢？為什么眼見的不一定為實？為什么國民男神一換再換？大腦為什么是最大的性器官？為什么一孕傻三年？
你與你的大腦之間的關系也是個細思極恐的問題。
到底是你在控制大腦，還是大腦在控制你呢？
無論你是誰，從哪里來，又往哪里去，無論你在不在乎大腦的存在，你與你的大腦都密不可分。你的所有決定、所有情感、所有記憶，都在大腦中生成又在大腦中消失。...
作者: 趙思家
出版時間: 2016-10
出版社: 湖南科技出版社
[更多...](https://book.douban.com/subject/26876074/?icn=index-latestbook-subject)
## 10. 香蕉的低語
簡介
---
一個很深很深的故事。每個人都在心靈深處流浪。
* * *
“如果你在八月經過一片香蕉地，你可能會聽到香蕉的低語：哧哧——哧哧——哧哧——”
父親留給菲麗賓娜一沓信，告訴她黎巴嫩散發(fā)著橙花的香氣，還有香蕉的低語。為了真正理解這些信，菲麗賓娜只身一人來到黎巴嫩，尋找父母親的足跡。
與此同時，丹妮絲，一個在牛津大學讀博的土耳其女孩厭倦了西方。她決定前往黎巴嫩...
作者: [土耳其] 伊切·泰瑪爾庫蘭
出版時間: 2016-10-15
出版社: 北京聯(lián)合出版公司
[更多...](https://book.douban.com/subject/26864850/?icn=index-latestbook-subject)
md_figure1
md_figure2
