上市公司公告大全抓取

東方財富網(wǎng)提供了上市公司的公告大全，將其抓取出來，進行整理后，提供給基金經(jīng)理做投資決策。本文介紹了該項目的python爬蟲實現(xiàn)過程。

  • 需求分析
    • 業(yè)務(wù)分析
    • 頁面數(shù)據(jù)分析
    • 程序結(jié)構(gòu)設(shè)計
  • 編碼實現(xiàn)
    • 基礎(chǔ)工具函數(shù)
    • 邏輯實現(xiàn)

需求分析

1.1 業(yè)務(wù)分析

分析公告匯總頁面，發(fā)現(xiàn)滬深A(yù)股公告、中小板公告、創(chuàng)業(yè)板公告，頁面表現(xiàn)比較一致，而三板公告實現(xiàn)方式有所變化，先抓取滬深A(yù)股公告、中小板公告和創(chuàng)業(yè)板公告

1.2 頁面數(shù)據(jù)分析

翻頁頁面，發(fā)現(xiàn)地址欄鏈接不變，數(shù)據(jù)是采用ajax動態(tài)加載。

Paste_Image.png

在chrome的Network中找到數(shù)據(jù)請求地址：
<pre>
http://data.eastmoney.com/notices/getdata.ashx?StockCode=&FirstNodeType=0&CodeType=1&PageIndex=2&PageSize=50&jsObj=LYqzjWvf&SecNodeType=0&Time=&rt=50032558
http://data.eastmoney.com/notices/getdata.ashx?StockCode=&FirstNodeType=0&CodeType=1&PageIndex=3&PageSize=50&jsObj=maFEjDLX&SecNodeType=0&Time=&rt=50032562
</pre>

同時在網(wǎng)頁源代碼中也發(fā)現(xiàn)：
<pre>
dataurl: "/notices/getdata.ashx?StockCode=&FirstNodeType=0&CodeType=3&PageIndex={page}&PageSize={pageSize}&jsObj={jsname}{param}",

</pre>

對比大概可以肯定如下參數(shù)：
<pre>
CodeType 公告板塊分類
PageIndex 頁面序號
PageSize 頁面大小
</pre>
不太確定的是<code>jsObj</code>和<code>rt</code>這2個參數(shù)。

繼續(xù)分析網(wǎng)絡(luò)請求，發(fā)現(xiàn)有一個load_table_data.js的請求，看起來比較可疑。在load_table_data.js中搜索jsObj未發(fā)現(xiàn)，但是搜索&rt發(fā)現(xiàn)下面代碼：
<pre>
update: function () {
var _t = this;
if (_t.options.beforeupdate(_t))
return;
var jsname = _t.getCode(8),
_url = _t.parperUrl();
_t.options.code = jsname;
_url = _url.replace("{jsname}", jsname);
_url += (_url.indexOf('?') > -1) ? "&rt=" : "?rt=";
_url += parseInt(parseInt(new Date().getTime()) / 30000);
_t.loadThead();
_t.scorllTop();
_t.showLoading();
_t.tools.loadJs(_url, _t.options.charset,
function () {
if (typeof (_t.options.load_div) != "undefined") {
if (_t.options && _t.options.nodetemp) {
_t.options.nodetemp.style.position = "";
}
_t.options.load_div.style.display = "none"
}
if (!(eval("typeof " + jsname) == "undefined") || eval("typeof " + jsname == null)) {
var loaddata = eval(jsname);
if (jsname != _t.options.code) {
return
}
_t.options.data = loaddata;
_t.display()
} else {
// alert("數(shù)據(jù)加載失敗，請刷新頁面重新嘗試！")
if (console && console.log) {
console.log("tools.loadJs掛了稍后再改");
}
}
})
},
</pre>
大概就是這里了，在257行，加上斷點調(diào)試一下（如果對前端不太熟悉，調(diào)試方式是在chrome開發(fā)者工具的【Sources】標(biāo)簽里，找到load_table_data.js ，鼠標(biāo)點擊257行）

Paste_Image.png

這樣就確認(rèn)了鏈接里的<code>jsObj</code>和<code>rt</code>的實現(xiàn)方法。
jsObj生成函數(shù)如下：
<pre>
getCode: function (num) {
var str = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz";
var codes = str.split('');
num = num || 6;
var code = "";
for (var i = 0; i < num; i++) {
code += codes[Math.floor(Math.random() * 52)]
}
return code
},
var jsname = _t.getCode(8),
</pre>

rt生成代碼如下
<pre>
parseInt(parseInt(new Date().getTime()) / 30000)
</pre>

1.3 程序結(jié)構(gòu)設(shè)計
Paste_Image.png

（直接使用有道云筆記md畫的圖，有點渣）

編碼實現(xiàn)

基礎(chǔ)工具函數(shù)
# load_table_data.js getCode
def getCode(num=6):
    s = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz"
    codes = list(s)
    code = ""
    for x in xrange(0, num):
        idx = int(math.floor(random() * 52))
        code += codes[idx]
    return code
  • rt 模擬函數(shù)
# _url += parseInt(parseInt(new Date().getTime()) / 30000);
def getRightTime():
    r = int(time.time() / 30)
    return r

    mail_msg = read_html(now)
    # 郵件正文內(nèi)容
    # msg.attach(MIMEText(now+" 日,二級市場公告信息。詳情請見附件excel", 'plain', 'utf-8'))
    msg.attach(MIMEText(mail_msg, 'html', 'utf-8'))

    # 構(gòu)造附件2，傳送當(dāng)前目錄下的 xls 文件
    att2 = MIMEText(open(fileName, 'rb').read(), 'base64', 'utf-8')
    att2["Content-Type"] = 'application/octet-stream'
    # 解決中文附件下載時文件名亂碼問題
    att2.add_header('Content-Disposition', 'attachment', filename='=?utf-8?b?' +
                    base64.b64encode(fileName.encode('UTF-8')) + '?=')
    msg.attach(att2)
  • 日期比較
def time_compare(notice_date):
    tt = time.mktime(time.strptime(notice_date, "%Y-%m-%d"))
    # 得到公告的時間戳
    if noticeCate == 1:
        # A股公告取當(dāng)日
        # 得到本地時間（當(dāng)日零時）的時間戳
        st = time.strftime("%Y-%m-%d", time.localtime(time.time()))
    else:
        # 新三板公告取前日
        # 得到本地時間（當(dāng)日零時）的時間戳
        st = time.strftime(
            "%Y-%m-%d", time.localtime(time.time() - 60 * 60 * 24))
    t = time.strptime(st, "%Y-%m-%d")
    now_ticks = time.mktime(t)
    # 周一需要是大于
    if tt >= now_ticks:
        return True
    else:
        return False
  • excel讀寫
# 寫excel
def write_sheet(workbook, sheetName, rows):
    worksheet = workbook.add_sheet(sheetName)
    worksheet.write(0, 0, label="代碼")
    worksheet.write(0, 1, label="名稱")
    worksheet.write(0, 2, label="公告標(biāo)題")
    worksheet.write(0, 3, label="公告類型")
    for x in xrange(0, len(rows)):
        row = rows[x]
        for y in xrange(0, 4):
            if y == 2:
                alink = 'HYPERLINK("%s";"%s")' % (row[4], row[2])
                worksheet.write(x + 1, y, xlwt.Formula(alink))
            else:
                item = row[y]
                worksheet.write(x + 1, y, item)
# 打開excel
def open_excel(file='file.xls'):
    try:
        data = xlrd.open_workbook(file)
        return data
    except Exception, e:
        logger.debug(str(e))
  • 數(shù)據(jù)循環(huán)下載
def do_notice(notices, plate):
    for page in xrange(1, 10):
        rt = getRightTime()
        code = getCode(8)
        url = getUrl(apiurl, plate["codeType"], page, code, rt)
        jsdata = download_get_html(url)
        if jsdata != None:
            json_str = jsdata[15:-1]
            datas = json.loads(json_str)["data"]
            for data in datas:
                # 公告日期
                notice = parser_data(data)
                if notice != None:
                    notices.append(notice)
                else:
                    logger.debug("page end notices %s %d"& (plate["name"], len(notices)))
                    return
        else:
            logger.debug("no  notices %s %d"& (plate["name"], len(notices)))
            return
  • 數(shù)據(jù)解析
def parser_data(data):
    temp = data["CDSY_SECUCODES"][0]
    noteicedate = data["NOTICEDATE"]
    date = noteicedate[0:noteicedate.index('T')]
    code = temp["SECURITYCODE"]
    name = temp["SECURITYSHORTNAME"]
    title = data["NOTICETITLE"]
    typeName = '公司公告'
    if data["ANN_RELCOLUMNS"] and len(data["ANN_RELCOLUMNS"]) > 0:
        typeName = data["ANN_RELCOLUMNS"][0]["COLUMNNAME"]
    namestr = unicode(name).encode("utf-8")
    detailLink = baseurl + '/notices/detail/' + code + '/' + \
        data["INFOCODE"] + ',' + \
        base64.b64encode(urllib.quote(namestr)) + '.html'
    # print date,code,name,title,typeName,detailLink
    if time_compare(date):
        return [code, name, title, typeName, detailLink, date]
    else:
        return None
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1. Java基礎(chǔ)部分 基礎(chǔ)部分的順序：基本語法，類相關(guān)的語法，內(nèi)部類的語法，繼承相關(guān)的語法，異常的語法，線程的語...
    子非魚_t_閱讀 34,628評論 18贊 399
  • 一. Java基礎(chǔ)部分.................................................
    wy_sure閱讀 3,995評論 0贊 11
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具（例如配置管理，服務(wù)發(fā)現(xiàn)，斷路器，智...
    卡卡羅2017閱讀 136,525評論 19贊 139
  • 轉(zhuǎn)至元數(shù)據(jù)結(jié)尾創(chuàng)建： 董瀟偉，最新修改于： 十二月 23, 2016 轉(zhuǎn)至元數(shù)據(jù)起始第一章:isa和Class一....
    40c0490e5268閱讀 2,032評論 0贊 9
  • Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
    Joyyx閱讀 8,468評論 0贊 16

友情鏈接更多精彩內(nèi)容