3.1 任務(wù)說明
- 任務(wù)主題：論文代碼統(tǒng)計，統(tǒng)計所有論文出現(xiàn)代碼的相關(guān)統(tǒng)計；
- 任務(wù)內(nèi)容：使用正則表達式統(tǒng)計代碼連接、頁數(shù)和圖表數(shù)據(jù)；
- 任務(wù)成果：學(xué)習(xí)正則表達式統(tǒng)計；
3.2 數(shù)據(jù)處理步驟
在原始arxiv數(shù)據(jù)集中作者經(jīng)常會在論文的comments或abstract字段中給出具體的代碼鏈接，所以我們需要從這些字段里面找出代碼的鏈接。
- 確定數(shù)據(jù)出現(xiàn)的位置；
- 使用正則表達式完成匹配；
- 完成相關(guān)的統(tǒng)計；
3.3 正則表達式
正則表達式(regular expression)描述了一種字符串匹配的模式（pattern），可以用來檢查一個串是否含有某種子串、將匹配的子串替換或者從某個串中取出符合某個條件的子串等。
3.3.1普通字符
大寫字母和小寫字母，所有數(shù)字、所有標點符號和一些其他符號
| 字符 | 描述 |
|---|---|
| [ABC] | 匹配 […] 中的所有字符，例如 [aeiou] 匹配字符串 “google runoob taobao” 中所有的 i e o u a 字母。 |
| [^ABC] | 匹配除了 […] 中字符的所有字符，例如 [^aeiou] 匹配字符串 “google runoob taobao” 中除了 e o u a 字母的所有字母。 |
| [A-Z] | [A-Z] 表示一個區(qū)間，匹配所有大寫字母，[a-z] 表示匹配所有的小寫字母。 |
| . | 匹配出了換行符（\n,\r）以外的任何單個字符，相當(dāng)于[^\n\r] |
| [\s\S] | 匹配所有字符。\s是匹配所有空白符，包括換行，\S是匹配非空白符，包括換行 |
| \w | 匹配字母、數(shù)字、下劃線。等價于[A-Za-z0-9] |
3.3.2 有特殊含義的字符
| 特別字符 | 描述 |
|---|---|
| () | 標記一個子表達式的開始和結(jié)束位置。子表達式可以獲取供以后使用。要匹配這些字符，請使用(和)。 |
| * | 匹配前面的子表達式零次或多次。要匹配字符，請使用。 |
| + | 匹配前面的子表達式一次或多次。要匹配+字符，請使用+。 |
| . | 匹配除換行符 \n 之外的任何單字符。要匹配 . ，請使用 . 。 |
| [ | 標記一個中括號表達式的開始。要匹配 [，請使用 [。 |
| ? | 匹配前面的子表達式零次或一次，或指明一個非貪婪限定符。要匹配 ? 字符，請使用 ?。 |
| \ | 將下一個字符標記為或特殊字符、或原義字符、或向后引用、或八進制轉(zhuǎn)義符。例如， ‘n’ 匹配字符 ‘n’。’\n’ 匹配換行符。序列 ‘\’ 匹配 “”，而 ‘(’ 則匹配 “(”。 |
| ^ | 匹配輸入字符串的開始位置，除非在方括號表達式中使用，當(dāng)該符號在方括號表達式中使用時，表示不接受該方括號表達式中的字符集合。要匹配 ^ 字符本身，請使用 ^。 |
| { | 標記限定符表達式的開始。要匹配 {，請使用 {。 |
| \ | 指明兩項之間的一個選擇。要匹配\ ,請使用 \。 |
3.3.3 限定符
| 字符 | 描述 |
|---|---|
| * | 匹配前面的子表達式零次或多次。例如，zo* 能匹配 “z” 以及 “zoo”。* 等價于{0,}。 |
| + | 匹配前面的子表達式一次或多次。例如，‘zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等價于 {1,}。 |
| ? | 匹配前面的子表達式零次或一次。例如，“do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等價于 {0,1}。 |
| {n} | n 是一個非負整數(shù)。匹配確定的 n 次。例如，‘o{2}’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的兩個 o。 |
| {n,} | n 是一個非負整數(shù)。至少匹配n 次。例如，‘o{2,}’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o?！畂{1,}’ 等價于 ‘o+’?！畂{0,}’ 則等價于 ‘o*’。 |
| {n,m} | m 和 n 均為非負整數(shù)，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，“o{1,3}” 將匹配 “fooooood” 中的前三個 o?！畂{0,1}’ 等價于 ‘o?’。請注意在逗號和兩個數(shù)之間不能有空格。 |
3.4代碼操作
#導(dǎo)入所需的package并讀取原始數(shù)據(jù)
import seaborn as sns
from bs4 import BeautifulSoup # 用于爬取arxiv的數(shù)據(jù)
import re
import requests # 用于向網(wǎng)絡(luò)發(fā)送請求
import json
import pandas as pd # 數(shù)據(jù)處理和分析
import matplotlib.pyplot as plt # 畫圖工具
data = []
with open('arxiv-metadata-oai-snapshot.json','r') as f:
for idx, line in enumerate(f):
d = json.loads(line)
d = {'abstract':d['abstract'],'categories':d['categories'],'comments':d['comments']}
data.append(d)
data = pd.DataFrame(data)
data.head()
image.png
data['categories']
image.png
data['abstract'][1]
image.png
從獲取的信息可以看出comments里面包含pages和figures信息
3.4.1 對pages進行抽取
# 使用正則表達式進行匹配， xx pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))
data['pages'].head()
image.png
# 篩選出有pages的論文
data = data[data['pages'].apply(len)>0]
data
image.png
# 由于匹配得到的是一個list，如['19 pages'],需要進行轉(zhuǎn)換
data['pages']=data['pages'].apply(lambda x: float(x[0].replace('pages','')))
data['pages']
image.png
# 對pages進行統(tǒng)計
data['pages'].describe().astype(int)
image.png
統(tǒng)計結(jié)果如下：論文平均的頁數(shù)為17頁，75%的論文在22頁以內(nèi)，最長的論文有11232頁。
接下來按照分類統(tǒng)計論文頁數(shù)，選取了論文的第一個類別的主要類別：
# 選擇主要類別
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories']
image.png
# 只取.前面的字符串
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
data['categories']
image.png
# 每一類論文的平均頁數(shù)
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')
image.png
# 每一類論文的總頁數(shù)
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].sum().plot(kind='bar')
image.png
3.4.2 抽取論文圖表個數(shù)
figures和pages的獲取思路一致，都是在comments列下進行：正則》獲取有效的行》獲取實際的數(shù)值
data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures','')))
data.head()
image.png
# 按照論文類別進行統(tǒng)計
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['figures'].mean().plot(kind='bar')
image.png
3.4.3 抽取論文的代碼鏈接
論文代碼存在于comments或abstract之中,網(wǎng)址中通常包含'github'字符
# 篩選包含github的論文
data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True)]
data_with_code['text']=data_with_code['abstract'].fillna('')+data_with_code['comments'].fillna('')
data_with_code['text']
image.png
data_with_code['text'][253172]
image.png
閱讀上面的文本后發(fā)現(xiàn)論文代碼網(wǎng)址：http://nbarbey.github.com/TomograPy/
# 使用正則表達式匹配論文
patten = '[a-zA-Z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(patten).apply(len)
data_with_code['code_flag']
image.png
data_with_code['text'][254226]
image.png
data_with_code['text'][300298]
image.png
從上面的分析中可以看出按照正則表達式的要求：有效網(wǎng)址如下：https://github.com/dcasadei/psde
雖然統(tǒng)計結(jié)果為2，但是兩個是相同的網(wǎng)址
data_with_code=data_with_code[data_with_code['code_flag']==1]
data_with_code
image.png
# 可視化：按照論文類別統(tǒng)計code代碼個數(shù)
plt.figure(figsize=(12,6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')
image.png
