python爬蟲小技巧

Python基本數(shù)據(jù)類型

同步滾動(dòng):關(guān)

Python補(bǔ)充02 Python小技巧

在這里列舉一些我使用Python時(shí)積累的小技巧。這些技巧是我在使用Python過程中經(jīng)常使用的。之前很零碎的記在筆記本中,現(xiàn)在整理出來,和大家分享,也作為Python快速教程的一個(gè)補(bǔ)充。

import模塊

在Python經(jīng)常使用import聲明,以使用其他模塊(也就是其它.py文件)中定義的對(duì)象。

  1. 使用name
    當(dāng)我們編寫Python庫模塊的時(shí)候,我們往往運(yùn)行一些測試語句。當(dāng)這個(gè)程序作為庫被import的時(shí)候,我們并不需要運(yùn)行這些測試語句。一種解決方法是在import之前,將模塊中的測試語句注釋掉。Python有一種更優(yōu)美的解決方法,就是使用name。
    下面是一個(gè)簡單的庫程序TestLib.py。當(dāng)直接運(yùn)行TestLib.py時(shí),name為"main"。如果被import的話,name為"TestLib"。
def lib_func(a):
return a + 10
def lib_func_another(b):
 return b + 20
if __name__ == '__main__':
test = 101
print(lib_func(test))

我們?cè)趗ser.py中import上面的TestLib。

import TestLib
print(TestLib.lib_func(120))

你可以嘗試不在TestLib.py中使用if name=='main', 并對(duì)比運(yùn)行結(jié)果。

  1. 更多import使用方式
    import TestLib as test # 引用TestLib模塊,并將它改名為t
    比如:
import TestLib as t
print(t.lib_func(120))

from TestLib import lib_func # 只引用TestLib中的lib_func對(duì)象,并跳過TestLib引用字段
這樣的好處是減小所引用模塊的內(nèi)存占用。
比如:

from TestLib import lib_func
print(lib_func(120))

from TestLib import * # 引用所有TestLib中的對(duì)象,并跳過TestLib引用字段
比如:

from TestLib import *
print(lib_func(120))

查詢

  1. 查詢函數(shù)的參數(shù)
    當(dāng)我們想要知道某個(gè)函數(shù)會(huì)接收哪些參數(shù)的時(shí)候,可以使用下面方法查詢。
import inspect
print(inspect.getargspec(func))
  1. 查詢對(duì)象的屬性
    除了使用dir()來查詢對(duì)象的屬性之外,我們可以使用下面內(nèi)置(built-in)函數(shù)來確認(rèn)一個(gè)對(duì)象是否具有某個(gè)屬性:
    hasattr(obj, attr_name) # attr_name是一個(gè)字符串
    例如:
a = [1,2,3]
print(hasattr(a,'append'))
  1. 查詢對(duì)象所屬的類和類名稱
a = [1, 2, 3]
print a.__class__
print a.__class__.__name__
  1. 查詢父類
    我們可以用base屬性來查詢某個(gè)類的父類:
    cls.base
    例如:
print(list.__base__)

使用中文(以及其它非ASCII編碼)

在Python程序的第一行加入#coding=utf8,例如:

#coding=utf8
print("你好嗎?")

也能用以下方式:

#-*- coding: UTF-8 -*-
print("你好嗎?")

表示2進(jìn)制,8進(jìn)制和16進(jìn)制數(shù)字

在2.6以上版本,以如下方式表示

print(0b1110)     # 二進(jìn)制,以0b開頭
print(0o10)       # 八進(jìn)制,以0o開頭
print(0x2A)       # 十六進(jìn)制,以0x開頭

如果是更早版本,可以用如下方式:

"""
778570108 群里有志同道合的小伙伴,互幫互助。群里有視頻學(xué)習(xí)教程和PDF,一起學(xué)習(xí),共同進(jìn)步!
加群免費(fèi)獲取數(shù)十套PDF資料,助力python學(xué)習(xí)
"""
print(int("1110", 2))
print(int("10", 8))
print(int("2A", 16))

注釋

一行內(nèi)的注釋可以以#開始

多行的注釋可以以'''開始,以'''結(jié)束,比如

'''
This is demo
'''
def func():
# print something
print("Hello world!")  # use print() function
# main
func()

注釋應(yīng)該和所在的程序塊對(duì)齊。

搜索路徑

當(dāng)我們import的時(shí)候,Python會(huì)在搜索路徑中查找模塊(module)。比如上面import TestLib,就要求TestLib.py在搜索路徑中。
我們可以通過下面方法來查看搜索路徑:

import sys
print(sys.path)

我們可以在Python運(yùn)行的時(shí)候增加或者刪除sys.path中的元素。另一方面,我們可以通過在shell中增加PYTHONPATH環(huán)境變量,來為Python增加搜索路徑。
下面我們?cè)黾?home/vamei/mylib到搜索路徑中:
[圖片上傳失敗...(image-c22894-1560848100431)]
PYTHONPATH:/home/vamei/mylib
你可以將正面的這行命令加入到~/.bashrc中。這樣,我們就長期的改變了搜索路徑。

腳本與命令行結(jié)合

可以使用下面方法運(yùn)行一個(gè)Python腳本,在腳本運(yùn)行結(jié)束后,直接進(jìn)入Python命令行。這樣做的好處是腳本的對(duì)象不會(huì)被清空,可以通過命令行直接調(diào)用。
$python -i script.py
安裝非標(biāo)準(zhǔn)包
Python的標(biāo)準(zhǔn)庫隨著Python一起安裝。當(dāng)我們需要非標(biāo)準(zhǔn)包時(shí),就要先安裝。

  1. 使用Linux repository (Linux環(huán)境)
    是安裝Python附加包的一個(gè)好的起點(diǎn)。你可以在Linux repository中查找可能存在的Python包 (比如在Ubuntu Software Center中搜索matplot)。
  2. 使用pip。pip是Python自帶的包管理程序,它連接Python repository,并查找其中可能存在的包。
    比如使用如下方法來安裝、卸載或者升級(jí)web.py:
    pip install web.pypip uninstall web.py
    pip install --upgrade web.py 果你的Python安裝在一個(gè)非標(biāo)準(zhǔn)的路徑(使用which python來確認(rèn)python可執(zhí)行文件的路徑)中,比如/home/vamei/util/python/bin中,你可以使用下面方法設(shè)置pip的安裝包的路徑:
    pip install --install-option="--prefix=/home/vamei/util/" web.py
  3. 從源碼編譯
    如果上面方法都沒法找到你想要的庫,你可能需要從源碼開始編譯。Google往往是最好的起點(diǎn)。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 一、Python簡介和環(huán)境搭建以及pip的安裝 4課時(shí)實(shí)驗(yàn)課主要內(nèi)容 【Python簡介】: Python 是一個(gè)...
    _小老虎_閱讀 6,311評(píng)論 0 10
  • 作者:Vamei 出處:http://www.cnblogs.com/vamei 歡迎轉(zhuǎn)載,也請(qǐng)保留這段聲明。謝謝...
    龍皓晨閱讀 262評(píng)論 0 0
  • 有一些網(wǎng)站會(huì)設(shè)置訪問閾值,也就是說,如果一個(gè)IP訪問速度超過這個(gè)閾值,那么網(wǎng)站就會(huì)認(rèn)為,這是一個(gè)爬蟲程序,而不是用...
    NewForMe閱讀 4,086評(píng)論 0 3
  • [TOC] 最開始寫程序的時(shí)候,都是一個(gè)文件里輸入幾行源碼(python 的一個(gè) web 框架bottle就特別強(qiáng)...
    人世間閱讀 5,884評(píng)論 1 10
  • 模塊和包 一 模塊 1 什么是模塊? 常見的場景:一個(gè)模塊就是一個(gè)包含了python定義和聲明的文件,文件名就是...
    go以恒閱讀 2,338評(píng)論 0 4

友情鏈接更多精彩內(nèi)容