python3_demo
python 基礎(chǔ)性demo
webdriver selectium
python logging
python copy
python yaml
python configparser
python Numpy
Python Pandas
Python TerminalClient
Python StaticMethod Method
Python Crawler Demos
Python Ftp
matplotlib
Python Mysql
Python unittest appium
Python Scapy
Python Scrapy 注意和上面的庫只差了一個字母
{Python :
...............OpenCV 人臉識別,
.............copyheader優(yōu)化Scrapy的lib,
.............. 比特幣掃描}
不定期更新
使用地址
比較厲害的例子
第三方庫 third_lib
- OpenCV demo,二維碼識別
- Appium unitest 測試用 webdriver
- bitcoinexchangefh 比特幣掃描下載入庫
- python-ConfigParser 客戶端交互
- python-Yaml 客戶端配置文件交互
- IP 掃描
- 服務(wù)其定位獲取服務(wù)器信息
- Scrapy-itzhaopin 抓取騰訊的招聘信息入庫,或者json文件
參考文章
- opencv
工具總結(jié)
ipynb 文件很好奇,那么你用下面的方式就比較舒服了
通過安裝ipython 和jupyter
安裝命令如下:
sudo pip install ipython --upgrade
sudo pip install jupyter
接下來只需要在終端中輸入:jupyter notebook
Pillow
PIL：Python Imaging Library，已經(jīng)是Python平臺事實上的圖像處理標(biāo)準(zhǔn)庫了。PIL功能非常強大，但API卻非常簡單易用。
由于PIL僅支持到Python 2.7，加上年久失修，于是一群志愿者在PIL的基礎(chǔ)上創(chuàng)建了兼容的版本，名字叫Pillow，支持最新Python 3.x，又加入了許多新特性，因此，我們可以直接安裝使用Pillow。
pip3 install pillow
requests
Python內(nèi)置的urllib模塊，用于訪問網(wǎng)絡(luò)資源。但是，它用起來比較麻煩，而且，缺少很多實用的高級功能。
更好的方案是使用requests。它是一個Python第三方庫，處理URL資源特別方便。
$ pip3 install requests
chardet
字符串編碼一直是令人非常頭疼的問題，尤其是我們在處理一些不規(guī)范的第三方網(wǎng)頁的時候。雖然Python提供了Unicode表示的str和bytes兩種數(shù)據(jù)類型，并且可以通過encode()和decode()方法轉(zhuǎn)換，但是，在不知道編碼的情況下，對bytes做decode()不好做。
對于未知編碼的bytes，要把它轉(zhuǎn)換成str，需要先“猜測”編碼。猜測的方式是先收集各種編碼的特征字符，根據(jù)特征字符判斷，就能有很大概率“猜對”。
當(dāng)然，我們肯定不能從頭自己寫這個檢測編碼的功能，這樣做費時費力。chardet這個第三方庫正好就派上了用場。用它來檢測編碼，簡單易用。
$ pip3 install chardet
psutil
用Python來編寫腳本簡化日常的運維工作是Python的一個重要用途。在Linux下，有許多系統(tǒng)命令可以讓我們時刻監(jiān)控系統(tǒng)運行的狀態(tài)，如ps，top，free等等。要獲取這些系統(tǒng)信息，Python可以通過subprocess模塊調(diào)用并獲取結(jié)果。但這樣做顯得很麻煩，尤其是要寫很多解析代碼。
在Python中獲取系統(tǒng)信息的另一個好辦法是使用psutil這個第三方模塊。顧名思義，psutil = process and system utilities，它不僅可以通過一兩行代碼實現(xiàn)系統(tǒng)監(jiān)控，還可以跨平臺使用，支持Linux／UNIX／OSX／Windows等，是系統(tǒng)管理員和運維小伙伴不可或缺的必備模塊。
$ pip3 install psutil
Web 框架 flask
由于用Python開發(fā)一個Web框架十分容易，所以Python有上百個開源的Web框架。這里我們先不討論各種Web框架的優(yōu)缺點，直接選擇一個比較流行的Web框架——Flask來使用。
pip3 install flask
Flask自帶的Server在端口5000上監(jiān)聽：
模板
和Web框架類似，Python的模板也有很多種。Flask默認(rèn)支持的模板是jinja2，所以我們先直接安裝jinja2：
pip3 install jinja2
異步IO
asyncio是Python 3.4版本引入的標(biāo)準(zhǔn)庫，直接內(nèi)置了對異步IO的支持。
asyncio的編程模型就是一個消息循環(huán)。我們從asyncio模塊中直接獲取一個EventLoop的引用，然后把需要執(zhí)行的協(xié)程扔到EventLoop中執(zhí)行，就實現(xiàn)了異步IO。
aiohttp 框架
asyncio可以實現(xiàn)單線程并發(fā)IO操作。如果僅用在客戶端，發(fā)揮的威力不大。如果把asyncio用在服務(wù)器端，例如Web服務(wù)器，由于HTTP連接就是IO操作，因此可以用單線程+coroutine實現(xiàn)多用戶的高并發(fā)支持。
asyncio實現(xiàn)了TCP、UDP、SSL等協(xié)議，aiohttp則是基于asyncio實現(xiàn)的HTTP框架。
pip3 install aiohttp
最簡單的服務(wù)器
進入某個文件目錄，這個目錄就可以用網(wǎng)絡(luò)訪問
python 2 和 python3 略有不同
python2 命令
python -m SimpleHTTPServer 8088
python3 命令
python3 -m http.server 8888
Scrapy 爬蟲框架
已經(jīng)支持到了python3
https://doc.scrapy.org/en/latest/intro/install.html#intro-install
virtualenv
python 的隔離環(huán)境
Python3中的str.decode(‘hex’)
在Python2.x中經(jīng)常使用str_obj.decode(‘hex’)在Python3.x中無法使用了。
在Python3.x中可以使用codecs.decode(str_obj, ‘hex_codec’)。
httpbin
(在線測試:http://httpbin.org/)
Installing and running from PyPI
You can install httpbin as a library from PyPI and run it as a WSGI app. For example, using Gunicorn:
$ pip install httpbin
$ gunicorn httpbin:app
OpenCV
https://www.pyimagesearch.com/2015/06/29/install-opencv-3-0-and-python-3-4-on-osx/
beautifulsoup4 解釋器
Beautiful Soup支持Python標(biāo)準(zhǔn)庫中的HTML解析器,還支持一些第三方的解析器，如果我們不安裝它，則 Python 會使用 Python默認(rèn)的解析器，lxml 解析器更加強大，速度更快，推薦安裝。
pip3 install beautifulsoup4
https://cuiqingcai.com/1319.html
html5lib 解釋器
另一個可供選擇的解析器是純Python實現(xiàn)的 html5lib , html5lib的解析方式與瀏覽器相同,可以選擇下列方法來安裝html5lib:
Scrapy 依賴的python庫
Things that are good to know
Scrapy is written in pure Python and depends on a few key Python packages (among others):
● lxml, an efficient XML and HTML parser
● parsel, an HTML/XML data extraction library written on top of lxml,
● w3lib, a multi-purpose helper for dealing with URLs and web page encodings
● twisted, an asynchronous networking framework
● cryptography and pyOpenSSL, to deal with various network-level security needs
pyPdf python-nmap pygeoip mechanize
