import numpy對數據進行操作,創(chuàng)建數組,生成隨機數
·numpy.concatenate()數據集成
import pandas導入數據,為數據指定索引,引用數據框,數據離散化
import matplotlib.pylab數據可視化,作圖(折線圖,散點圖,直方圖)
import pymysql連接數據庫
import jieba文本分析,加載詞典,分詞,標注詞性
from collections import defaultdict創(chuàng)建字典
from collections import?Counter統(tǒng)計詞頻
from gensim import corpora創(chuàng)建語料庫
from gensim import models引用模型(如TF-IDF模型)
from gensim import similarities計算矩陣/向量相似度
from os import listdir創(chuàng)建指定列表,查看路徑下所有文件
import random生成隨機數
from sklearnimport feature_selection預處理
from sklearn.preprocessing import StandardScaler標準化
from sklearn.preprocessing importMinMaxScaler歸一化
from sklearn.preprocessing importimputer缺失值插補
from sklearnimport decomposition降維
from sklearn?import metrics模型效果評估指標
from sklearn.metrics import classification_report分類模型評價報告
from sklearn.metrics import mean_squared_error使用均方誤差
from sklearn.feature_extraction.text import CountVectorizer文本向量化
from sklearn.model_selection import ?train_test_split訓練集和測試集分割
from sklearn.decomposition import PCA主成份分析
from sklearn.neighbors import KNeighborsClassifier創(chuàng)建KNN分類算法模型
from sklearn.neighbors import NearestNeighbors創(chuàng)建KNN回歸算法模型
from sklearn.linear_model import LinearRegression線性回歸
from sklearn.linear_model import LogisticRegression邏輯回歸
from sklearn.naive_bayes import GaussianNB高斯樸素貝葉斯
from sklearn.naive_bayes import MultinomialNB多項式樸素貝葉斯
from sklearn.datasets import fetch_20newsgroups自帶新聞數據集
from sklearn.tree import DecisionTreeClassifier分類樹
from sklearn.tree import DecisionTreeRegressor回歸樹
from sklearn.tree import export_graphviz決策樹生成dot文件
from sklearn import svm支持向量機
from sklearn.cluster import KMeans K-Means聚類分析
from sklearn.neural_network import MLPClassifier人工神經網絡分類模型
from sklearn.neural_network import MLPRegressor人工神經網絡回歸模型
from keras.models import Sequential利用深度學習的序列模型構建人工神經網絡模型
from keras.layers.core import Dense,Activation創(chuàng)建人工神經網絡模型的層與激活函數
from lxml import etree把數據源轉化為樹的模型
import re正則表達式
from selenium import webdriver使用phantomjs+selenium