classpreprocessing.StandardScaler(copy=True, with_mean=True,with_std=True)
 # 屬性：
 # scale_：ndarray，縮放比例
 # mean_：ndarray，均值
 # var_：ndarray，方差
 # n_samples_seen_：int，已處理的樣本個(gè)數(shù)，調(diào)用partial_fit()時(shí)會(huì)累加，調(diào)用fit()會(huì)重設(shè)
 # 這里可以根據(jù)訓(xùn)練集進(jìn)行標(biāo)準(zhǔn)化,測(cè)試集沿用訓(xùn)練集的標(biāo)準(zhǔn)化方法!
 scaler = preprocessing.StandardScaler().fit(train_data)
 scaler.transform(train_data)
 scaler.transform(test_data)
 # 將每個(gè)特征值歸一化到一個(gè)固定范圍
 scaler = preprocessing.MinMaxScaler(feature_range=(0, 1)).fit(train_data)
 scaler.transform(train_data)
 scaler.transform(test_data)

classpreprocessing.MinMaxScaler(feature_range=(0, 1),copy=True)：
 # 屬性：
 # min_：ndarray，縮放后的最小值偏移量
 # scale_：ndarray，縮放比例
 # data_min_：ndarray，數(shù)據(jù)最小值
 # data_max_：ndarray，數(shù)據(jù)最大值
 # data_range_：ndarray，數(shù)據(jù)最大最小范圍的長(zhǎng)度

classpreprocessing.MaxAbsScaler(copy=True)：
 # 屬性：
 # scale_：ndarray，縮放比例
 # max_abs_：ndarray，絕對(duì)值最大值
 # n_samples_seen_：int，已處理的樣本個(gè)數(shù)

classpreprocessing.RobustScaler(with_centering=True,with_scaling=True, copy=True)：
 # 屬性：
 # center_：ndarray，中心點(diǎn)
 # scale_：ndarray，縮放比例

 # eg. 0.47619048 = 10 /(10+4+5+2)
 X = np.array([[10,4,5,2], [1,4,5,7]])
 X_normalized = preprocessing.normalize(X, norm='l1')
 X_normalized          
 array([[ 0.47619048, 0.19047619, 0.23809524, 0.0952381 ],
   [ 0.05882353, 0.23529412, 0.29411765, 0.41176471]])

 #L2 norm 是指對(duì)每個(gè)樣本的每一個(gè)元素都除以該樣本的L2范數(shù). 
 # eg. 0.4 = 1/sqrt(1+1+4)
 X = [[ 1., -1., 2.],
   [ 2., 0., 0.],
   [ 0., 1., -1.]]
 X_normalized = preprocessing.normalize(X, norm='l2')

 X_normalized          
 array([[ 0.40, -0.40, 0.81],
   [ 1. , 0. , 0. ],
   [ 0. , 0.70, -0.70]])

from sklearn.mode_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# arrays：樣本數(shù)組，包含特征向量和標(biāo)簽

# test_size：
#　　float-獲得多大比重的測(cè)試樣本 （默認(rèn)：0.25）
#　　int - 獲得多少個(gè)測(cè)試樣本
# train_size: 同test_size

# random_state: int - 隨機(jī)種子（種子固定，實(shí)驗(yàn)可復(fù)現(xiàn)）
　　
# shuffle - 是否在分割之前對(duì)數(shù)據(jù)進(jìn)行洗牌（默認(rèn)True）

# 擬合模型
model.fit(X_train, y_train)

# 模型預(yù)測(cè)
model.predict(X_test)

# 獲得這個(gè)模型的參數(shù)
model.get_params()

# 為模型進(jìn)行打分
model.score(data_X, data_y) 

from sklearn.linear_model import LinearRegression
 # 定義線性回歸模型
 model = LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)
 """
 fit_intercept：是否計(jì)算截距。False-模型沒(méi)有截距

 normalize： 當(dāng)fit_intercept設(shè)置為False時(shí)，該參數(shù)將被忽略。 如果為真，則回歸前的回歸系數(shù)X將通過(guò)減去平均值并除以l2-范數(shù)而歸一化。

  n_jobs：指定線程數(shù)
 """

from sklearn.linear_model import LogisticRegression
 # 定義邏輯回歸模型
 model = LogisticRegression(penalty='l2', dual=False, tol=0.0001, C=1.0, 
  fit_intercept=True, intercept_scaling=1, class_weight=None, 
  random_state=None, solver='liblinear', max_iter=100, multi_class='ovr', 
  verbose=0, warm_start=False, n_jobs=1)

 """
  penalty：使用指定正則化項(xiàng)（默認(rèn)：l2）
  dual: n_samples > n_features取False（默認(rèn)）
  C：正則化強(qiáng)度的反，值越小正則化強(qiáng)度越大
  n_jobs: 指定線程數(shù)
  random_state：隨機(jī)數(shù)生成器
  fit_intercept: 是否需要常量
 """

from sklearn import naive_bayes
 model = naive_bayes.GaussianNB() 
 model = naive_bayes.MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)
 model = naive_bayes.BernoulliNB(alpha=1.0, binarize=0.0, fit_prior=True, class_prior=None)
 """

  alpha：平滑參數(shù)
  fit_prior：是否要學(xué)習(xí)類的先驗(yàn)概率；false-使用統(tǒng)一的先驗(yàn)概率
  class_prior: 是否指定類的先驗(yàn)概率；若指定則不能根據(jù)參數(shù)調(diào)整
  binarize: 二值化的閾值，若為None，則假設(shè)輸入由二進(jìn)制向量組成
 """

from sklearn import tree 
 model = tree.DecisionTreeClassifier(criterion='gini', max_depth=None, 
  min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, 
  max_features=None, random_state=None, max_leaf_nodes=None, 
  min_impurity_decrease=0.0, min_impurity_split=None,
   class_weight=None, presort=False)
 """
  criterion ：特征選擇準(zhǔn)則gini/entropy
  max_depth：樹(shù)的最大深度，None-盡量下分
  min_samples_split：分裂內(nèi)部節(jié)點(diǎn)，所需要的最小樣本樹(shù)
  min_samples_leaf：葉子節(jié)點(diǎn)所需要的最小樣本數(shù)
  max_features: 尋找最優(yōu)分割點(diǎn)時(shí)的最大特征數(shù)
  max_leaf_nodes：優(yōu)先增長(zhǎng)到最大葉子節(jié)點(diǎn)數(shù)
  min_impurity_decrease：如果這種分離導(dǎo)致雜質(zhì)的減少大于或等于這個(gè)值，則節(jié)點(diǎn)將被拆分。
 """

 from sklearn.svm import SVC
 model = SVC(C=1.0, kernel='rbf', gamma='auto')
 """
  C：誤差項(xiàng)的懲罰參數(shù)C
  gamma: 核相關(guān)系數(shù)。浮點(diǎn)數(shù)，If gamma is ‘a(chǎn)uto' then 1/n_features will be used instead.
 """

 from sklearn import neighbors
 #定義kNN分類模型
 model = neighbors.KNeighborsClassifier(n_neighbors=5, n_jobs=1) # 分類
 model = neighbors.KNeighborsRegressor(n_neighbors=5, n_jobs=1) # 回歸
 """
  n_neighbors： 使用鄰居的數(shù)目
  n_jobs：并行任務(wù)數(shù)
 """

 from sklearn.neural_network import MLPClassifier
 # 定義多層感知機(jī)分類算法
 model = MLPClassifier(activation='relu', solver='adam', alpha=0.0001)
 """
  hidden_layer_sizes: 元祖
  activation：激活函數(shù)
  solver ：優(yōu)化算法{‘lbfgs', ‘sgd', ‘a(chǎn)dam'}
  alpha：L2懲罰(正則化項(xiàng))參數(shù)。
 """

 from sklearn.model_selection import cross_val_score
 cross_val_score(model, X, y=None, scoring=None, cv=None, n_jobs=1)
 """
  model：擬合數(shù)據(jù)的模型
  cv ： k-fold
  scoring: 打分參數(shù)-‘a(chǎn)ccuracy'、‘f1'、‘precision'、‘recall' 、‘roc_auc'、'neg_log_loss'等等
 """

from sklearn.model_selection import validation_curve
 train_score, test_score = validation_curve(model, X, y, param_name, param_range, cv=None, scoring=None, n_jobs=1)
 """
  model:用于fit和predict的對(duì)象
  X, y: 訓(xùn)練集的特征和標(biāo)簽
  param_name：將被改變的參數(shù)的名字
  param_range： 參數(shù)的改變范圍
  cv：k-fold

 """

 # 保存為pickle文件
 import pickle

 # 保存模型
 with open('model.pickle', 'wb') as f:
  pickle.dump(model, f)

 # 讀取模型
 with open('model.pickle', 'rb') as f:
  model = pickle.load(f)
 model.predict(X_test)

 # sklearn自帶方法joblib
 from sklearn.externals import joblib
 # 保存模型
 joblib.dump(model, 'model.pickle')
 #載入模型
 model = joblib.load('model.pickle')