2019年7月14日 星期日

Python實作各種水果分類器那一種最好？

本篇文章延續上一篇：用Python實作水果分類器

水果分類器採用機器學習的技巧來實作，因此可以看出所有的演算法都是把資料分成訓練組和測試組，大家不妨找出那一種分類法，所得到分數最高，就是比較適合水果分類的方法。

求邏輯迴歸(Logistic Regression)值：
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

from pandas.tools.plotting import scatter_matrix
from matplotlib import cm
feature_names = ['mass', 'width', 'height', 'color_score']
X = fruits[feature_names]
y = fruits['fruit_label']

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

from sklearn.linear_model import LogisticRegression
logreg = LogisticRegression()
logreg.fit(X_train, y_train)
print('Accuracy of Logistic regression classifier on training set: {:.2f}'
     .format(logreg.score(X_train, y_train)))
print('Accuracy of Logistic regression classifier on test set: {:.2f}'
     .format(logreg.score(X_test, y_test)))

執行結果：

決策樹(Decision Tree)：
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

from pandas.tools.plotting import scatter_matrix
from matplotlib import cm
feature_names = ['mass', 'width', 'height', 'color_score']
X = fruits[feature_names]
y = fruits['fruit_label']

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)


from sklearn.tree import DecisionTreeClassifier

clf = DecisionTreeClassifier().fit(X_train, y_train)

print('Accuracy of Decision Tree classifier on training set: {:.2f}'
     .format(clf.score(X_train, y_train)))
print('Accuracy of Decision Tree classifier on test set: {:.2f}'
     .format(clf.score(X_test, y_test)))

執行結果：

設置最大決策樹深度有助於避免過度擬合(Overfitting)：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

from pandas.tools.plotting import scatter_matrix
from matplotlib import cm
feature_names = ['mass', 'width', 'height', 'color_score']
X = fruits[feature_names]
y = fruits['fruit_label']

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)


from sklearn.tree import DecisionTreeClassifier
clf2 = DecisionTreeClassifier(max_depth=3).fit(X_train, y_train)
print('Accuracy of Decision Tree classifier on training set: {:.2f}'
     .format(clf2.score(X_train, y_train)))
print('Accuracy of Decision Tree classifier on test set: {:.2f}'
     .format(clf2.score(X_test, y_test)))
執行結果：

K-最近鄰居法(K-Nearest Neighbors)：
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

from pandas.tools.plotting import scatter_matrix
from matplotlib import cm
feature_names = ['mass', 'width', 'height', 'color_score']
X = fruits[feature_names]
y = fruits['fruit_label']

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)


from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier()
knn.fit(X_train, y_train)
print('Accuracy of K-NN classifier on training set: {:.2f}'
     .format(knn.score(X_train, y_train)))
print('Accuracy of K-NN classifier on test set: {:.2f}'
     .format(knn.score(X_test, y_test)))

執行結果：


線性區別分析(

Linear Discriminant Analysis)：
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

from pandas.tools.plotting import scatter_matrix
from matplotlib import cm
feature_names = ['mass', 'width', 'height', 'color_score']
X = fruits[feature_names]
y = fruits['fruit_label']

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
lda = LinearDiscriminantAnalysis()
lda.fit(X_train, y_train)
print('Accuracy of LDA classifier on training set: {:.2f}'
     .format(lda.score(X_train, y_train)))
print('Accuracy of LDA classifier on test set: {:.2f}'
     .format(lda.score(X_test, y_test)))

執行結果：


單純貝氏分類器(Gaussian Naive Bayes)：
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

from pandas.tools.plotting import scatter_matrix
from matplotlib import cm
feature_names = ['mass', 'width', 'height', 'color_score']
X = fruits[feature_names]
y = fruits['fruit_label']

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()
gnb.fit(X_train, y_train)
print('Accuracy of GNB classifier on training set: {:.2f}'
     .format(gnb.score(X_train, y_train)))
print('Accuracy of GNB classifier on test set: {:.2f}'
     .format(gnb.score(X_test, y_test)))

執行成果：


支撐向量機(support vector machine, SVM)：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

from pandas.tools.plotting import scatter_matrix
from matplotlib import cm
feature_names = ['mass', 'width', 'height', 'color_score']
X = fruits[feature_names]
y = fruits['fruit_label']

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

from sklearn.svm import SVC
svm = SVC()
svm.fit(X_train, y_train)
print('Accuracy of SVM classifier on training set: {:.2f}'
     .format(svm.score(X_train, y_train)))
print('Accuracy of SVM classifier on test set: {:.2f}'
     .format(svm.score(X_test, y_test)))

執行結果：

於 沒有留言:

2019年7月13日 星期六

用百香果資料串列來學習Python的分支

可以改變果重變數值的內容：
1
2
3
果重 = 89
大小規格='大（L）' if 果重 > 80 else '中（M）' if 果重 > 60 else '小（S）'
print(大小規格)

執行結果：

於 沒有留言:

用Python實作水果分類器

程式原始碼：https://github.com/susanli2016/Machine-Learning-with-Python/blob/master/Solving%20A%20Simple%20Classification%20Problem%20with%20Python.ipynb

水果資料來源：https://github.com/susanli2016/Machine-Learning-with-Python/blob/master/fruit_data_with_colors.txt

我們先滙入pandas和matplotlib.pyplot函式，分別用來處理資料以及繪製統計圖。首先我們先使用read_table函式來讀取fruit_data_with_colors.txt的資料，並把資料集存在fruits變數中，然後呼叫head()讀取資料前五筆資料，其程式如下：

1
2
3
4
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')
print(fruits.head())

執行結果：



若要資料集的輪廓，可以讀取shape，其程式如下：

1
2
3
4
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')
print(fruits.shape)

執行結果：共有59筆資料，有7個欄位。

若想要知道資料集中有幾種水果，可以先讀取fruit_name欄位中的資料，再使用unique()來過濾掉重覆值。

1
2
3
4
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')
print(fruits['fruit_name'].unique())

執行結果：可以看出四種水果

接下來我們來繪製數量統計圖，這時我們採用seaborn函式庫。

1
2
3
4
5
6
7
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

import seaborn as sns
sns.countplot(fruits['fruit_name'],label="Count")
plt.show()

執行結果：

為了觀察資料的變異值，我們選用盒鬚圖來繪製。

1
2
3
4
5
6
7
8
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

fruits.drop('fruit_label', axis=1).plot(kind='box', subplots=True, layout=(2,2), sharex=False, sharey=False, figsize=(9,9),
    title='Box Plot for each input variable')
plt.savefig('fruits_box')
plt.show()

執行結果：


接下來我們使用直方圖來表示各輸入值的分佈情形：
1
2
3
4
5
6
7
8
9
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

import pylab as pl
fruits.drop('fruit_label' ,axis=1).hist(bins=30, figsize=(9,9))
pl.suptitle("Histogram for each numeric input variable")
plt.savefig('fruits_hist')
plt.show()

執行結果：

我們來看看各變數間的相依關係：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

from pandas.tools.plotting import scatter_matrix
from matplotlib import cm
feature_names = ['mass', 'width', 'height', 'color_score']
X = fruits[feature_names]
y = fruits['fruit_label']
cmap = cm.get_cmap('gnuplot')
scatter = pd.scatter_matrix(X, c = y, marker = 'o', s=40, hist_kwds={'bins':15}, figsize=(9,9), cmap = cmap)
plt.suptitle('Scatter-matrix for each input variable')
plt.savefig('fruits_scatter_matrix')
plt.show()

執行結果：

求邏輯迴歸分類值：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import pandas as pd
import matplotlib.pyplot as plt
fruits = pd.read_table('fruit_data_with_colors.txt')

from pandas.tools.plotting import scatter_matrix
from matplotlib import cm
feature_names = ['mass', 'width', 'height', 'color_score']
X = fruits[feature_names]
y = fruits['fruit_label']

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

from sklearn.linear_model import LogisticRegression
logreg = LogisticRegression()
logreg.fit(X_train, y_train)
print('Accuracy of Logistic regression classifier on training set: {:.2f}'
     .format(logreg.score(X_train, y_train)))
print('Accuracy of Logistic regression classifier on test set: {:.2f}'
     .format(logreg.score(X_test, y_test)))

執行結果：

對於有關其他統計分析可以參考：http://www.atyun.com/14092.html

於 沒有留言:

2019年7月7日 星期日

用百香果資料串列來學習Python的迴圈

參考1：How to loop with indexes in Python
參考2：從百香果分級來看Python的List串列資料結構

在Python語言中，迴圈就屬while和for兩種，我們先從while開始介紹，從參考2中，可以得知使用PassionFruit用串列方式來儲存資料。首先我們先使用一個計數器的變數i，第三行程式將i歸零，第5行程式，呼叫len()來取得串列儲存資料的個數，因此當計數器i小於List的長度時，把計數當成索引值來讀取PassionFruit串列的內容。

1
2
3
4
5
6
7
PassionFruit=['適用範圍','改良種','統一編碼','2030200000515','品名代碼','51']

i=0

while i<len(PassionFruit):
    print(PassionFruit[i])
    i+=1

執行結果：

第二種寫法，我們採用for指令，搭配range()來產生從0到len()-1的數字，這些數字會依序放在i變數中，因此就可以用i當成索引值來讀取PassionFruit的資料。

1
2
3
4
PassionFruit=['適用範圍','改良種','統一編碼','2030200000515','品名代碼','51']

for i in range(len(PassionFruit)):
    print(PassionFruit[i])

第三種寫法是最常用的，直接利用逐一檢視串列中的元素。
1
2
3
4
PassionFruit=['適用範圍','改良種','統一編碼','2030200000515','品名代碼','51']

for item in PassionFruit:
    print(item)

第四種再使用索引值。
1
2
3
4
PassionFruit=['適用範圍','改良種','統一編碼','2030200000515','品名代碼','51']

for i in range(len(PassionFruit)):
    print("PassionFruit {}: {}".format(i + 1, PassionFruit[i]))

執行結果：

最後一種採用列舉的方式，會把總共有多少的數量傳給num變數，然後再逐一的讀取串列中每個元素。
1
2
3
4
PassionFruit=['適用範圍','改良種','統一編碼','2030200000515','品名代碼','51']

for num, item in enumerate(PassionFruit):
    print("{}: {}".format(num, item))

執行結果：

於 沒有留言:
訂閱： 文章 (Atom)
  • 防蟲叮咬小秘訣
    作者： 邱智煜         記得前一陣子在果園裡，那第一顆果實出現的時候，大家是多麼的歡欣鼓舞，隨著結果數越來越多，大家也對接下來的進展非常的期待，然而，突然出現了讓人預期不到的情況↓ 被果蠅入住了 !!! ------------------...
  • 百香果苗結花苞，要注意小心太早熟會長不大
    今天鄭鳳池、鄭勝仁父子從埔里到校來看本校的百香果果園， 鄭 勝仁先生隨手從百香果苗摘下一小片，告訴我百香果已經在開花， 專家就是不一樣，百香果USR計畫團隊成員天天看，都沒有注意到剛種下去的百香果苗已經快開花了。 鄭 勝仁先生說花苞要摘除，避免百香果太早熟長...
  • 一堆不可以重複以及改變值的資料的集合可用來百香果分級判斷
    集合中元素具備沒有順序的特性，因此無法像串列(List)一樣可以用索引算符或切片方式來存取，當然不能使用串接算符+和重複算符*，集合常用的算符是in和not in，用來判斷元素是否在集合中。 範例一：集合會過濾掉重複的元素 passionFruit={'同一品種&#...
  • 百香果種苗與產業現況暨無農藥安全管理專題演講座談
    延續去年 7 月 2 日在合成里 百香果資源永續論壇暨指導委員會議 ，今年 5 月 9 日，我們再度邀請陳金枝博士和蔡志濃博士前來。在校園第二會議室，兩位博士分別以各自專精領域 台灣百香果產業現況及健康種苗體系、百香果非農藥安全管理 與聽眾分享。 會前交流 陳...
  • 借力使力，政府讓你「靠」，智慧開鄉-城鄉躍升推動計畫分享
      撰稿 、攝影 : 白雁菱      2020年11月30日南開科技大學林正敏副校長帶領南投百香果資源永續之煉銀網平台計畫助理群，一同參與紅點創客股份有限公司在台中市北區創業學苑舉辦之「借力使力，政府讓你『靠』，智慧開鄉-城鄉躍升推動計畫」分享會。         本次分享會由...
  • 沙巴地區臺灣休閒農業暨青年創業研習營分享百香果USR成果
    今年有2位南開科技大學電機與資訊技術系同學考上國立台灣科技大學研究所，成為敏哥的學弟，他們是從馬來西亞來台求學南開人，在南開求學四年，在大三時加入百香果USR計畫。今年指導七位馬來西亞的南開人，用南開百香啤酒以及南瓜牛奶冰淇淋創業。 這兩年跟沙巴地區特別有緣，還記去年在彭會長的邀...
  • Python一下百香果故鄉在南投埔里
    在今年元旦敏哥曾發表" 用Python來撰寫顯示今天百香果市場交易情形的程式 "，雖然短短幾行程式可以用來讀取蔬果市場百香果的交易情形，但對於初學者而言，還是太難了，因此今天利用白天放學時間，距離晚上上課還有一些時間，來把程式說明更詳細一點。 1.Pyth...
  • 百香果分級標準居然可以用不可更改的元組來表示
    串列使用中括號[]來當容器，元組(Tuple)則用小括號()來表示。為何有了串列，何需要元組，這是因為在許多場合下，有些資料是不可以改變。 範例一：用小括號()來表示元組(Tuple) PassionFruit=(('大（L）','80以上'...
  • 迎接南開校園新嬌客--百香果種植花絮
                                                                                                   撰稿：周麗楨   攝影：洪崇彬 周麗楨 3 月 15 日第二次會議後，計...
  • 南開科技大學首創百香果微學分5/2日登場，由百香果種植專家鄭鳳池父子聯手鳴槍
    智慧百香果園建置與行銷微學分課程即將在 南開科技大學 H3廣場 前的百香果園開設，107年5月2日將由百香果種植專家鄭鳳池、鄭勝仁父子聯手上第一堂課，教導同學認識水果之王百香果以及如何為搭建百香果株搭建棚架。 鄭鳳池、鄭勝仁父子從事百香果種植合計年資有30年，第一次從農夫...