섭씨 화씨 변환¶
섭씨를 화씨로 변환시키는 공식을 Single-layer Perceptron이 찾아나가게끔 하겠다.
먼저 -50~100 사이의 랜덤한 섭씨값 100개를 만들고 각각을 화씨로 변환한다.
import numpy as np
celsius = np.random.randint(low=-50, high=101, size=100)
fahrenheit = celsius * 1.8 + 32
print("celsius\n", celsius)
print("\n")
print("fahrenheit\n", fahrenheit)
- error공식은 단순히 label값과 예측값 차이들의 절댓값 평균을 사용하였다.
- 루프 중에 출력을 너무 자주하면 속도저하가 심하므로 10000번에 1번씩 출력한다.
- learning_rate를 잘 조절해주어야 변화의 폭이 너무 적어지는 현상이나 반대로 +와 -를 오가며 숫자가 한없이 커져가는 발산현상을 방지할 수 있다.
num_epoch = 1000000
w = 0
b = 0
learning_rate = 0.0001
for epoch in range(num_epoch):
fahrenheit_predict = celsius * w + b
error = np.abs(fahrenheit - fahrenheit_predict).mean()
if epoch % 10000 == 0:
print(f"{epoch}, {error:.5f}, weight = {w:.3f}, b = {b:.3f}")
if error < 1.0e-4:
break
w += learning_rate * ((fahrenheit - fahrenheit_predict) * celsius).mean()
b += learning_rate * (fahrenheit - fahrenheit_predict).mean()
print("-----" * 10)
print(f"{epoch}, {error:.5f}, weight = {w:.3f}, b = {b:.3f}")
결과를 보면 1.8과 32라는 값을 아주 잘 찾아내었음을 알 수 있다. 이렇게 찾아낸 weight값과 bias값을 이용해 섭씨가 주어지면 화씨를 예측할 수 있을 것이다. 비록 이 예시에서 사용된 섭씨와 화씨의 경우에는 1.8과 32가 포함된 관계식이 이미 존재하지만, 특징(ex 섭씨)과 그에 대한 결과(ex 화씨)만이 존재하는 다양한 사회현상, 자연현상, 데이터현상 등에 대해서도 적절한 weight값과 bias값을 찾아내어 새로주어지는 특징들로 결과가 어떻게 나올지 예측할 수도 있을 것이다.
우선 사이킷런의 boston dataset을 로드하고 그것에 관한 정보를 볼 수 있는 key값들을 살펴본다.
from sklearn.datasets import load_boston
boston = load_boston()
boston.keys()
feature가 담겨있는 data와 label이 담겨있는 target의 자료형이 무엇인지 조사해본다.
# load한 boston 데이터셋에 대한 여러가지 정보들을 보여준다.
for key in boston.keys():
print(f"---{key}---")
print(boston[key])
print("\n")
DESCR에서 Attribute들에 대한 설명을 번역하면 다음과 같다.
- CRIM: 자치 시(town) 별 1인당 범죄율
- ZN: 25,000 평방피트를 초과하는 거주지역의 비율
- INDUS: 비소매상업지역이 점유하고 있는 토지의 비율
- CHAS: 찰스강의 경계에 위치해 있으면 1, 그렇지 않으면 0
- NOX: 10ppm당 농축 일산화질소
- RM: 주택 1가구당 평균 방의 개수
- AGE: 1940년 이전에 건축된 소유주택의 비율
- DIS: 5개의 보스턴 직업센터까지의 접근성 지수
- RAD: 방사형 도로까지의 접근성 지수
- TAX: 10,000 달러 당 재산세율
- PTRATIO: 자치 시(town)별 학생/교사 비율
- B: 1000(Bk-0.63)^2 (여기서 Bk는 자치시별 흑인의 비율)
- LSTAT: 모집단의 하위계층 비율(%)
- MEDV: 본인 소유의 주택 가격(중앙값) (단위: $1,000)
출처: ai-times
또한 data와 target에 있는 값들의 형태와 양을 확인해보고 일부를 출력도 해본다.
X = boston['data']
print(X.shape)
X[0]
y = boston['target']
print(y.shape)
y[0:10]
DataFrame으로 데이터를 정리하여 좀 더 정돈된 상태에서 확인해보겠다.
import pandas as pd
df = pd.DataFrame(X, columns=boston['feature_names'])
df['MEDV'] = y
print(df.shape)
df.head()
Single-layer Perceptron이 찾은 weight값들과 bias값이 훈련한 데이터셋이 아닌 새로운 데이터셋에 대하여도 잘 적용되는지 확인할 수 있기위하여 전체 데이터의 70%는 훈련용, 30%는 테스트용으로 분리하겠다.
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
print("X_train :", X_train.shape)
print("X_test :", X_test.shape)
print("y_train :", y_train.shape)
print("y_test :", y_test.shape)
이제 본격적으로 Single-layer Perceptron코드를 작성해본다.
class SingleLayerPerceptron:
def __init__(self, n_estimators=100, learning_rate=1):
self.n_estimators = n_estimators
self.learning_rate = learning_rate
def fit(self, x, y, print_cycle=0, pass_error=0):
xT = x.T
w = np.full((1, x.shape[1]), 0, dtype=float)
b = 0
for epoch in range(self.n_estimators):
y_predict = w.dot(xT) + b
error = np.abs(y_predict - y).mean()
if (0 < print_cycle) and (epoch % print_cycle == 0):
print(f"epoch = {epoch}, error = {error:.5f}")
if (0 < pass_error) and (error < pass_error):
break
w -= self.learning_rate * (y_predict - y).dot(x) / x.shape[0]
b -= self.learning_rate * (y_predict - y).mean()
self.w = w
self.b = b
print(f"epoch = {epoch}, error = {error:.5f}")
for i in range(w.shape[1]):
print(f"w{i+1} = {w[0][i]}")
print(f"b = {b:.5f}")
def predict(self, x):
return self.w.dot(x.T) + self.b
클래스로부터 인스턴스를 생성한 후, 훈련시키고 그 결과를 확인한다.
model = SingleLayerPerceptron(n_estimators=int(1e+6), learning_rate=1e-6)
model.fit(X_train, y_train, print_cycle=int(1e+5), pass_error=5)
훈련한 데이터셋이 아닌 처음 접하는 테스트셋에 대하여도 준수한 에러율을 보인다.
y_predict_test = model.predict(X_test)
print("error =", np.abs(y_predict_test - y_test).mean())
'인공지능 > 이론 적용' 카테고리의 다른 글
| MNIST with multi-layer perceptron (0) | 2020.02.12 |
|---|---|
| Single-layer Perceptron for Multi-class Classification (0) | 2020.02.10 |