minhui study

Pytorch에서_ Tensorboard import os from glob import glob import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import Dataset, DataLoader import numpy as np from PIL import Image seed = 1 lr = 0.001 momentum = 0.5 batch_size = 64 test_batch_size = 64 epochs = 1000 no_cuda = False log_interva..

post_process_history TensorFlow 2.0 → Hyperparameter Tunning → Build Model → Data Preprocess → Training History 들여다 보기 history.history.keys() history.params mew_model = history.model plt.plot(history.history['accuracy']) plt.plot(history.history['val_accuracy']) plt.title("Model Accuracy") plt.ylabel("accuracy") plt.xlabel("epoch") plt.legend(['train', 'validation']) plt.show post_process_predic..

Callback이란? 모델을 훈련시키는 일은 대체적으로 오랜 시간이 걸린다. Tensorflow가 기본적인 Log를 출력해주기는 하지만 훈련이 끝날 때까지 기다리기만 하지 않고 모델을 훈련시키는 동안 어떤 이벤트들이 발생하면 개발자가 원하는 동작을 수행할 수 있는 방법을 Tensorflow가 제공하고 있다. 이 때 개발자가 원하는 동작을 Callback이라고 부른다. 즉, TensorFlow 2.0 → Hyperparameter Tunning → Build Model → Data Preprocess 먼저 필요한 모듈들을 호출하고 파라미터 값들을 지정해준 후에 model 빌드한다. 그 후 데이터 전처리 과정을 거친 후 training을 시키면서 다음의 callbacks 코드를 실행시켜 TensorBoard..

Load Image & Make Batch tf.data Batch로 묶기 Shuffle하기 Label하고 같이 넣기 tensorflow함수로 label얻기 Fit with tf.data Tensorflow 2.0 Hyperparameter Tunning Build Model Data Preprocess * 이미지를 transformed했을 때 Training

flow_from_dataframe(DataFrame 만들기) 파이썬 문자열 관련 함수 사용 os glob replace split join strip class 이름 얻은 것을 함수로 묶기 Class 수 확인 → 시각화해서 확인해보기 DataFrame 생성 파이썬에서 csv 또는 excel을 다룰 때 사용되는 library 주로 엑셀과 같이 테이블 형식으로 되어있는 데이터들을 다룬다. DataFrame 생성 방법 ▶ train용 path ▶ test용 path 만들어진 DataFrame저장 index는 앞에 index가 csv 안에서 앞에 저장이 되지 않도록 하기 위함 Data 확인 DataFrame 적용하여 학습시키기 Hyperparameter Tunning Preprocess * flow_from_..

fit_generator - Image Transformation Load Image Set Data Generator Transformation ImageDataGenerator property width_shift_range : move in horizontal range height_shift_range : move in vertical range rotation_range : rotation within the angular range brightness_range zoom_range : zoom in/out of image in range horizontal_flip : flip image horizontally vertical_flip : flip image vertically rescale ..

데이터 준비 및 이미지 분석 데이터 준비 데이터 분석 - Label 0의 데이터 갯수 확인 - Label 1의 데이터 갯수 확인 ▷ 데이터 별 갯수 비교 Pillow로 열기 TensorFlow로 열기 Label 얻기 데이터 이미지 사이즈 알기 데이터의 학습에 대한 이해 Batch - Epoch이란? : 전체 sample 데이터를 이용하여 한 바퀴 돌며 학습하는 것을 1회 epoch이라 부른다. 따라서 2 epochs은 전체 sample을 이용하여 두 바퀴를 돌며 학습한 것이다. - Step이란? : Weight와 Bias를 1회 업데이트하는 것을 1 Step이라 부른다. ​ - Batch Size란? : 1회 Step에서 사용한 데이터의 수이다. 따라서 Batch Size가 100이라고 가정하고 Step..

PyTorch : Optimization & Training * 랜덤 생성에 사용되는 시드(seed)는 torch.manual_seed() 명령으로 설정 * batch size : 한 번의 batch(데이터셋)마다 주는 데이터 샘플의 size * iteration : epoch를 나누어서 실행하는 횟수 Preprocess 파이토치에서는 데이터를 좀 더 쉽게 다룰 수 있도록 유용한 도구로서 데이터셋(Dataset)과 데이터로더(DataLoader)를 제공한다. 이를 사용하면 미니 배치 학습, 데이터 셔플(shuffle), 병렬 처리까지 간단히 수행할 수 있다. 기본적인 사용 방법은 Dataset을 정의하고, 이를 DataLoader에 전달하는 것이다. Model - nn.Module은 신경망 모듈로 매개변..