Machine Learning , AI, Arduino Coding

TRANSFER LEARNING FOR COMPUTER VISION TUTORIAL: PyTorch 홈페이지의 이 예제 블로그를 참조하여 해설하기로 한다. https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html 메서드(method) train_model을 준비하자. LRscheduler(Learning Rate scheduler) 가 사용된다. 학습횟수가 커질수록 learning rate 값이 조절되된다. device에 데이터 입력 과정과 아울러 optimizer.zero_grad() 명령에 의한 기울기 값 초기화로 부터 시작하여 PyTorch 특유의 backpropagation 포함 학습 알고리듬이 준비된다. 만약 Transfer ..

구글의 번역 알고리듬에는 앞서 기술된 LSTM 어텐션 알고리듬뿐만 아니라 더욱 진보된 Transformer 알고리듬까지 적용이 되어있다. 구글에서 제공하는 언어 번역 라이브러리를 직접 Colab에서 설치하여 간단하게 사용하는 법을 알아 보자. 간단한 코드이므로 GPU 사용을 배제하는 None 런타임 유형으로 실행시키자. 1 !pip install translate 2 from translate import Translator translator = Translator(from_lang="ko", to_lang="en") translated = translator.translate("나는 인공지능을 공부한다") translated ‘I study artificial intelligence’ 3 transl..

이 정도 수준의 간단한 선형회귀볍 코드는 OpenAI의 chatGPT에게 시켜도 충분한 정보를 제공받을 수 있다. chatGPT 제공코드에서 회귀모델과 loss 함수가 for loop 문에서 중복되었기에 for loop 위의 회귀모델과 loss 함수를 # 즉 코멘트 처리하였다. 틀린점은 없어 보인다. 그림의 선형회귀법 예제에서 기울기 w를 미지수로 생각하고 회귀법(regression)으로 찾아보자. 미지의 웨이트 값 w는 처음에 random number 나 임의의 상수값을 준 상태에서 시작하면 된다. 한가지 주의할 점은 직선의 방정식을 결정하는 과정에서 2개 이상의 많은 수의 데이터들이 주어질 경우 이 점들을 대표할 수 있는 직선을 결정하게 되는 것이며, 이는 통계학이나 사회학 분야에서 많이 응용되는 기..

컬러 색상의 227X227X3 이미지 입력으로 이루어지는 AlexNet의 아키텍츄어를 살펴보자. MAX POOL 알고리듬에 3X3 커늘에 스트라이딩 값 2를 적용하는 바 이는 오버래핑을 허용하는 알고리듬이다. 전체적으로 크기를 줄여나가는 Convolution 및 pooling 레이어들과 마지막 부분의 Fully Connected Layer 구조로 이루어짐을 알 수 있다. 그밖에 다층의 신경망 적용에 따른 큰 수의 생성 폭발 및 gradient 값의 굽속한 감쇠를 방지하기 위해서 활성화 함수 ReLU를 채택하고 batch normalization 기법에 의해서 컴퓨팅 부담을 최대로 낮춘 후 부족한 데이터를 인위적으로 늘리기 위한 data augmentation 알고리듬을 채택한다. data augmenta..

컬러 색상의 227X227X3 이미지 입력으로 이루어지는 AlexNet의 아키텍츄어를 살펴보자. MAX POOL 알고리듬에 3X3 커늘에 스트라이딩 값 2를 적용하는 바 이는 오버래핑을 허용하는 알고리듬이다. 전체적으로 크기를 줄여나가는 Convolution 및 pooling 레이어들과 마지막 부분의 Fully Connected Layer 구조로 이루어짐을 알 수 있다. 그밖에 다층의 신경망 적용에 따른 큰 수의 생성 폭발 및 gradient 값의 굽속한 감쇠를 방지하기 위해서 활성화 함수 ReLU를 채택하고 batch normalization 기법에 의해서 컴퓨팅 부담을 최대로 낮춘 후 부족한 데이터를 인위적으로 늘리기 위한 data augmentation 알고리듬을 채택한다. data augmenta..

본격적인 Image Classification의 시작이랄 수 있는 AlexNet 이후 성능이 비약적으로 개선된 네트워크들이 지속적으로 출현할 수 있었던 요인은 2012년 ILSVRC에서 발표된 AlexNet의 아키텍추어를 대상으로 파라메터 규모를 축소하기 위한 아키텍추어 개선에 크게 힘입은 듯하다. 아키텍츄어 관점에서, AlexNet에서부터 ResNet에 이르는 본격적인 이미지분석 네트워크에서의 아키텍추어는 소수의 CNN 레이어를 사용하는 MNIST 예제에 비해 그 규모 면에서 비교가 되지 않을 정도로 크며 세부 네트워크에서도 다양성이 포함되어 있다. 아래 그림에서처럼 ResNet18 기준으로 작성된 PyTorch 예제코드를 AlexNet으로 수정하여 인식률을 계산 체크해 보기로 한다. 지금 현재 사용되..

MNIST 수기문자 이미지는 텍스트가 아니라 흑백 이미지이다. 일종의 흑백 상형문자로 보고 학습하는 것이다. tensorflow.keras를 사용한 MNIST cnn 알고리듬은 일반적인 컬러 이미지에 대한 학습이 가능하도록 알고리듬을 조금 수정하도록 하자. 참조: Convolutional Neural Network(CNN) https://www.tensorflow.org/tutorials/images/cnn MNIST 수기문자 판독의 경우 Keras 전용 데이터세트를 다운로드하여 사용했듯이 이미지 판독의 경우에도 이와 유사하게 준비된 CIFAR10 데이터 세트를 이용하자. MNIST와는 조금 다르게 10종의 50,000개의 학습용 이미지와 검증 테스트용 10,000개 컬러 이미지로 구성된다. MNIST ..

https://www.youtube.com/watch?v=z2sM6xA0-2A

Colab에서 Untitled0.ipynb를 연 후 kerascnnmnist.ipynb 로 파일명을 부여한 후 저장하자. tensorflow를 호출하여 약어 tf 로 정의하고 버전을 출력해 보자. 아래 코드를 Colabs에서 실행하기 전에 반드시 런타임 유형 변경에서 반드시 하드웨어 가속기 GPU를 설정하도록 하자. 그러히치 않으면 실행은 가능하지만 10배 가량의 상당한 연산 시간이 소요됨에 유의하자. tensorflow.keras를 상속하는 datasets, layers, modles, losses 라이브러리를 선언한다. 이들은 tensorflow.keras에서 제공하는 메서드(method)들이다. 이 선언을 사용하면 tf.keras.layers.⦁⦁⦁를 간단하게 layers.⦁⦁⦁로 쓸 수 있는 장점..

LSTM Attention 알고리듬을 살펴보wk. hs 벡터에 포함된 각 단어 별 중요도를 나타내는 확률 가중치 벡터 a와 hs 벡터를 아마디르 곱셈 후 특정 축을 중심으로 합산하여 shape을 변경하는 기법을 볼 수 있다. 이 과정을 학습하자. 텐서플로우 리스트 데이터 A에 대해서 shape 과 argmax 값을 살펴보자. 일차원적 리스트 구조의 데이터는 (5,)로 표현된다. argmax(A)에서 numpy=2는 A의 최대값이 위치한 30의 위치를 나타낸다. 1 import tensorflow as tf A = tf.constant([2, 20, 30, 3, 6]) print(A.shape) tf.math.argmax(A) 텐서플로우 2차원 리스트 데이터 B에 대해서 shape 과 argmax 값을 살..