마크투비의 고 GO

보호되어 있는 글입니다.

Lecture10. RNN 1. RNN이란? ◾️ Vanilla Neural Network - one to one 지금까지 배운 아키텍처의 모양 이미지 또는 벡터를 input으로 받고, hidden layer를 거쳐서 하나의 출력을 내보냄 ◾️ RNN(Recurrent Neural Networks) RNN은 가변 길이의 입/출력(데이터)을 다루기 위해 필요한 방법 RNN은 작은 "Recurrent Core Cell"를 가지고 있음 RNN은 내부에 hidden state를 가지고 있음 hidden state는 새로운 입력이 들어올 때마다 매번 업데이트 됨 RNN이 입력을 받는다. 모든 스텝마다 'Hidden state'를 업데이트한다. 출력값을 내보낸다. ◽️ one to many: Image Captio..

보호되어 있는 글입니다.

Chapter1 파이썬 1. 파이썬 파이썬은 과학 분야, 특히 기계학습과 데이터 과학 분야에서 널리 쓰임 파이썬은 동적 언어로 분류되는 프로그래밍 언어 변수의 자료형을 상황에 맞게 자동으로 결정한다는 뜻 1) 슬라이싱 파이썬 리스트에는 슬라이싱이라는 편리한 기법이 있음 a=[1, 2, 3, 4, 5] a[0:2] [1, 2] a[:-1] [1, 2, 3, 4] 2) 클래스 개발자가 직접 클래스를 정의하여 독자적인 자료형을 만들 수 있음 클래스 정의하는 방법 파이썬에서는 메서드의 첫번째 인수로 자신을 나타내는 self를 명시적으로 쓰는 것이 특징 class 클래스이름: def __init__(self, 인수, ...): #__init__은 초기화용 메소드. 생성자라고도 함 ... def 메서드 이름1(se..

02 최소한의 도구로 딥러닝을 시작합니다 1. 구글 코랩 구글 코랩은 구글이 제공하는 주피터 노트북(jupyter notebook)을 말한다. 딥러닝 분야는 연산 비용이 높아 컴퓨터 성능이 중요한데 코랩을 사용하면 구글 클라우드(Google Cloud)의 가상 서버를 마음껏 활용할 수 있다. 코랩은 구글에서 교육과 과학 연구를 목적으로 개발한 도구이다. 코랩은 웹 브라우저(Web Browser)를 통해 제어하고 실제 파이썬 코드 실행은 구글 클라우드의 가상 서버에서 이루어진다. 코랩에서 만든 파일인 노트북은 구글 드라이브(Google Drive)에 저장하고 불러올 수 있다. 2. 넘파이 넘파이(NumPy)는 파이썬의 핵심 과학 패키지 중 하나이다. 많은 머신러닝과 딥러닝 패키지가 넘파이를 기반으로 구현되..

01 딥러닝을 소개합니다 1. 인공지능 정말로 사람 같은 인공지능은 강 인공지능(strong AI)라고 한다. 지금까지 발전을 거듭하고 있는 인공지능 기술은 모두 약 인공지능(weak AI)이다. 머신러닝, 딥러닝은 모두 약 인공지능에 포함된다. 머신러닝과 딥러닝은 약 인공지능에 포함되는 기술이고, 딥러닝은 머신러닝에 포함되는 기술이다. 머신러닝은 알고리즘의 종류에 따라 세부적으로 나눌 수 있는데, 그중에 인공신경망 알고리즘을 사용하여 만든 것이 딥러닝이다. 2. 머신러닝 머신러닝(Machine Learning)은 '기계 학습'이다. 머신러닝은 스스로 규칙을 수정한다 머신러닝과 딥러닝에서 말하는 학습은 데이터의 규칙을 컴퓨터 스스로 찾아내는 것을 말한다. 머신러닝의 학습 방식 머신러닝은 학습 방식에 따라..

1. AlexNet 최초의 large scale의 CNN 2012년 ImageNet Challenge의 winner 딥러닝의 부흥을 일으킨 모델 다양한 task의 transfer learning에 많이 사용되어 옴 conv-pool-norm 구조가 두번 반복됨 5개의 conv layer와 2개의 FC layer input 이미지의 크기는 227x227x3 첫번째 layer의 출력 사이즈: 55x55x96(width x height x 필터의 개수) parameter의 수: (11 * 11 * 3) * 96 = 35K개 두번째 layer의 출력 사이즈: 27x27x96(depth의 크기는 변하지 않음) pooling layer인 두번째 layer에 parameter는 없음 Details/restropect..

1. Fancier Optimization 1) Problems with SGD SGD는 미니 배치에서 데이터 loss를 계산하고, gradient의 반대 방향으로 파라미터를 업데이트 하는 방법 지그재그 방향으로 loss가 최소인 점을 찾아가므로 convergence가 매우 느림 loss 함수에 local minima나 saddle point가 있는 경우 gradient descent가 멈춰버림 고차원에서는 saddle point가 더 일반적으로 일어남 2) SGD + Momentum SGD에서는 X를 직접 연산식에 포함하는 반면 momentum에서는 속도 변수 vx 도입 gradinet를 계산할 때 gradient 방향과 velocity를 모두 고려 rho는 friction과 같아 velocity가 너..

** 이번 장에서는 cs231n의 강의자료와 제가 만든 발표자료의 이미지를 사용했습니다. ** 1. 활성화 함수 1) 활성화 함수란? 뉴럴 네트워크에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 활성화 함수(Activation Function) 를 통과시킨 후에 전달 언더피팅의 문제를 개선 활성화 함수는 특정 featur에 대해 이 정보를 얼마나 활성화할 것인지를 할 결정하는 역할 활성화 함수로 비선형 함수를 사용 -> non-linearity 제공 2) 활성화 함수의 종류 실전에서는... 디폴트로 ReLU를 사용하세요 Leaky ReLU/Maxout/ELU 시도해 보세요 tanh는 사용하더라도 기대는 하지 마세요 시그모이드는 더 이상 사용하지 마세요 2. 데이터 전처리 1) 평균..

1. Neural Network의 역사 1) Perceptron(~1957) Mark1 Percetptron: 최초의 뉴럴 네트워크(하드웨어) binary step function이라 미분 불가능 backpropagation 개념이 나오기 전(어차피 미분 불가능이라 있어도 안 됨) 이후 1960~1980 첫번째 신경망 암흑기 2) Adaline/Madaline(~1960) 최초의 multi layer perceptron 네트워크(하드웨어) 3) Neocognitron(1980) sandwich architecture(simplecell-complexcell-simplecell-complexcell-...) 4) First time back-propagation(1986) 최초의 back propogati..