인공지능 강의(2일차)

2020. 11. 19. 15:43

복습

기본 개념

인공지능, 머신러닝, 딥러닝, 데이터사이언스 용어
현재의 인공지능은 컴퓨터 소프트웨어이다.
머신러닝 프로그램의 구조
데이터셋과 트레이닝 : 입력데이터, 라벨, 타겟, 정답
추론 또는 예측
텐서
원-핫 벡터, 원-핫 인코딩
인공신경망
심층신경망
퍼셉트론, 퍼셉트론 학습 알고리즘
MLP(multi-layer perceptron)

딥러닝 개념과 용어

손실함수-예측값과 실제값의 차
- 평균제곱계열(mse, L2, mae, L1)
- 교차엔트로피 계열(categorical_crossentropy, binary_crossentropy) - 로그 관련
목적함수, 비용함수 - 손실함수의 평균
활성함수 : 시그모이드, ReLU, softmax
옵티마이저 : SGD, adam, RMSProp
MNIST dataset
MLP 모델을 만들고 MNIST dataset으로 트레이닝

결과목적	활성함수	손실함수
다중분류	softmax	categorical ross entropy
이진분류	sigmoid	binary cross entropy
회귀	linear	meas squared error, mean absolute error

이미지 다운로드

fatkun (크롬 익스텐션)

picresize (이미지 사이트)

opencv로 이미지 리사이징

합성곱(CNN)

컨벌루션 뉴럴 네트워크는 모델이 직접 이미지, 비디오, 텍스트 또는 사운드를 분류하는 머신러닝의 한 유형인 딥러닝에서 가장 많이 사용되는 알고리즘.

신경망에 필터 기술을 결합하여 2차원 영상을 잘 훈련할 수 있도록 최적화된 방식(알고리즘).

컨볼루션을 기본으로 여러 개의 가중치 값을 반복적으로 곱하여 다음 유닛을 구하는 방식으로, 가중치의 수가 적다.

합성곱층 연산

데이터와 필터(또는 커널)의 모양을 높이, 너비로 나타내고, 필터의 윈도우를 일정한 간격으로 이동하며 곱을 계산한다.

-> 필터의 parameter는 가중치이다. (가중치는 초기에는 랜덤이고, 트레이닝 과정을 통해 최적화되어 편중을 띄게 된다.)

합성곱 연산은 입력데이터와 필터간에 서로 대응하는 원소끼리 곱한 후 총합을 구하게 된다. (Fused Multiply-Add, FMA)

그리고 마지막으로 편향 필터를 적용한 후에 더해주게 된다.

연산을 계속할수록 데이터의 크기는 점점 작아지고 깊이가 깊어진다.

3차원 데이터의 합성곱층 연산

흑백이미지에서는 채널을 제워한 높이, 너비 형상만으로 합성곱층 연산을 하면 된다.

그러나 컬러의 경우 채널을 고려한 3차원 데이터에 대해 합성곱 연산을 해야한다.

3개의 채널을 가지는 이미지는 3개의 층에 대해 합성공연산을 수행해야한다.

그런데 여기서 주의해야할 점은 합성곱 연산을 수행할 때 입력 데이터의 채널 수와 필터의 채널 수가 같아야 한다는 점이다. (편향도 채널 수만큼의 깊이를 가진다.)

패딩

데이터의 spatial 크기가 conv layer를 지날 때마다 작아지므로 가장자리의 정보들이 사라지는 문제가 발생해 패딩을 사용한다.

주로 합성곱 계층의 출력을 입력데이터의 공간적 크기와 동일하게 맞춰주기 위해 사용한다.

합성곱 연산을 수행하기 전에 입력데이터 주변으로 특정값을 채워 늘린다.

패딩은 주로 출력데이터의 공간적 크기를 조절하기 위해 사용한다.

패딩을 할 때 채울 값은 hyper-parameter로 결정하지만, 일반적으로는 zero-padding을 사용한다.

스트라이드

못받아적음

풀링

다운샘플링. 전체 데이터의 수를 줄여서 계산을 적게 한다.

종류는 맥스풀링(지역의 최대값 사용)과 평균풀링(지역의 평균값 사용)이 있으며 맥스풀링이 많이 사용된다.

언더피팅, 오버피팅 - 통계적으로 분포를 찾는 방법(회귀)

언더피팅 : 과소적합

오버피팅 : 과대적합

ㄴ 를 방지하기 위해서 노력해야한다.

RNN

순서가 있을 때 쓰는 또 다른 딥러닝 알고리즘. 순서에 따른 연결이 고려되어 주로 자연어 처리에서 많이 사용됨.

'인공지능' 카테고리의 다른 글

인공지능 강의(1일차) (0)	2020.11.18

공부하는 블로그