딥러닝 흐름

KAIST 부트캠프에서 진행한 수업내용 중 강의자료를 활용

문제가 되면 삭제 하겠습니다.

 

기본 개념 이런 것들은 이미 많은 곳에서 설명을 하니 제외

 

딥러닝이 가장 큰 영향을 끼친 3개의 분야

 

시각 지능 관련

 

시각 모델의 발전

 

ImageNet 대회의 모델 발전

요즘 단순 이미지 Classification의 문제는 거의 99프로로 분류가 가능하며 해결이 된 상태 

 

현재 대세는 대용량의 라벨링이 되지 않은 데이터들을 처리하기 위한 비지도 학습이 대세인 상태

 

* 생성적 적대 신경망 (Generative Adversarial Network) 요즘 대세인 모델로 인지

생성기 (generator)

분류기 (Detective)

신경망을 구성

무에서 유를 창조할 수 있다

 

AI의 시각인지의 기술적 진보

a - 사진에서 object가 무엇이 있는가?

b - 사진에서 object의 위치를 boundary로 표현

c - 사진에서 object의 위치를 정확히 인지하는 가

d - 동일 카테고리를 개체별로 인지가 가능한가

 

                       엄청난 기술적 발전...

 

 

언어 지능 관련

 

흔히 말하는 NLP와 관련

 

LSTM -> 단어 임베딩 -> Attenion 기법 -> Transformer 로 발전

 

 

현재 유명한 BERT, GPT-3 모두 다 Transformer 구조를 활용한 모델들

 

대용량 연산을 통한 모델들로 유명 글로벌 대기업들이 광고하는 모델들이 이걸로 만들어졌다고 함

 

 

GPT-3 (Generative pre-trained Transformer, 생성적 사전 훈련 트랜스포머)

 1750억개의 파라미터를 사용하여 언어문제에서 인간 수준의 성능에 달했다고함

 머스크가 설립한 AI개발 연구소인 OpenAI에서 공개

 

 

음성 분야 관련

 

 

 

음성 지능은 NLP분야와 유사하게 발전함 동일한 모델을 활용한다