본문 바로가기

재테크/금융,경제이슈

AI 시대 주역을 꿈꾸는 GPT-3

AI 시대 주역을 꿈꾸는 GPT-3

 

- GPT-3는 텍스트 생성, 번역, 요약과 같은 문서작업을 위주로 하는 인공지능 자연어처리 모델이지만 어떤 분야에 적용하느냐에 따라 다양한 방법으로 활용 가능성을 입증 중

 

  ※ 대표적인 인공지능 자연어처리 모델로는 GPT-3, BERT(구글), 기계신경망 번역(Transformer) 

 

- GPT-3 4,990억 개 중 가중치 기반으로 샘플링된 3,000억 개의 데이터셋과 1,750억 개의 매개 변수(패러미터)로 학습

 

  ※ 오픈AI 2018년 첫 출시한 GPT-1 1 1,700만 개의 매개변수로 학습하였고, 2019년 공개된 GPT-2는 모델의 크기에 따라 약 1 2,400만개에서 15억개로 GPT-1 10배 수준이며, GPT-3는 매개변수 1,750억개로 GPT-2 100배 규모

 

  ※ GPT-3 2019 10월까지 생성된 데이터를 학습함에 따라 코로나19에 대한 응답은 불가

 

 - 자기회귀(Auto Regressive) 방식으로, 이전 문맥을 바탕으로 다음 단어를 예측하는 과정에서 학습하는 순차적 학습을 하므로 한 번에 양방향은 보지 못하는 한계

 

 - 그러나 GPT-3는 방대한 범위의 데이터 학습을 통해 미세 조정없이 즉 새로운 언어 태스크를 위해 새로운 데이터를 만들지 않고 대부분의 태스크를 완성도 높게 수행하는 범용적 언어모델이라는 측면에서 AI 업계는 획기적인 것으로 평가

 

 

 OpenAI

미국 샌프란시스코에 위치한 AI개발연구소로, 2015년 일론 머스크, 샘 알트만 등의 주도로 설립

비영리단체로 출범하였으나 2019 3월 연구개발자금 확보를 위해 영리기관인 OpenAI LP를 설립하고 MS로부터 10억 달러 투자 유치(2019 7)

현재 비영리단체인 OpenAI Nonprofit과 영리법인인 OpenAI LP로 구성

비전 : 안전한 인공범용지능(AGI)을 향한 길을 찾고 이를 실현

주요 성과

- 2019 4, OpenAI Five Dota2 세계챔피언과 대결에서 승리

- 2019 8, GPT-2(774M) 공개

- 2019 11, GPT-2(1.5 베타버전) 공개

- 2020 6, GPT-3 베타버전(OpenAI API) 공개

 

 

www.chosun.com/economy/2020/09/06/GXZASOYOYZGH5HRBNWXEG3QPG4/?utm_source=naver&utm_medium=%20original&utm_campaign=news

 

[Mint] 지구 최강 인공지능 인터뷰...거짓말도 지어냈다, 섬뜩했다

“너는 사람이니 인공지능이니?” “너는 날 인공지능이라 부르겠지.”현존하는 세계 최강의 인공지능(AI)이라는 ‘GPT-3’와의 인터뷰는 이렇게 시작됐다. 하지만 일론 머스크 등이 투자한 미국

www.chosun.com