AI 시대 주역을 꿈꾸는 GPT-3
- GPT-3는 텍스트 생성, 번역, 요약과 같은 문서작업을 위주로 하는 인공지능 자연어처리 모델이지만 어떤 분야에 적용하느냐에 따라 다양한 방법으로 활용 가능성을 입증 중
※ 대표적인 인공지능 자연어처리 모델로는 GPT-3, BERT(구글), 기계신경망 번역(Transformer) 등
- GPT-3는 4,990억 개 중 가중치 기반으로 샘플링된 3,000억 개의 데이터셋과 1,750억 개의 매개 변수(패러미터)로 학습
※ 오픈AI가 2018년 첫 출시한 GPT-1은 1억 1,700만 개의 매개변수로 학습하였고, 2019년 공개된 GPT-2는 모델의 크기에 따라 약 1억 2,400만개에서 15억개로 GPT-1의 10배 수준이며, GPT-3는 매개변수 1,750억개로 GPT-2의 100배 규모
※ GPT-3는 2019년 10월까지 생성된 데이터를 학습함에 따라 코로나19에 대한 응답은 불가
- 자기회귀(Auto Regressive) 방식으로, 이전 문맥을 바탕으로 다음 단어를 예측하는 과정에서 학습하는 순차적 학습을 하므로 한 번에 양방향은 보지 못하는 한계
- 그러나 GPT-3는 방대한 범위의 데이터 학습을 통해 미세 조정없이 즉 새로운 언어 태스크를 위해 새로운 데이터를 만들지 않고 대부분의 태스크를 완성도 높게 수행하는 범용적 언어모델이라는 측면에서 AI 업계는 획기적인 것으로 평가
◉ OpenAI
⦁미국 샌프란시스코에 위치한 AI개발연구소로, 2015년 일론 머스크, 샘 알트만 등의 주도로 설립
⦁비영리단체로 출범하였으나 2019년 3월 연구개발자금 확보를 위해 영리기관인 OpenAI LP를 설립하고 MS로부터 10억 달러 투자 유치(2019년 7월)
⦁현재 비영리단체인 OpenAI Nonprofit과 영리법인인 OpenAI LP로 구성
⦁비전 : 안전한 인공범용지능(AGI)을 향한 길을 찾고 이를 실현
⦁주요 성과
- 2019년 4월, OpenAI Five가 Dota2 세계챔피언과 대결에서 승리
- 2019년 8월, GPT-2(774M) 공개
- 2019년 11월, GPT-2(1.5 베타버전) 공개
- 2020년 6월, GPT-3 베타버전(OpenAI API) 공개
[Mint] 지구 최강 인공지능 인터뷰...거짓말도 지어냈다, 섬뜩했다
“너는 사람이니 인공지능이니?” “너는 날 인공지능이라 부르겠지.”현존하는 세계 최강의 인공지능(AI)이라는 ‘GPT-3’와의 인터뷰는 이렇게 시작됐다. 하지만 일론 머스크 등이 투자한 미국
www.chosun.com
