ChatGPT란?
Chat : 대화형
Generative : 생성하는. 그림, 동영상, 글 등
Pre-trained : 사전학습한
- LLM(거대 언어 모델)
- 3천억개의 단어와 5조 개의 문서를 학습했다.
- 모든 LLM은 파운데이션 모델이다. 왜냐하면, 어느순간을 기점으로 느닷없이 나타내는 능력을 보여준다. (emergent). 따라서 사전학습하지 않은 것을 물어봐도 답할 수 있다.
Transformer : 딥러닝 모델
- 주어진 문장들을 보고 다음 단어가 무엇일지를 확률로 예측한다.
- 이때 Attention Model을 사용하는데, 주어진 문장중에서 핵심 단어를 파악한다. 따라서 이 모델을 사용하면, 연산량을 높이면서도 정확성을 높일 수 있다.
- Transformer, Attention 모델도 구글이 오픈 소스로 공개했다.
이러한 ChatGPT는 매개변수가 1750억 개이다. 따라서 5조개의 문서를 파악해야 하므로, 1만대의 A100 그래픽카드를 100일 동안 돌려서 학습한 것이다.
또한 ChatGPT는 RLHF(Reinforcement Leanring from Human Feedback)을 사용했다. 즉, 앞서 5조개의 문서를 학습한 후에 인간의 10만개의 품질이 좋은 질문/답지를 이용해 피드팩을 통해서 강화 학습을 한 것이다. 이렇게 사람이 작성한 좋은 텍스트를 학습함으로써 인공지능에게 윤리에 대해 알려준다. 즉, alignment를 해주는 것이다. 이렇게 함으로써 인공지능은 겸손(?)을 배운다.
이렇게 만드는 ChatGPT는 3.7조로 만들어졌다.
GPT-4
- 규모의 법칙이 적용되었을 것 같다..
- 지금의 인공지능은 발명이 아니라, 발견이라고 하는게 맞는 것 같다. -> 설명은 못하겠는데 이게 되네..?
- GPT-4 한글 > GPT 영어. -> 언어의 장벽이 그렇게 높지 않은 것 같다. 별도의 추가 학습없이 다국어를 더 잘 지원하게 되었다.
- GPT-4에서는 25000 단어 이상 입력이 가능하다. 기존에는 3000단어까지만 가능했다.
- GPT-4는 multi-modal이다. 즉, 이미지를 입력받을 수 있다.
- GPT-4는 인간의 유머 감각을 이해해가고 있다.
Hallucination (훌륭한 거짓말 생성기)
GPT Chat과 같은 AI 언어 모델에서 '할루시네이션'은 주어진 데이터 또는 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하는 것을 뜻한다.
- GPT는 가짜 논문을 인용하여 가짜 정보를 알려주는 행동을 할 수 있다. 왜 이런 짓을 할까?
- Transformer는 그럴듯하게 만드는 행위를 한다. 이렇게 그럴듯한 허위의 답을 최선을 다해서 내놓은 것이다. 따라서 Transformer 모델은 Hallucination이 나올 수 밖에 없다.
- 정리하면 Transformer는 확률적으로 예측을 하는 모델이기 때문에 확률이 필요하지 않은 분야나 명확한 하나의 답이 있는 경우는 물어보질 말아야 하고, 인간이 최종 판단을 해야 한다.
ChatGPT API
ChatGPT API가 공개되었고, 이제 마이크로소프트의 워드, 엑셀, 파워포인트, 카카오톡 등 메신저, 회사 그룹웨어 등에서 사용하고 있다.
플러그인 (Third-party Plug-Ins)과 시장 전망
Chat GPT가 외부 프로그램을 불러와서 쓸 수 있게 하는 것이다. 이로 인해 다음과 같은 일들이 가능해진다.
- 질문 : 내가 다음달 11일부터 14일까지 뉴욕으로 여행으로 가는데, 나는 비건이고, 야구 관람을 좋아해. 이를 바탕으로 비행편을 예약해주고, 여행 동선을 짜주고, 호텔을 예약해주고, 레스토랑을 예약해줘.
- 결과 : 스카이스캐너를 이용해 비행편을 예약하고, 여행 동선을 구글 지도로 나타내주고, 엑스페디아를 이용해 호텔과 레스토랑을 예약하여 그 결과 보고서를 출력해준다.
이렇게 되면, 기존 Third-party App 들이 살아날 수 있게 되며, OPEN AI는 엄청난 규모의 데이터를 가진채로 자연 독과점 현상을 누리게 된다.
Fronter Mode Forum과 게리 마커스의 다섯 가지 우려
- 허위 정보를 조심하자. 이 허위 정보로 민주주의와 공론이 쓸려버릴 수 있다.
- 잘못된 의료 정보가 생성될 수 있다.
- 콘텐트 팜들이 광고 클릭을 위해 사실과 관련없는 자극적인 내용을 생성할 것이다.
인용
'AI' 카테고리의 다른 글
| AI가 가지는 위험성 (0) | 2023.12.08 |
|---|
