하이퍼 클로버

하이퍼클로바의 학습 데이터

이렇게 큰 언어 모델은 역시 학습 데이터가 중요합니다. 네이버는 꽤 오랜 기간 다양한 IT 서비스를 운영해왔기에 한국어 데이터를 가장 많이 보유하고 있는 회사 중 하나라고 해도 과언이 아닐 것 입니다. 어떤 종류의 데이터가 이용되었는지 한번 살펴볼까요.

• 네이버 블로그
• 네이버 카페 커뮤니티 글
• 네이버 뉴스 기사 본문
• 네이버 뉴스 댓글
• 네이버 지식IN Q&A
• 국립 국어원 모두의 말뭉치 일부분
• 위키피디아 (영어/일본어)

어떻게 보면 가용할 수 있는 텍스트 데이터를 다 끌어와 집어 넣었다고 볼 수 있겠는데요. 오늘까지 수 년간 데이터를 차곡차곡 모아온게 빛을 발하는 순간인 것 같습니다.

데이터는 법적으로 사용에 문제가 없는 것들로만 추렸고, 혹시라도 등장하는 개인 식별 정도(PII)는 거를 수 있도록 처리를 하였다고 합니다. 이전에 이루다 이슈에서 큰 문제가 되었기에 중요한 문제라고 생각되는데요. 특히 대형 언어 모델이 학습 데이터에 나오는 민감한 텍스트를 암기하는 문제가 지적되어온 만큼 HYPERCLOVA도 후속 연구가 진행되면 좋지 않을까 생각해봅니다.

https://jiho-ml.com/weekly-nlp-45/