[논문 읽기] Youling: AI 작사 지원 시스템

Source

https://arxiv.org/abs/2201.06724

Youling: an AI-Assisted Lyrics Creation System

---

1. Introduction

• 작사는 데이터 수집의 간편함 때문에 NLG 분야에서 흔한 주제이지만,
  여전히 음악 산업에서 포괄적으로 사용할 수 있는 작사 지원 시스템이 부족함
• GAN, RNN 기반의 일반적인 시스템은 최소한의 사람의 개입을 통해서 완성된 가사를 제공하지만,
  본 연구자들은 작사 과정을 사람이 이끌어야 하고, AI 시스템은 단어에 대한 영감을 제공해야한다 생각
• Youling은 GPT-2 모델을 기반으로 중국어 말뭉치를 학습시킨 AI 작사 지원 시스템으로서,
  사용자가 이상적인 문장을 선택할 수 있도록 도와 크리에이터들과 상호보완적으로 협업할 수 있도록 설계됨

---

2. Architecture

2.1. User Input

• Content controlling attributes
  가사 텍스트 스타일(장르), 가사에 표현될 감정, 가사의 테마, 가사에 사용하고 싶은 키워드
• Format controlling attributes
  첫음절, 가사의 라임, 줄 수, 각 줄마다 단어 수

2.2.1. Full-Text Generation

• Model and Pre-training
  GPT-2와 유사한 단방향 self-attention 인코더 사용
  같은 weight을 공유하는 2개의 self-attention block을 각 디코더에 추가
  16개 self-attention head 및 210M개 파라미터로 구성되며, 30GB의 중국 인터넷 소설 말뭉치로 사전학습
• Training
  인터넷에서 300K 개의 가사와 스타일 태그를 수집 (60M 개의 토큰을 포함)
  감정 라벨을 붙이기 위해 각각의 가사에 80%의 정확도를 가진 감정 분류기를 적용
  인코더 input은 각각의 가사에 대응되는 스타일 태그, 감정 태그, 키워드의 집합
• Inference
  Input 키워드를 얻기 위해 사용자가 선택한 테마에 맞는 키워드 목록을 랜덤하게 샘플링
• Format control in decoding
  라임을 만들기 위해, 각 줄의 마지막 문자를 먼저 정하고 좌에서 우로 나머지를 지정
  각 줄의 첫음절을 생성할 때, 단순하게 디코더 출력의 대응되는 logit을 매우 큰 값으로 증폭시킴
• Re-rank
  결과 후보를 생성하는데 있어서 top-k sampling 방식을 적용
  4가지 규칙(중복 체크, keyword hit 점수, 스타일 관련성, 다양성 점수)을 기반으로 후보에 순위를 매김

2.3. Revision Module

• Revision module은 사용자가 생성된 가사 초안을 단어 또는 문장 단위에서 수정할 수 있게 지원
• 수정할 단어에 [MASK] 토큰을 붙이는 방식을 사용해 full-text 생성 모델과 동일한 모델을 사용

---

3. Demonstration

• 사용자가 controlling attributes를 지정하면 full-text 생성 모드를 통해 가사 초안을 생성,
  이후 interactive 생성 모드를 통해 다음 라인을 생성
• 가사를 완성한 후, 생성된 가사에서 의도되지 않은 부분에 대해 대안을 제시하여 수정하도록 지원
• 이전에 제시된 문장과 대응되는 단어를 만드는데 있어서 완벽하게 의도대로 이루어질 순 없었고,
  기대하는 결과가 나올 때까지 반복적으로 가사를 수정해야하는 문제가 있음

---

4. Conclusion

• AI 작사 지원 시스템 Youling이 다양한 속성을 활용해 가사를 만들어내는 과정을 시연
• Youling은 전통적인 텍스트 생성 모드와 함께 상호적인 생성 모드 및 수정 모듈을 가지고 있음
• 해당 시스템이 크리에이터들의 작곡에 도움을 주고, NLG 개발자들에게 영감을 줄 것을 기대