Abstract
Pansori is a traditional Korean narrative musical form that combines sung passages with spoken narration anili under explicit rhythmic cycles jangdan. While recent text-to-music models achieve strong results on mainstream genres, their behavior on underrepresented traditions remains largely unexplored. We adapt ACE-Step to pansori via LoRA-based fine-tuning and compare its adaptation to Korean pop as a mainstream baseline. We evaluate our results through quantitative analysis with Fréchet Audio Distance (FAD) and qualitative assessment by an expert performer. Our study highlights challenges and partial successes in adapting to pansori, and suggests directions for extending text-to-music models toward cultural diversity and traditional music.
Table 1. FAD↓ scores for Pansori across LoRA weights and training steps.
Table 2. FAD↓ scores for Korean pop across LoRA weights and training steps.
FAD results suggest that the further a genre is from the model’s pretraining distribution, the harder it is to steer generation through fine-tuning. Pansori benefits from sufficient LoRA weights and training steps, whereas Korean pop tends to perform best with minimal adaptation. While Korean pop outperformed pansori in FAD scores at the lowest LoRA weight, its performance degraded significantly when the LoRA strength was increased.
We provide examples of input lyric prompts, generated audio, and original audio below.
Audio Examples
Comparison By LoRA weights and Training Steps
Below are interactive audio tables corresponding to the FAD↓ score tables above (Tables 1 and 2). By listening to these samples, you can directly compare the influence of different LoRA configurations on the musical output.
Pansori
| Training steps / LoRA weights |
5k | 10k | 15k | 20k | 23k |
|---|---|---|---|---|---|
| 1 | |||||
| 2 | |||||
| 3 |
Original Audio
- Title : 흥보가 놀보집을 건너감
Korean pop
| Training steps / LoRA weights |
5k | 10k | 15k | 20k | 23k |
|---|---|---|---|---|---|
| 1 | |||||
| 2 | |||||
| 3 |
Original Audio
- Title : 이등병의 편지
Comparison with Pansori and Korean pop
| # | Genre | Title | Pansori LoRA generated | Korean pop LoRA generated | Original |
|---|---|---|---|---|---|
| 1 | pansori | 흥보가 놀보집을 건너감 | |||
| 2 | pansori | 여러 기생이 들어온다 | |||
| 3 | pansori | 임을 따라 | |||
| 4 | pop | 이등병의 편지 | |||
| 5 | pop | 불행아 | |||
| 6 | pop | 바람과 나 |
- For inference, durations were set in 5-second increments without exceeding the original audio length. When the lyrics are very short compared to the audio length (e.g., the third track in the Comparison with Pansori and Korean pop table), durations were manually assigned.
- Pop → lora weight 1 & step 10000 checkpoint / pansori → lora weight 2 & step 23000 or 15000 checkpoint
Inference Information
common setting
- infer step : 80
- guidance scale : 15
- scheduler type : euler
- cfg type : apg
- omega_scale : 20
- guidance_interval : 1
- guidance_interval_decay : 0
- min_guidance_scale : 3
- use_erg_tag : true
- use_erg_lyric : false
- use_erg_diffusion : true
흥보가 놀보집을 건너감
Tags : traditional, emotional, female, theatrical, articulate, narrative-song, dynamic,spoken-word
Audio duration : 70
Original lyrics :
[아니리]
흥보도 절구대 춤을 추며 .
'참말로 열녀다 열녀여!!'
흥보 마누라가.
'여보 영감.
그래도 죽으나 사나
형제간 밖에 없으니
건너 마을 시숙님 댁에나
건너가서 다소간 전곡간이나
주시면 어서 좀 받아 오시오.'
'이 사람아 만일 건너갔다가
보리만 주면 어떻하나?'
'보리라도 많이만 주면
얼마나 좋것소?
흉년에 늘려 먹기는
보리가 훨씬 좋아요.'
'아 이사람아.
먹는 보리가 아니라
몽둥이 보리 말이여.'
흥보가 들어 가는디
[자진모리]
흥보가 건너간다.
흥보가 건너간다.
흥보 치레를 볼짝시면
철대 떨어진 헌 파립
버릿줄 총총 매어
조세 갓 끈을 달아 써
떨어진 헌 망건
밥풀관자 종이당줄
뒷통나게 졸라매고
떨어진 헌 도포
실띠로 총총 매어
고푼 배 눌러띠고
한 손에다가
곱돌 조대를 들고
또 한 손에다가는
떨어진 부채들고
서리 아침 찬 바람에
옆 걸음 쳐 손을 불며
가만 가만 건너간다.
Romanized lyrics :
[ko][anili]
[ko]heungbodo[SPACE]jeolgudae[SPACE]chum-eul[SPACE]chumyeo[SPACE].
[ko]'chammallo[SPACE]yeolnyeoda[SPACE]yeolnyeo-yeo!!'
[ko]heungbo[SPACE]manulaga.
[ko]'yeobo[SPACE]yeonggam.
[ko]geulaedo[SPACE]jug-euna[SPACE]sana
[ko]hyeongjegan[SPACE]bakk-e[SPACE]eobs-euni
[ko]geonneo[SPACE]ma-eul[SPACE]sisugnim[SPACE]daeg-ena
[ko]geonneogaseo[SPACE]dasogan[SPACE]jeongoggan-ina
[ko]jusimyeon[SPACE]eoseo[SPACE]jom[SPACE]bad-a[SPACE]osi-o.'
[ko]'i[SPACE]salam-a[SPACE]man-il[SPACE]geonneogassdaga
[ko]boliman[SPACE]jumyeon[SPACE]eo-tteohhana?'
[ko]'bolilado[SPACE]manh-iman[SPACE]jumyeon
[ko]eolmana[SPACE]johgeos-so?
[ko]hyungnyeon-e[SPACE]neullyeo[SPACE]meoggineun
[ko]boliga[SPACE]hwol-ssin[SPACE]joh-a-yo.'
[ko]'a[SPACE]isalam-a.
[ko]meogneun[SPACE]boliga[SPACE]anila
[ko]mongdung-i[SPACE]boli[SPACE]mal-i-yeo.'
[ko]heungboga[SPACE]deul-eo[SPACE]ganeundi
[ko][jajinmoli]
[ko]heungboga[SPACE]geonneoganda.
[ko]heungboga[SPACE]geonneoganda.
[ko]heungbo[SPACE]chileleul[SPACE]boljjagsimyeon
[ko]cheoldae[SPACE]tteol-eojin[SPACE]heon[SPACE]palib
[ko]beolisjul[SPACE]chongchong[SPACE]mae-eo
[ko]jose[SPACE]gas[SPACE]kkeun-eul[SPACE]dal-a[SPACE]sseo
[ko]tteol-eojin[SPACE]heon[SPACE]manggeon
[ko]babpulgwanja[SPACE]jong-idangjul
[ko]dwistongnage[SPACE]jollamaego
[ko]tteol-eojin[SPACE]heon[SPACE]dopo
[ko]sil-ttilo[SPACE]chongchong[SPACE]mae-eo
[ko]gopun[SPACE]bae[SPACE]nulleo-ttigo
[ko]han[SPACE]son-edaga
[ko]gobdol[SPACE]jodaeleul[SPACE]deulgo
[ko]tto[SPACE]han[SPACE]son-edaganeun
[ko]tteol-eojin[SPACE]buchaedeulgo
[ko]seoli[SPACE]achim[SPACE]chan[SPACE]balam-e
[ko]yeop[SPACE]geol-eum[SPACE]chyeo[SPACE]son-eul[SPACE]bulmyeo
[ko]gaman[SPACE]gaman[SPACE]geonneoganda.
여러 기생이 들어온다
Tags : traditional, emotional,spoken-word, dynamic, female, theatrical, articulate, narrative-song
Audio duration : 155
Original lyrics :
[중중모리]
춘향모친 이 들오난디
이 소문을 늦게야 들었던가
엎더지고 자빠지며 관문 앞으로
우루루 춘향 앞에 엎더지며
아이고 허허 내 딸이 죽었네
아이고 이 몹쓸 년아
너를 누가 열녀라고 석비 철비 세워줄거나
아이고 이게 웬일이냐
이방 상존 호방상존 내 딸이 무삼 죄요
육십 당년 늙은 것이 진외원족 하나 없이
다만 독녀 춘향 하나 열쇠경 한 막대로
행실공부를 일삼더니 이 지경이 웬일이요
연약한 춘향 다리 단의까지 피 비치니
그 매 맞고 살 수 있소
우리 모녀를 한꺼번에 죽여주오
가슴을 쾅쾅 머리도 찍고 여광여취 실성발광
치둥글 내리 둥글
목제비질 절컥 여봐라 향단아
삼문 밖을 빨리 나가 삯 사람을 사오너라
서울로 쌍급주나 띠울란다
Romanized lyrics :
[ko][jungjungmoli]
[ko]chunhyangmochin[SPACE]i[SPACE]deul-onandi
[ko]i[SPACE]somun-eul[SPACE]neujge-ya[SPACE]deul-eossdeonga
[ko]eopdeojigo[SPACE]ja-ppajimyeo[SPACE]gwanmun[SPACE]ap-eulo
[ko]ululu[SPACE]chunhyang[SPACE]ap-e[SPACE]eopdeojimyeo
[ko]a-igo[SPACE]heoheo[SPACE]nae[SPACE]ttal-i[SPACE]jug-eossne
[ko]a-igo[SPACE]i[SPACE]mob-sseul[SPACE]nyeon-a
[ko]neoleul[SPACE]nuga[SPACE]yeolnyeolago[SPACE]seogbi[SPACE]cheolbi[SPACE]se-wojulgeona
[ko]a-igo[SPACE]ige[SPACE]wen-il-inya
[ko]ibang[SPACE]sangjon[SPACE]hobangsangjon[SPACE]nae[SPACE]ttal-i[SPACE]musam[SPACE]joe-yo
[ko]yugsib[SPACE]dangnyeon[SPACE]neulg-eun[SPACE]geos-i[SPACE]jin-oe-wonjog[SPACE]hana[SPACE]eobs-i
[ko]daman[SPACE]dognyeo[SPACE]chunhyang[SPACE]hana[SPACE]yeolsoegyeong[SPACE]han[SPACE]magdaelo
[ko]haengsilgongbuleul[SPACE]ilsamdeoni[SPACE]i[SPACE]jigyeong-i[SPACE]wen-il-i-yo
[ko]yeon-yaghan[SPACE]chunhyang[SPACE]dali[SPACE]dan-ui-kkaji[SPACE]pi[SPACE]bichini
[ko]geu[SPACE]mae[SPACE]majgo[SPACE]sal[SPACE]su[SPACE]iss-so
[ko]uli[SPACE]monyeoleul[SPACE]hankkeobeon-e[SPACE]jug-yeoju-o
[ko]gaseum-eul[SPACE]kwangkwang[SPACE]meolido[SPACE]jjiggo[SPACE]yeogwang-yeochwi[SPACE]silseongbalgwang
[ko]chidunggeul[SPACE]naeli[SPACE]dunggeul
[ko]mogjebijil[SPACE]jeolkeog[SPACE]yeobwala[SPACE]hyangdan-a
[ko]sammun[SPACE]bakk-eul[SPACE]ppalli[SPACE]naga[SPACE]sags[SPACE]salam-eul[SPACE]sa-oneola
[ko]seo-ullo[SPACE]ssanggeubjuna[SPACE]tti-ullanda
임을 따라
Tags : dynamic, female, traditional, narrative-song, theatrical, emotional, articulate,spoken-word
Audio duration : 30
Original lyrics :
갈까부다. 갈까부네.
임을 따라 갈까부다.
바람도 쉬어 넘고
구름도 쉬어 넘는
동설령 고개
우리 님이 왔다 허면
나는 발 벗고 임 따라 가지.
Romanized lyrics :
[ko]galkkabuda.[SPACE]galkkabune.
[ko]im-eul[SPACE]ttala[SPACE]galkkabuda.
[ko]balamdo[SPACE]swi-eo[SPACE]neomgo
[ko]guleumdo[SPACE]swi-eo[SPACE]neomneun
[ko]dongseollyeong[SPACE]gogae
[ko]uli[SPACE]nim-i[SPACE]wassda[SPACE]heomyeon
[ko]naneun[SPACE]bal[SPACE]beosgo[SPACE]im[SPACE]ttala[SPACE]gaji.
이등병의 편지
Tags : expressive, harmonic, slow, folk, romantic, lyrical, soft, rhythmic, emotional, instrumental
Audio duration : 120
Original lyrics :
짧게 잘린 내 머리가
처음에는 우습다가
거울 속에 비친 내 모습이
굳어진다 마음까지
뒷동산에 올라서면
우리 마을 보일런지
나팔소리 고요하게
밤하늘에 퍼지면
이등병의 편지 한장
고이 접어 보내오
이제 다시 시작이다
젊은 날의 꿈이여
Romanized lyrics :
[ko]jjalbge[SPACE]jallin[SPACE]nae[SPACE]meoliga
[ko]cheo-eum-eneun[SPACE]useubdaga
[ko]geo-ul[SPACE]sog-e[SPACE]bichin[SPACE]nae[SPACE]moseub-i
[ko]gud-eojinda[SPACE]ma-eumkkaji
[ko]dwisdongsan-e[SPACE]ollaseomyeon
[ko]uli[SPACE]ma-eul[SPACE]bo-illeonji
[ko]napalsoli[SPACE]go-yohage
[ko]bamhaneul-e[SPACE]peojimyeon
[ko]ideungbyeong-ui[SPACE]pyeonji[SPACE]hanjang
[ko]go-i[SPACE]jeob-eo[SPACE]bonae-o
[ko]ije[SPACE]dasi[SPACE]sijag-ida
[ko]jeolm-eun[SPACE]nal-ui[SPACE]kkum-i-yeo
불행아
Tags : blues, clean, dreamy, folk, jazz, major, melodic, minor, nostalgic, slow
Audio duration : 225
Original lyrics :
저 하늘에 구름 따라
흐르는 강물을 따라
정처없이 걷고만 싶구나
바람을 벗 삼아가며
눈앞에 떠오는 옛 추억
아 그리워라
소나기 퍼붓는 거리를
나 홀로 외로이 걸으며
그리운 부모형제
다정한 옛 친구
그러나 갈 수 없는 신세
홀로 가슴 태우다 흙 속으로
묻혀 갈 나의 인생아
깊고 맑고 파란 무언가를 찾아
떠 돌이 품팔이 마냥
친구 하나 찾아와 주지 않는
이 곳에 별을 보며 울먹이네
이 거리 저 거리 헤메이다
잠자리는 어느 곳일까
지팡이 짚고 절룩거려도
어디엔 듯 이끌리이까
그리운 부모형제
다정한 옛 친구
그러나 갈 수 없는 신세
홀로 가슴 태우다 흙속으로
묻혀 갈 나의 인생아
묻혀 갈 나의 인생아
묻혀 갈 나의 인생아
묻혀 갈 나의 인생아
묻혀 갈 나의 인생아
Romanized lyrics :
[ko]jeo[SPACE]haneul-e[SPACE]guleum[SPACE]ttala
[ko]heuleuneun[SPACE]gangmul-eul[SPACE]ttala
[ko]jeongcheo-eobs-i[SPACE]geodgoman[SPACE]sipguna
[ko]balam-eul[SPACE]beos[SPACE]sam-agamyeo
[ko]nun-ap-e[SPACE]tteo-oneun[SPACE]yes[SPACE]chu-eog
[ko]a[SPACE]geuli-wola
[ko]sonagi[SPACE]peobusneun[SPACE]geolileul
[ko]na[SPACE]hollo[SPACE]oelo-i[SPACE]geol-eumyeo
[ko]geuli-un[SPACE]bumohyeongje
[ko]dajeonghan[SPACE]yes[SPACE]chingu
[ko]geuleona[SPACE]gal[SPACE]su[SPACE]eobsneun[SPACE]sinse
[ko]hollo[SPACE]gaseum[SPACE]tae-uda[SPACE]heulg[SPACE]sog-eulo
[ko]mudhyeo[SPACE]gal[SPACE]na-ui[SPACE]insaeng-a
[ko]
[ko]gipgo[SPACE]malggo[SPACE]palan[SPACE]mu-eongaleul[SPACE]chaj-a
[ko]tteo[SPACE]dol-i[SPACE]pumpal-i[SPACE]manyang
[ko]chingu[SPACE]hana[SPACE]chaj-a-wa[SPACE]juji[SPACE]anhneun
[ko]i[SPACE]gos-e[SPACE]byeol-eul[SPACE]bomyeo[SPACE]ulmeog-ine
[ko]i[SPACE]geoli[SPACE]jeo[SPACE]geoli[SPACE]heme-ida
[ko]jamjalineun[SPACE]eoneu[SPACE]gos-ilkka
[ko]jipang-i[SPACE]jipgo[SPACE]jeolluggeolyeodo
[ko]eodi-en[SPACE]deus[SPACE]i-kkeulli-i-kka
[ko]geuli-un[SPACE]bumohyeongje
[ko]dajeonghan[SPACE]yes[SPACE]chingu
[ko]geuleona[SPACE]gal[SPACE]su[SPACE]eobsneun[SPACE]sinse
[ko]hollo[SPACE]gaseum[SPACE]tae-uda[SPACE]heulgsog-eulo
[ko]mudhyeo[SPACE]gal[SPACE]na-ui[SPACE]insaeng-a
[ko]mudhyeo[SPACE]gal[SPACE]na-ui[SPACE]insaeng-a
[ko]mudhyeo[SPACE]gal[SPACE]na-ui[SPACE]insaeng-a
[ko]mudhyeo[SPACE]gal[SPACE]na-ui[SPACE]insaeng-a
[ko]mudhyeo[SPACE]gal[SPACE]na-ui[SPACE]insaeng-a
바람과 나
Tags : acoustic, expressive, folk, intimate, loud, minor, nostalgic, pop, sad, soulful
Audio duration : 240
Original lyrics :
끝 끝없는 바람
저 험한 산 위로
나뭇잎 사이 불어가는
아 자유의 바람
저 언덕 너머 물결같이
춤추던 님
무명무실 무감한 님
나도 님과 같은 인생을
지녀볼래 지녀볼래
물결 건너편에
황혼에 젖은 산 끝 보다도
아름다운
아 나의 님 바람
뭇 느낌없이 진행하는
시간따라
하늘위로 구름따라
무목여행하는 그대여
인생은 나 인생은 나
인생은 나 인생은 나
Romanized lyrics :
[ko]kkeut[SPACE]kkeut-eobsneun[SPACE]balam
[ko]jeo[SPACE]heomhan[SPACE]san[SPACE]wilo
[ko]namus-ip[SPACE]sa-i[SPACE]bul-eoganeun
[ko]a[SPACE]ja-yu-ui[SPACE]balam
[ko]jeo[SPACE]eondeog[SPACE]neomeo[SPACE]mulgyeolgat-i
[ko]chumchudeon[SPACE]nim
[ko]mumyeongmusil[SPACE]mugamhan[SPACE]nim
[ko]nado[SPACE]nimgwa[SPACE]gat-eun[SPACE]insaeng-eul
[ko]jinyeobollae[SPACE]jinyeobollae
[ko]
[ko]mulgyeol[SPACE]geonneopyeon-e
[ko]hwanghon-e[SPACE]jeoj-eun[SPACE]san[SPACE]kkeut[SPACE]bodado
[ko]aleumda-un
[ko]a[SPACE]na-ui[SPACE]nim[SPACE]balam
[ko]mus[SPACE]neu-kkim-eobs-i[SPACE]jinhaenghaneun
[ko]siganttala
[ko]haneul-wilo[SPACE]guleumttala
[ko]mumog-yeohaenghaneun[SPACE]geudae-yeo
[ko]insaeng-eun[SPACE]na[SPACE]insaeng-eun[SPACE]na
[ko]insaeng-eun[SPACE]na[SPACE]insaeng-eun[SPACE]na