generator_ngram_creativity.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "방법 1) .py파일 직접 실행  \n",
    "문제) 함수를 만들라하는데, 저기 loops함수안의 python 구문에 파라미터가 작동안함  \n",
    "\"우리는\"을 n으로 loops에 넣었는데, 생성되는 거는 n으로 시작함"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "우리 스스로를 아끼면 사람들도 다르게 바라본다</s>\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\308_1\\anaconda3\\envs\\sohyeon_gpt\\lib\\site-packages\\mxnet\\optimizer\\optimizer.py:167: UserWarning: WARNING: New optimizer gluonnlp.optimizer.lamb.LAMB is overriding existing optimizer mxnet.optimizer.optimizer.LAMB\n",
      "  Optimizer.opt_registry[name].__name__))\n",
      "To use data.metrics please install scikit-learn. See https://scikit-learn.org/stable/index.html\n"
     ]
    }
   ],
   "source": [
    "!python generator.py --temperature=1.5 --tmp_sent=\"우리\" --text_size=100 --loops=1 --load_path=\"./checkpoint/KoGPT2_checkpoint_80000.tar\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "def loops(n):\n",
    "    for i in range(n):\n",
    "        !python generator.py --temperature=1.5 --tmp_sent=\"나는\" --text_size=100 --loops=1 --load_path=\"./checkpoint/KoGPT2_checkpoint_80000.tar\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "나는 나의 능력의 가능성을 믿는다.</s>\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\308_1\\anaconda3\\envs\\sohyeon_gpt\\lib\\site-packages\\mxnet\\optimizer\\optimizer.py:167: UserWarning: WARNING: New optimizer gluonnlp.optimizer.lamb.LAMB is overriding existing optimizer mxnet.optimizer.optimizer.LAMB\n",
      "  Optimizer.opt_registry[name].__name__))\n",
      "To use data.metrics please install scikit-learn. See https://scikit-learn.org/stable/index.html\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "나는 어떤 일이 생겨도 침착하고 현명하게 해결해 나간다</s>\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\308_1\\anaconda3\\envs\\sohyeon_gpt\\lib\\site-packages\\mxnet\\optimizer\\optimizer.py:167: UserWarning: WARNING: New optimizer gluonnlp.optimizer.lamb.LAMB is overriding existing optimizer mxnet.optimizer.optimizer.LAMB\n",
      "  Optimizer.opt_registry[name].__name__))\n",
      "To use data.metrics please install scikit-learn. See https://scikit-learn.org/stable/index.html\n",
      "C:\\Users\\308_1\\anaconda3\\envs\\sohyeon_gpt\\lib\\site-packages\\mxnet\\optimizer\\optimizer.py:167: UserWarning: WARNING: New optimizer gluonnlp.optimizer.lamb.LAMB is overriding existing optimizer mxnet.optimizer.optimizer.LAMB\n",
      "  Optimizer.opt_registry[name].__name__))\n",
      "To use data.metrics please install scikit-learn. See https://scikit-learn.org/stable/index.html\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "나는 언제나 주변 사람들에게 따뜻한 미소를 지어준다.</s>\n"
     ]
    }
   ],
   "source": [
    "loops(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "import random\n",
    "low=round(random.uniform(0.5, 1.0),1)\n",
    "mid=round(random.uniform(1.0,2.0),1)\n",
    "high=round(random.uniform(2.0,5.0),1)\n",
    "\n",
    "def loops(creativity,n):\n",
    "    for i in range(3):\n",
    "        !python generator.py --temperature=creativity --tmp_sent=n --text_size=100 --loops=1 --load_path=\"./checkpoint/KoGPT2_checkpoint_80000.tar\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>score</th>\n",
       "      <th>genre</th>\n",
       "      <th>lyrics</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   score genre                                 lyrics\n",
       "0    100    소설          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.\n",
       "1    100    소설              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.\n",
       "2    100    소설  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.\n",
       "3    100    소설             우리 형이 나무 위에 올라가 매우 힘들어보인다.\n",
       "4    100    소설       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다."
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "df=pd.read_csv('./train.csv')\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.',\n",
       " '바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.',\n",
       " '축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.',\n",
       " '우리 형이 나무 위에 올라가 매우 힘들어보인다.',\n",
       " '시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.']"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_lyrics=df['lyrics'].tolist()\n",
    "df_lyrics[0:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "lyrics_ngram=[df_lyrics[i].split(' ')[0:2] for i in range(len(df_lyrics))]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['우리는', '지난'], ['바람과', '함께'], ['축제에', '참가한'], ['우리', '형이'], ['시냇물', '위에']]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lyrics_ngram[0:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "def loops(n):\n",
    "    for i in range(3):\n",
    "        !python generator.py --temperature=0.7 --tmp_sent=n --text_size=100 --loops=1 --load_path=\"./checkpoint/KoGPT2_checkpoint_80000.tar\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "n의 수렁텅이 빠진 내 신분증</s>\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\308_1\\anaconda3\\envs\\sohyeon_gpt\\lib\\site-packages\\mxnet\\optimizer\\optimizer.py:167: UserWarning: WARNING: New optimizer gluonnlp.optimizer.lamb.LAMB is overriding existing optimizer mxnet.optimizer.optimizer.LAMB\n",
      "  Optimizer.opt_registry[name].__name__))\n",
      "To use data.metrics please install scikit-learn. See https://scikit-learn.org/stable/index.html\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "n가 주변의 환경들로부터 스스로를 멀리하였다고한다</s>\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\308_1\\anaconda3\\envs\\sohyeon_gpt\\lib\\site-packages\\mxnet\\optimizer\\optimizer.py:167: UserWarning: WARNING: New optimizer gluonnlp.optimizer.lamb.LAMB is overriding existing optimizer mxnet.optimizer.optimizer.LAMB\n",
      "  Optimizer.opt_registry[name].__name__))\n",
      "To use data.metrics please install scikit-learn. See https://scikit-learn.org/stable/index.html\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "n 매체를 활용하여 홍보하면 됩니다.</s>\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\308_1\\anaconda3\\envs\\sohyeon_gpt\\lib\\site-packages\\mxnet\\optimizer\\optimizer.py:167: UserWarning: WARNING: New optimizer gluonnlp.optimizer.lamb.LAMB is overriding existing optimizer mxnet.optimizer.optimizer.LAMB\n",
      "  Optimizer.opt_registry[name].__name__))\n",
      "To use data.metrics please install scikit-learn. See https://scikit-learn.org/stable/index.html\n"
     ]
    }
   ],
   "source": [
    "loops(lyrics_ngram[0][0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'우리는'"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lyrics_ngram[0][0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# ---------------------------------------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "방법 2) import 하여 사용  \n",
    "문제) py에서 쓰는 parser가 jupyter에서는 작동안함. easydict로 바꾸면 될수도?  \n",
    "참고링크) https://worthpreading.tistory.com/56"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "usage: ipykernel_launcher.py [-h] [--temperature TEMPERATURE] [--top_p TOP_P]\n",
      "                             [--top_k TOP_K] [--text_size TEXT_SIZE]\n",
      "                             [--loops LOOPS] [--tmp_sent TMP_SENT]\n",
      "                             [--load_path LOAD_PATH]\n",
      "ipykernel_launcher.py: error: unrecognized arguments: -f C:\\Users\\308_1\\AppData\\Roaming\\jupyter\\runtime\\kernel-6ac5fb33-8e0c-4b3d-91af-62692fe9231c.json\n"
     ]
    },
    {
     "ename": "SystemExit",
     "evalue": "2",
     "output_type": "error",
     "traceback": [
      "An exception has occurred, use %tb to see the full traceback.\n",
      "\u001b[1;31mSystemExit\u001b[0m\u001b[1;31m:\u001b[0m 2\n"
     ]
    }
   ],
   "source": [
    "from generator import main\n",
    "\n",
    "main(temperature=0.7,tmp_sent=\"우리\",text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_80000.tar\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# ---------------------------------------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "방법2 -1) import 하여 사용 + easydict = generator2.py"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "우리 형이 나무 위에 올라가 매우 힘들어보인다</s>\n"
     ]
    }
   ],
   "source": [
    "from generator2 import main\n",
    "\n",
    "main(temperature=0.7,tmp_sent=\"우리\",text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_80000.tar\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>\n",
      "우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>\n",
      "우리는 지금 멀리 모험을 떠나보려고 한다</s>\n"
     ]
    }
   ],
   "source": [
    "temp=1.0\n",
    "sent=\"우리는\"\n",
    "\n",
    "for i in range(3):\n",
    "    main(temperature=temp,tmp_sent=sent,text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_80000.tar\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# --------------------------------------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "방법 3) .py파일 직접실행으로 파라미터를 직접 넣어줌  \n",
    "단점) 번거로움"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# --------------------------------------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 성공한 방법 2-1에 대해 이어서 진행"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 1) train dataset불러와 앞 2,3 단어를 저장"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>score</th>\n",
       "      <th>genre</th>\n",
       "      <th>lyrics</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>100</td>\n",
       "      <td>소설</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   score genre                                 lyrics\n",
       "0    100    소설          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.\n",
       "1    100    소설              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.\n",
       "2    100    소설  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.\n",
       "3    100    소설             우리 형이 나무 위에 올라가 매우 힘들어보인다.\n",
       "4    100    소설       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다."
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "df_original=pd.read_csv('./train.csv')\n",
    "df_original.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "df=df_original\n",
    "df=df.drop(['score','genre'],axis=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.',\n",
       " '바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.',\n",
       " '축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.',\n",
       " '우리 형이 나무 위에 올라가 매우 힘들어보인다.',\n",
       " '시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.']"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_lyrics=df['lyrics'].tolist()\n",
    "df_lyrics[0:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "lyrics_ngram=[df_lyrics[i].split(' ')[0:3] for i in range(len(df_lyrics))]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['우리는', '지난', '힘들었던'],\n",
       " ['바람과', '함께', '시냇물'],\n",
       " ['축제에', '참가한', '사람들이'],\n",
       " ['우리', '형이', '나무'],\n",
       " ['시냇물', '위에', '떠있는']]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lyrics_ngram[0:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "우리는 지난\n"
     ]
    }
   ],
   "source": [
    "print(' '.join(lyrics_ngram[0][0:2]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "우리는 지난 힘들었던\n"
     ]
    }
   ],
   "source": [
    "print(' '.join(lyrics_ngram[0]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "lyrics_bigram=[]\n",
    "lyrics_trigram=[]\n",
    "for i in range(len(lyrics_ngram)):\n",
    "    lyrics_bigram.append(' '.join(lyrics_ngram[i][0:2]))\n",
    "    lyrics_trigram.append(' '.join(lyrics_ngram[i]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['우리는 지난', '바람과 함께', '축제에 참가한', '우리 형이', '시냇물 위에']\n",
      "['우리는 지난 힘들었던', '바람과 함께 시냇물', '축제에 참가한 사람들이', '우리 형이 나무', '시냇물 위에 떠있는']\n"
     ]
    }
   ],
   "source": [
    "print(lyrics_bigram[0:5])\n",
    "print(lyrics_trigram[0:5])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics   bigram       trigram\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던\n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물\n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이\n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무\n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['bigram']=lyrics_bigram\n",
    "df['trigram']=lyrics_trigram\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 2) bi,trigram과 low, mid, high에 따라 생성되는 문장 저장"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "수정목록:  \n",
    "    ~~1. 학습 더 시키기~~  \n",
    "    ~~2. generator2.py에서 print대신 return으로 바꿔서 dataframe으로 다 저장할수있도록 하기~~"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "__temperature 1.0, 3.0, 5.0 선정 이유__:  \n",
    "\n",
    "    - https://medium.com/analytics-vidhya/understanding-the-gpt-2-source-code-part-1-4481328ee10b  \n",
    "        gpt2에서는 주로 0.2-1.5에서 문맥에 맞는 좋은 문장이 많이 생성된다고 하였음.  \n",
    "        하지만 우리 데이터셋에 적용해본 결과, 다음과 같은 범위에서는 train dataset의 문장 그대로가 출력되는 경우가 다수였음  \n",
    "        \n",
    "        \n",
    "    - https://github.com/gyunggyung/KoGPT2-FineTuning  \n",
    "        kogpt2를 finetuning한 방식의 우리가 참고한 깃허브에서는 default를 1.0, 표절 없는 문장 생성을 5.0으로 하였음  \n",
    "        한국어 생성을 하는 만큼 우리의 목적과 더 부합하다고 판단하였음  \n",
    "        따라서 1.0을 low, 5.0을 high로 지정하였고 그 중간인 3.0을 mid로 하였음   \n",
    "        \n",
    "    - 1.0과 3.0 모두 train dataset과 동일한 문장이 나오는 경우가 대부분  \n",
    "    \n",
    "    -> 10.0도 한번 해보자!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "사랑하고 감사할줄 아는 그래서 자신이커</s>\n"
     ]
    }
   ],
   "source": [
    "# test\n",
    "from generator2 import main\n",
    "main(temperature=5.0,tmp_sent=\"사랑\",text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "사랑한 몸과 마음이 가지고간다고한다 마음이 열고 한다 어지럽다</s>\n",
      "사랑하고 용서합니다 우리집 강아지는 간식을 먹기 위해 참을겨라 시청자는 나의 손을 타고났습니</s>\n",
      "사랑하고 분노하는 감정이 아직 멀리 곳에서 걱정 어린 마음들로 살아간다</s>\n",
      "[None, None, None]\n"
     ]
    }
   ],
   "source": [
    "from generator2 import main\n",
    "list_re=[]\n",
    "for i in range(3):\n",
    "    a=main(temperature=5.0,tmp_sent=\"사랑\",text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "    list_re.append(a)\n",
    "print(list_re)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['사랑하고 감사하는하는 마음으로 하루하루를 살아간다</s>']"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from generator2 import main\n",
    "list_re=[]\n",
    "a=main(temperature=5.0,tmp_sent=\"사랑\",text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "list_re.append(a)\n",
    "\n",
    "list_re"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'사랑하기 싫어해본 부끄러운 사람들에게 있다</s>'"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "main(temperature=10.0,tmp_sent=\"사랑\",text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "      <th>bigram+low</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics   bigram       trigram  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는   \n",
       "\n",
       "                                 bigram+low  \n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>  \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>  \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>  \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>  \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>  "
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 1. bi + low\n",
    "\n",
    "list_bi_low=[]\n",
    "for sent in lyrics_bigram:\n",
    "    a=main(temperature=1.0,tmp_sent=sent,text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "    list_bi_low.append(a)\n",
    "\n",
    "df['bigram+low']=list_bi_low\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics   bigram       trigram  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는   \n",
       "\n",
       "                                 bigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+mid  \n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>  \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>  \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>  \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>  \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>  "
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 2. bi + mid\n",
    "\n",
    "list_bi_mid=[]\n",
    "for sent in lyrics_bigram:\n",
    "    a=main(temperature=3.0,tmp_sent=sent,text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "    list_bi_mid.append(a)\n",
    "\n",
    "df['bigram+mid']=list_bi_mid\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "      <th>bigram+high</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics   bigram       trigram  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는   \n",
       "\n",
       "                                 bigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+high  \n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다</s>  \n",
       "1               바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>  \n",
       "2   축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다</s>  \n",
       "3              우리 형이 나무 위에 올라가 매우 힘들어보인다</s>  \n",
       "4        시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>  "
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 3. bi + high\n",
    "\n",
    "list_bi_high=[]\n",
    "for sent in lyrics_bigram:\n",
    "    a=main(temperature=5.0,tmp_sent=sent,text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "    list_bi_high.append(a)\n",
    "\n",
    "df['bigram+high']=list_bi_high\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "      <th>bigram+high</th>\n",
       "      <th>trigram+low</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics   bigram       trigram  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는   \n",
       "\n",
       "                                 bigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+high  \\\n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다</s>   \n",
       "1               바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2   축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다</s>   \n",
       "3              우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4        시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                trigram+low  \n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>  \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>  \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>  \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>  \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>  "
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 4. tri + low\n",
    "\n",
    "list_tri_low=[]\n",
    "for sent in lyrics_trigram:\n",
    "    a=main(temperature=1.0,tmp_sent=sent,text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "    list_tri_low.append(a)\n",
    "\n",
    "df['trigram+low']=list_tri_low\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "      <th>bigram+high</th>\n",
       "      <th>trigram+low</th>\n",
       "      <th>trigram+mid</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics   bigram       trigram  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는   \n",
       "\n",
       "                                 bigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+high  \\\n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다</s>   \n",
       "1               바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2   축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다</s>   \n",
       "3              우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4        시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                trigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                trigram+mid  \n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>  \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>  \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>  \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>  \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>  "
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 5. tri + mid\n",
    "\n",
    "list_tri_mid=[]\n",
    "for sent in lyrics_trigram:\n",
    "    a=main(temperature=3.0,tmp_sent=sent,text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "    list_tri_mid.append(a)\n",
    "\n",
    "df['trigram+mid']=list_tri_mid\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "      <th>bigram+high</th>\n",
       "      <th>trigram+low</th>\n",
       "      <th>trigram+mid</th>\n",
       "      <th>trigram+high</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 고정보가 보였다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들었&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics   bigram       trigram  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는   \n",
       "\n",
       "                                 bigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+high  \\\n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다</s>   \n",
       "1               바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2   축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다</s>   \n",
       "3              우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4        시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                trigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                trigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                        trigram+high  \n",
       "0                   우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐</s>  \n",
       "1                         바람과 함께 시냇물 위로 고정보가 보였다</s>  \n",
       "2  축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...  \n",
       "3                         우리 형이 나무 위에 올라가 매우 힘들었</s>  \n",
       "4  시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...  "
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 6. tri + high\n",
    "\n",
    "list_tri_high=[]\n",
    "for sent in lyrics_trigram:\n",
    "    a=main(temperature=5.0,tmp_sent=sent,text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "    list_tri_high.append(a)\n",
    "\n",
    "df['trigram+high']=list_tri_high\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv(\"result.csv\",encoding='utf-8-sig')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# -------------------------------------------------------"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "      <th>bigram+high</th>\n",
       "      <th>trigram+low</th>\n",
       "      <th>trigram+mid</th>\n",
       "      <th>trigram+high</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 고정보가 보였다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들었&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Unnamed: 0                                 lyrics   bigram       trigram  \\\n",
       "0           0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던   \n",
       "1           1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물   \n",
       "2           2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이   \n",
       "3           3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무   \n",
       "4           4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는   \n",
       "\n",
       "                                 bigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+high  \\\n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다</s>   \n",
       "1               바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2   축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다</s>   \n",
       "3              우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4        시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                trigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                trigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                        trigram+high  \n",
       "0                   우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐</s>  \n",
       "1                         바람과 함께 시냇물 위로 고정보가 보였다</s>  \n",
       "2  축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...  \n",
       "3                         우리 형이 나무 위에 올라가 매우 힘들었</s>  \n",
       "4  시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...  "
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "df_res=pd.read_csv('./result.csv')\n",
    "df_res.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "      <th>bigram+high</th>\n",
       "      <th>trigram+low</th>\n",
       "      <th>trigram+mid</th>\n",
       "      <th>trigram+high</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다&lt;/s&gt;</td>\n",
       "      <td>우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 위로 고정보가 보였다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다&lt;/s&gt;</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들었&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                                 bigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                 bigram+high  \\\n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다</s>   \n",
       "1               바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2   축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다</s>   \n",
       "3              우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4        시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                trigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                trigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다</s>   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다</s>   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다</s>   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다</s>   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다</s>   \n",
       "\n",
       "                                        trigram+high  \n",
       "0                   우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐</s>  \n",
       "1                         바람과 함께 시냇물 위로 고정보가 보였다</s>  \n",
       "2  축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...  \n",
       "3                         우리 형이 나무 위에 올라가 매우 힘들었</s>  \n",
       "4  시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_res=df_res.drop(['Unnamed: 0','bigram','trigram'],axis=1)\n",
    "df_res.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "column_names=['bigram+low','bigram+mid','bigram+high','trigram+low','trigram+mid','trigram+high']\n",
    "\n",
    "for column_name in column_names:\n",
    "    for i in range(len(df_res)):\n",
    "        df_res[column_name][i]=df_res[column_name][i].replace('</s>','.')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "      <th>bigram+high</th>\n",
       "      <th>trigram+low</th>\n",
       "      <th>trigram+mid</th>\n",
       "      <th>trigram+high</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 고정보가 보였다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들었.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                              bigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                              bigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                              bigram+high  \\\n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다.   \n",
       "1               바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2   축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다.   \n",
       "3              우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4        시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                             trigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                             trigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                                        trigram+high  \n",
       "0                      우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐.  \n",
       "1                            바람과 함께 시냇물 위로 고정보가 보였다.  \n",
       "2  축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...  \n",
       "3                            우리 형이 나무 위에 올라가 매우 힘들었.  \n",
       "4  시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...  "
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_res.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "for column_name in column_names:\n",
    "    for i in range(len(df_res)):\n",
    "        df_res[column_name][i]=df_res[column_name][i].replace('..','.')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "      <th>bigram+high</th>\n",
       "      <th>trigram+low</th>\n",
       "      <th>trigram+mid</th>\n",
       "      <th>trigram+high</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 시냇물 위로 고정보가 보였다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들었.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                              bigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                              bigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                              bigram+high  \\\n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다.   \n",
       "1               바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2   축제에 참가한 가족들이 마을 안등에 소원을 적어 후지에 띄워보낸다.   \n",
       "3              우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4        시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                             trigram+low  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                             trigram+mid  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   \n",
       "\n",
       "                                        trigram+high  \n",
       "0                      우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐.  \n",
       "1                            바람과 함께 시냇물 위로 고정보가 보였다.  \n",
       "2  축제에 참가한 사람들이 풍등에 바람과 함께 사진을 적어 하늘로 가린다 둥근 구름으로...  \n",
       "3                            우리 형이 나무 위에 올라가 매우 힘들었.  \n",
       "4  시냇물 위에 떠있는 나뭇가지를 지나서 강가에 떠내려 본다 아름다운 색상의 그릇과 자...  "
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_res.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_res.to_csv(\"result2.csv\",encoding='utf-8-sig',index=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# --------------------------------------------------"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "      <th>bigram+highest</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "      <td>우리는 지난 이야기를 한다보면 코 지나가는 순간 웃음이 사라진 친구들이 있던 상처를...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "      <td>바람과 함께 작은방울을 멀리 불어낸다 사라진다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "      <td>축제에 참가한 사람들이 참가한쪽에 두 팔을 올리며 손을 씻었습니다가을세한다탈을 기도...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "      <td>우리 형이 장가에 가요. - 부탁문&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "      <td>시냇물 위에 오른가을의  햇물에 뜨거운 가지가 말렸다.&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics   bigram       trigram  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는   \n",
       "\n",
       "                                      bigram+highest  \n",
       "0  우리는 지난 이야기를 한다보면 코 지나가는 순간 웃음이 사라진 친구들이 있던 상처를...  \n",
       "1                      바람과 함께 작은방울을 멀리 불어낸다 사라진다</s>  \n",
       "2  축제에 참가한 사람들이 참가한쪽에 두 팔을 올리며 손을 씻었습니다가을세한다탈을 기도...  \n",
       "3                            우리 형이 장가에 가요. - 부탁문</s>  \n",
       "4                 시냇물 위에 오른가을의  햇물에 뜨거운 가지가 말렸다.</s>  "
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 7. bi + highest\n",
    "from generator2 import main\n",
    "\n",
    "list_bi_highest=[]\n",
    "for sent in lyrics_bigram:\n",
    "    a=main(temperature=10.0,tmp_sent=sent,text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "    list_bi_highest.append(a)\n",
    "\n",
    "df['bigram+highest']=list_bi_highest\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram</th>\n",
       "      <th>trigram</th>\n",
       "      <th>bigram+highest</th>\n",
       "      <th>trigram+highest</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난</td>\n",
       "      <td>우리는 지난 힘들었던</td>\n",
       "      <td>우리는 지난 이야기를 한다보면 코 지나가는 순간 웃음이 사라진 친구들이 있던 상처를...</td>\n",
       "      <td>우리는 지난 힘들었던일을 손 가득 실어 마음으로웠다10월초력 사진으로 되살립고본다2...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께</td>\n",
       "      <td>바람과 함께 시냇물</td>\n",
       "      <td>바람과 함께 작은방울을 멀리 불어낸다 사라진다&lt;/s&gt;</td>\n",
       "      <td>바람과 함께 시냇물 물 바람은 뒷심을 실종했다&lt;/s&gt;</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한</td>\n",
       "      <td>축제에 참가한 사람들이</td>\n",
       "      <td>축제에 참가한 사람들이 참가한쪽에 두 팔을 올리며 손을 씻었습니다가을세한다탈을 기도...</td>\n",
       "      <td>축제에 참가한 사람들이 마을 분위기에 부드럽게 느껴지고 훈훈하길 콧중았다 가을이다 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이</td>\n",
       "      <td>우리 형이 나무</td>\n",
       "      <td>우리 형이 장가에 가요. - 부탁문&lt;/s&gt;</td>\n",
       "      <td>우리 형이 나무 위에 올라가면서 위기에 있습니다 법을 제가 집행했습니다.」 차 사고...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에</td>\n",
       "      <td>시냇물 위에 떠있는</td>\n",
       "      <td>시냇물 위에 오른가을의  햇물에 뜨거운 가지가 말렸다.&lt;/s&gt;</td>\n",
       "      <td>시냇물 위에 떠있는 햇물 위에 누워 참는다 김동기가 파도의 물살을 머금듯이 몸과 마...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics   bigram       trigram  \\\n",
       "0          우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   우리는 지난   우리는 지난 힘들었던   \n",
       "1              바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.   바람과 함께    바람과 함께 시냇물   \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.  축제에 참가한  축제에 참가한 사람들이   \n",
       "3             우리 형이 나무 위에 올라가 매우 힘들어보인다.    우리 형이      우리 형이 나무   \n",
       "4       시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.   시냇물 위에    시냇물 위에 떠있는   \n",
       "\n",
       "                                      bigram+highest  \\\n",
       "0  우리는 지난 이야기를 한다보면 코 지나가는 순간 웃음이 사라진 친구들이 있던 상처를...   \n",
       "1                      바람과 함께 작은방울을 멀리 불어낸다 사라진다</s>   \n",
       "2  축제에 참가한 사람들이 참가한쪽에 두 팔을 올리며 손을 씻었습니다가을세한다탈을 기도...   \n",
       "3                            우리 형이 장가에 가요. - 부탁문</s>   \n",
       "4                 시냇물 위에 오른가을의  햇물에 뜨거운 가지가 말렸다.</s>   \n",
       "\n",
       "                                     trigram+highest  \n",
       "0  우리는 지난 힘들었던일을 손 가득 실어 마음으로웠다10월초력 사진으로 되살립고본다2...  \n",
       "1                      바람과 함께 시냇물 물 바람은 뒷심을 실종했다</s>  \n",
       "2  축제에 참가한 사람들이 마을 분위기에 부드럽게 느껴지고 훈훈하길 콧중았다 가을이다 ...  \n",
       "3  우리 형이 나무 위에 올라가면서 위기에 있습니다 법을 제가 집행했습니다.」 차 사고...  \n",
       "4  시냇물 위에 떠있는 햇물 위에 누워 참는다 김동기가 파도의 물살을 머금듯이 몸과 마...  "
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 8. tri + highest\n",
    "\n",
    "list_tri_highest=[]\n",
    "for sent in lyrics_trigram:\n",
    "    a=main(temperature=10.0,tmp_sent=sent,text_size=100,loops=1,load_path=\"./checkpoint/KoGPT2_checkpoint_240000.tar\")\n",
    "    list_tri_highest.append(a)\n",
    "\n",
    "df['trigram+highest']=list_tri_highest\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "column_names=['bigram+highest','trigram+highest']\n",
    "df=df.drop(['bigram','trigram'],axis=1)\n",
    "\n",
    "for column_name in column_names:\n",
    "    for i in range(len(df)):\n",
    "        df[column_name][i]=df[column_name][i].replace('</s>','.')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\308_1\\anaconda3\\envs\\sohyeon_gpt\\lib\\site-packages\\ipykernel_launcher.py:1: FutureWarning: Passing a negative integer is deprecated in version 1.0 and will not be supported in future version. Instead, use None to not limit the column width.\n",
      "  \"\"\"Entry point for launching an IPython kernel.\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram+highest</th>\n",
       "      <th>trigram+highest</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 이야기를 한다보면 코 지나가는 순간 웃음이 사라진 친구들이 있던 상처를 보고도 웃어버려야 하는 생각이 들 때가 있을 정도로 깊은 추억을 된다횟수다 (10%의 감각을 가지고 있었던가).bind  따스할 적이 자주 든다 인터넷는 이야기를 들곤한다 미워한다2세대 이상 없었다.</td>\n",
       "      <td>우리는 지난 힘들었던일을 손 가득 실어 마음으로웠다10월초력 사진으로 되살립고본다2.8%톤 하늘 금줄까지 믿는다28000마일리 가입 절차를 간소화해주세요.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 작은방울을 멀리 불어낸다 사라진다.</td>\n",
       "      <td>바람과 함께 시냇물 물 바람은 뒷심을 실종했다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 참가한쪽에 두 팔을 올리며 손을 씻었습니다가을세한다탈을 기도입니다 스님 이야기를 합니다 2. 종이비행기는 이제 쓸 생각을 말아야 됩니다.</td>\n",
       "      <td>축제에 참가한 사람들이 마을 분위기에 부드럽게 느껴지고 훈훈하길 콧중았다 가을이다 멀리 바다가 보여 마음.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 장가에 가요. - 부탁문.</td>\n",
       "      <td>우리 형이 나무 위에 올라가면서 위기에 있습니다 법을 제가 집행했습니다.」 차 사고로 넓힐 자세를 취해 아직 됩니다람쥐가 넘어졌다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 오른가을의  햇물에 뜨거운 가지가 말렸다..</td>\n",
       "      <td>시냇물 위에 떠있는 햇물 위에 누워 참는다 김동기가 파도의 물살을 머금듯이 몸과 마음.</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics  \\\n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.           \n",
       "1  바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.               \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3  우리 형이 나무 위에 올라가 매우 힘들어보인다.              \n",
       "4  시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.        \n",
       "\n",
       "                                                                                                                                                   bigram+highest  \\\n",
       "0  우리는 지난 이야기를 한다보면 코 지나가는 순간 웃음이 사라진 친구들이 있던 상처를 보고도 웃어버려야 하는 생각이 들 때가 있을 정도로 깊은 추억을 된다횟수다 (10%의 감각을 가지고 있었던가).bind  따스할 적이 자주 든다 인터넷는 이야기를 들곤한다 미워한다2세대 이상 없었다.   \n",
       "1  바람과 함께 작은방울을 멀리 불어낸다 사라진다.                                                                                                                                       \n",
       "2  축제에 참가한 사람들이 참가한쪽에 두 팔을 올리며 손을 씻었습니다가을세한다탈을 기도입니다 스님 이야기를 합니다 2. 종이비행기는 이제 쓸 생각을 말아야 됩니다.                                                                        \n",
       "3  우리 형이 장가에 가요. - 부탁문.                                                                                                                                             \n",
       "4  시냇물 위에 오른가을의  햇물에 뜨거운 가지가 말렸다..                                                                                                                                  \n",
       "\n",
       "                                                                          trigram+highest  \n",
       "0  우리는 지난 힘들었던일을 손 가득 실어 마음으로웠다10월초력 사진으로 되살립고본다2.8%톤 하늘 금줄까지 믿는다28000마일리 가입 절차를 간소화해주세요.  \n",
       "1  바람과 함께 시냇물 물 바람은 뒷심을 실종했다.                                                              \n",
       "2  축제에 참가한 사람들이 마을 분위기에 부드럽게 느껴지고 훈훈하길 콧중았다 가을이다 멀리 바다가 보여 마음.                             \n",
       "3  우리 형이 나무 위에 올라가면서 위기에 있습니다 법을 제가 집행했습니다.」 차 사고로 넓힐 자세를 취해 아직 됩니다람쥐가 넘어졌다.               \n",
       "4  시냇물 위에 떠있는 햇물 위에 누워 참는다 김동기가 파도의 물살을 머금듯이 몸과 마음.                                        "
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.set_option('display.max_colwidth', -1)\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "for column_name in column_names:\n",
    "    for i in range(len(df)):\n",
    "        df[column_name][i]=df[column_name][i].replace('..','.')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram+highest</th>\n",
       "      <th>trigram+highest</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 이야기를 한다보면 코 지나가는 순간 웃음이 사라진 친구들이 있던 상처를 보고도 웃어버려야 하는 생각이 들 때가 있을 정도로 깊은 추억을 된다횟수다 (10%의 감각을 가지고 있었던가).bind  따스할 적이 자주 든다 인터넷는 이야기를 들곤한다 미워한다2세대 이상 없었다.</td>\n",
       "      <td>우리는 지난 힘들었던일을 손 가득 실어 마음으로웠다10월초력 사진으로 되살립고본다2.8%톤 하늘 금줄까지 믿는다28000마일리 가입 절차를 간소화해주세요.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.</td>\n",
       "      <td>바람과 함께 작은방울을 멀리 불어낸다 사라진다.</td>\n",
       "      <td>바람과 함께 시냇물 물 바람은 뒷심을 실종했다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.</td>\n",
       "      <td>축제에 참가한 사람들이 참가한쪽에 두 팔을 올리며 손을 씻었습니다가을세한다탈을 기도입니다 스님 이야기를 합니다 2. 종이비행기는 이제 쓸 생각을 말아야 됩니다.</td>\n",
       "      <td>축제에 참가한 사람들이 마을 분위기에 부드럽게 느껴지고 훈훈하길 콧중았다 가을이다 멀리 바다가 보여 마음.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>우리 형이 나무 위에 올라가 매우 힘들어보인다.</td>\n",
       "      <td>우리 형이 장가에 가요. - 부탁문.</td>\n",
       "      <td>우리 형이 나무 위에 올라가면서 위기에 있습니다 법을 제가 집행했습니다.」 차 사고로 넓힐 자세를 취해 아직 됩니다람쥐가 넘어졌다.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.</td>\n",
       "      <td>시냇물 위에 오른가을의  햇물에 뜨거운 가지가 말렸다.</td>\n",
       "      <td>시냇물 위에 떠있는 햇물 위에 누워 참는다 김동기가 파도의 물살을 머금듯이 몸과 마음.</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  lyrics  \\\n",
       "0  우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.           \n",
       "1  바람과 함께 시냇물 위로 나뭇잎이 떠내려간다.               \n",
       "2  축제에 참가한 사람들이 풍등에 소원을 적어 바람과 함께 띄워보낸다.   \n",
       "3  우리 형이 나무 위에 올라가 매우 힘들어보인다.              \n",
       "4  시냇물 위에 떠있는 나뭇잎에 지나가는 여름을 떠올려 본다.        \n",
       "\n",
       "                                                                                                                                                   bigram+highest  \\\n",
       "0  우리는 지난 이야기를 한다보면 코 지나가는 순간 웃음이 사라진 친구들이 있던 상처를 보고도 웃어버려야 하는 생각이 들 때가 있을 정도로 깊은 추억을 된다횟수다 (10%의 감각을 가지고 있었던가).bind  따스할 적이 자주 든다 인터넷는 이야기를 들곤한다 미워한다2세대 이상 없었다.   \n",
       "1  바람과 함께 작은방울을 멀리 불어낸다 사라진다.                                                                                                                                       \n",
       "2  축제에 참가한 사람들이 참가한쪽에 두 팔을 올리며 손을 씻었습니다가을세한다탈을 기도입니다 스님 이야기를 합니다 2. 종이비행기는 이제 쓸 생각을 말아야 됩니다.                                                                        \n",
       "3  우리 형이 장가에 가요. - 부탁문.                                                                                                                                             \n",
       "4  시냇물 위에 오른가을의  햇물에 뜨거운 가지가 말렸다.                                                                                                                                   \n",
       "\n",
       "                                                                          trigram+highest  \n",
       "0  우리는 지난 힘들었던일을 손 가득 실어 마음으로웠다10월초력 사진으로 되살립고본다2.8%톤 하늘 금줄까지 믿는다28000마일리 가입 절차를 간소화해주세요.  \n",
       "1  바람과 함께 시냇물 물 바람은 뒷심을 실종했다.                                                              \n",
       "2  축제에 참가한 사람들이 마을 분위기에 부드럽게 느껴지고 훈훈하길 콧중았다 가을이다 멀리 바다가 보여 마음.                             \n",
       "3  우리 형이 나무 위에 올라가면서 위기에 있습니다 법을 제가 집행했습니다.」 차 사고로 넓힐 자세를 취해 아직 됩니다람쥐가 넘어졌다.               \n",
       "4  시냇물 위에 떠있는 햇물 위에 누워 참는다 김동기가 파도의 물살을 머금듯이 몸과 마음.                                        "
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv(\"result3.csv\",encoding='utf-8-sig',index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "sohyeon_gpt",
   "language": "python",
   "name": "sohyeon_gpt"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}