뉴스 토픽 분류 AI 경진대회

월간 데이콘 17 | 자연어 | 분류 | KLUE | Accuracy

Why?

두번째로 데이콘 대회에 도전하면서 코드들을 정리해 놓으면 편하겠구나 라고 생각하여 코드를 정리했습니다.
Grade

public : 17th, private : 17th. 상위 7%
Data

Download : https://dacon.io/competitions/official/235747/data

data폴더에 저장하였습니다.

torch==1.7.1
transformers==4.8.2
optuna==2.8.0
ray[tune]==1.5.0

datasets
pandas
sklearn

koeda
...

Klue/bert-base fine-tuning

hugginface에서 Klue/bert-base 모델을 받아 해당 데이터셋에 맞게 fine-tuning하는 과정입니다.
Klue/bert-base fine-tuning with Trainer API

Trainer API를 사용하여 더욱 쉽게 모델을 fine-tuning할 수 있습니다.
Klue/bert-base hyperparameter search with Trainer API

Trainer API에서는 Hyperparameter를 찾는 기능을 제공합니다. 최적의 성능을 보이는 Hyper parameter를 찾을 수 있습니다.
Load checkpoints

학습된 모델을 불러와 다시 사용할 수 있습니다.
Klue/bert-base MLM Classification

BERT의 Pretrain에 사용된 방법인 MLM을 사용하여 Classification을 수행합니다.
Klue/bert-base fine-tuning using augmented data

Augmented data를 사용하여 모델을 학습합니다.
Data augmentation - 1

함수를 직접 정의하여 RD, RS augmentation을 수행합니다.
Data augmentation - 2

Koeda 라이브러리를 사용하여 쉽게 한국어 데이터를 augmentation할 수 있습니다.
Cross Validation

교차검증학습을 수행합니다.

Name		Name	Last commit message	Last commit date
Latest commit History 28 Commits
.gitignore		.gitignore
1.klue-bert-base-fine-tuning.ipynb		1.klue-bert-base-fine-tuning.ipynb
2.klue-bert-base-fine-tuning-with-trainer.ipynb		2.klue-bert-base-fine-tuning-with-trainer.ipynb
3.klue-bert-hyperparameter-tuning-with-trainer.ipynb		3.klue-bert-hyperparameter-tuning-with-trainer.ipynb
4.klue-bert-load-checkpoint.ipynb		4.klue-bert-load-checkpoint.ipynb
5.klue-bert-base-mlm-classification.ipynb		5.klue-bert-base-mlm-classification.ipynb
6.data-augmentation-1.ipynb		6.data-augmentation-1.ipynb
7.data-augmentation-2.ipynb		7.data-augmentation-2.ipynb
8.klue-bert-base-augmented.ipynb		8.klue-bert-base-augmented.ipynb
9.cross-validation.ipynb		9.cross-validation.ipynb
LICENSE		LICENSE
README.md		README.md
requirements.txt		requirements.txt