Transformers 是由 Hugging Face 公司开发的一个 Python 库，支持加载目前绝大部分的预训练语言模型。随着 BERT、GPT 等模型的兴起，越来越多的用户采用 Transformers 库来构建自然语言处理应用。
该项目为《Transformers 库快速入门》教程的代码仓库，按照以下方式组织代码：
- data：存储使用到的数据集；
- src：存储示例代码，每个任务对应一个文件夹，可以下载下来单独使用。
该教程处于更新中，正在逐渐添加大语言模型的相关内容。
-
第一部分：背景知识
- 第一章：自然语言处理
- 第二章：Transformer 模型
- 第三章：注意力机制
-
第二部分：初识 Transformers
- 第四章：开箱即用的 pipelines
- 第五章：模型与分词器
- 第六章：必要的 Pytorch 知识
- 第七章：微调预训练模型
-
第三部分：Transformers 实战
-
第四部分：大语言模型时代
- pairwise_cls_similarity_afqmc：句子对分类任务，金融同义句判断。
- sequence_labeling_ner_cpd：序列标注任务，命名实体识别。
- seq2seq_translation：seq2seq任务，中英翻译。
- seq2seq_summarization：seq2seq任务，文本摘要。
- sequence_labeling_extractiveQA_cmrc：序列标注任务，抽取式问答。
- text_cls_prompt_senti_chnsenticorp：文本分类任务，Prompt 情感分析。
| 日期 | 内容 |
|---|---|
| 2024-07-06 | 优化了第一章《自然语言处理》的文字表述，增加了一些图片，增加了大语言模型的简介。 |
| 2024-07-27 | 完成大语言模型技术简介（第14至16章）初稿 |