CCF-BDCI 2022 小样本数据分类任务

赛程规划

该赛题采用初赛、决赛的“二级赛制”，具体赛程安排如下：

2022/08/29-11/09，初赛阶段

• 2022/08/29（12:00），发布大赛赛题，选手可登录大赛官网报名；
• 2022/09/05，开启初赛线上评测，选手可在线提交结果文件至竞赛平台，每日每队最多可提交3次，测评系统将自动评测得分并同步更新至排行榜。排行榜上将记录选手的最高成绩，相关团队必须自行保存最高成绩作品的源代码以备审核；
• 2022/11/04（12:00），截止报名组队；
• 2022/11/07（24:00），截止初赛A榜作品提交；初赛A榜评测结束后，所有选手均可进行初赛B榜评测；
• 2022/11/08，公布B榜测试集，本赛题所有参赛选手务必在11月08日24:00前，在本赛题“赛题数据”页下载B榜测试集；
• 2022/11/09（00:00-24:00），初赛B榜作品提交，参赛者可在B榜当天提交3次，但仅以每支团队当天最后一次提交进行评测，决赛入围资格以B榜线上最终成绩为准（B榜排行榜展示的成绩），若团队没有进行B榜提交，则无法晋级后续比赛，B榜TOP5团队经复现审核后入围决赛。

2022/11/10-12/31，决赛阶段

• 2022/11/10-11/20，复现及决赛资料提交，拟入围决赛的团队按照要求提交复现资料、决赛答辩评审资料等;
• 2022/11/26-11/27，决赛评审（线上）；
• 2022/12月中旬，决赛嘉年华系列活动（时间、场地待定，请关注通知）

项目介绍

目录

• baseline.ipynb：训练和预测的主基线
• baseline-data.ipynb：数据后处理的基线
• PromptClue.ipynb：根据 PromptClue 修改的训练基线
• **_classifier_**.py：某方法以及某预训练模型的训练脚本（kfold的预测已包含在该对应的训练脚本内，每一折结束后自动进行测试集的预测，生成 test_results_*.txt文件）
• **_pred_**.py：预测脚本
• modeling.py：模型的代码
• data/：数据处理文件夹
  • labels/：各标签类别分离后的数据，用于采样
    • split：按策略对 abstract 列进行<sep>划分——一种数据处理方法 - Datafountian
  • prompt/：用于 PromptClue 基线的数据集
  • split/：按策略划分 abstract 的数据集【有/无assignee：经测试，无 assignee 数据的分数较高】
  • train/、test/：有/未被划分过的数据集
  • translation/：中英文翻译数据集
  • 北京大学开放研究数据平台_发明专利数据：额外数据（来源：北京大学开放研究数据平台-发明专利数据）
    • 取28000条数据（相当于A榜测试集的20839条）进行伪标签方式训练，发现略有提升：0.6452 → 0.6453
    • 取40000条数据进行伪标签方式训练，效果不升反降：可能因为噪声过大导致
• tools/：NEZHA 官方 baseline 带的工具

方法

• 尝试过：

  • BERT、RoBERTa、NEZHA、BertForPatents、XLNet模型，发现 XLNet 分数最高
  • 中英文回译加入数据集、纯英文 + BertForPatents，发现使用中文回译训练集分数较高
  • 伪标签：现预测出的A榜测试集（分数0.6453）与训练集的原始分布不同，类别0和4明显偏多（参考 data/data.ipynb 中的柱状图）
    • 加入外部数据集，效果参考上述内容。
  • mixup 方法，训练效果不佳，震荡

• 本任务 baseline 采用的方法：

  • XLNet 预训练模型
  • (有/无 BiGRU + ) Transformer Encoder
  • 5-Fold Cross-validation
  • RDropLoss (focal loss)

  • 分层学习率 + 线性学习率预热：预训练模型参数 1e-5，分类层参数 3e-5，4 epochs，32~40 batch size 【使用两张 NVIDIA RTX A5000 显卡】

  • 采用伪标签的方式（data/data.ipynb）：利用训练集训练模型，然后模型预测测试集标签，再将这些标签按比例策略加入训练集

TODO (2022-11-05)

• 测试集标签加入训练集过多，导致噪声增大，模型效果无法提升
• 训练次数过多引起过拟合，可能在B榜上的成绩不高

比赛结果

A 榜（2022-11-08 23:59:59 截止 / 前十名）

B 榜（2022-11-09 23:59:59 截止）

总结（2022-11-10）

经过三个月的炼丹和调试终于在“抖榜”中结束了。之前想到会过拟合，在没想到B榜的结果会这么拉。过拟合可能有下面几个部分：

testA 和 testB 其真实标签的分布与 train 的分布一致（分层抽样）。testA 与 testB 的数量比接近 1:1

• 过采样的比例问题：
  • 【生成初始伪标签】首先利用训练好的A榜最高分 0.6495 的模型生成B榜的伪标签；
  • 【train + train_backtranslation + testA6495 + testB】将训练集加上回译的部分（训练集数量 * 2），同时加上 testA 的最高分伪标签（总共四万多条数据）；
  • 以 lr=3e-5、batch size=40 替换伪标签地反复训练 4epochs两次，得到最总的 testB 伪标签；
  • 以每个标签50倍 tain.json 过采样，超过50倍的，给予24倍的限额；低于50倍的，给予1倍的容忍；
  • 这样过采样出来，testB 中标签为0的文本很多没有被采集到，而那些只有几倍的标签（22）数量又过多。
• 使用了 testA 的伪标签训练 testB，其自身有偏差，可能导致最后整体偏差过大。
• 文本处理：按规则分割后，只取了title和effect拼接作为输入（按照 testA 最高分的策略，即 测试时数据增强（TTA）方式），可能丢失了文本其他部分的信息。

本次在B榜测试集中失败的原因大概率是过拟合。 若时间充裕可尝试加入 abstract 文本的全部部分进行训练。

引用与 @Zhou.Y.M 大佬的谈话记录：

好不好不是看分数，是看背后的逻辑。你想一个道理。比如有10个参数，你不思考 只是去乱调，调了马上能看到调得好不好，那谁都能把他调好，打比赛不是调参。

赛题群交流记录 （2022-11-10）

@覃辉

哈，这抖动也太厉害了。昨天做两个蒸馏模型的对比测试，A榜上差了十几个标签，在B榜的预测上却有了600多个标签的差异。我们预计会有0.03左右的抖动。没想到比这还厉害。

简单交流一下吧。前期，我们使用两种数据增强(后向翻译和随机调换邻近词的位置）创造新的数据，再用类似这样('这篇专利的类别是[MASK]。' + line['title'] + '。' + line['assignee'] + '。' + line['abstract'])文本组合方式, 选用Roberta large 4fold，分数早早就到了0.62x。又换了其它的预训练模型训练，简单融合分数就上了0.63. 到了比赛中段，我们主要靠伪标签来提升单模，通过不同的预训练模型融合来提升总分。分数也很快上了0.65 。
伪标签策略：
1）不同分类取不同概率阈值，对数量多的分类随机采样，最后组合的时候尽量和train的分类比例靠近；
2）不同分类取不同概率阈值，通过4fold的精准率和召回率来选择最佳阈值，对数量多的分类随机采样；
3）伪标签数量大概13k左右

这比赛work的trick：
1）后向翻译和随机调换邻近词的位置；
2）R-DROP，MULTI-DROPOUT，对抗训练，分层学习率；
3）伪标签；
4）简单的MASK学习。类似：这篇专利的类别是[MASK]
5）百度的ERNIE 3.0预训练模型很好用。效果比各种large都好。

不work的：
1）UDA以及某些半监督的论文
2）MLM预训练
3）换不同的种子。我们用42的种子和lb比较配合，换了别的种子，分数就跌了很多。
4）英文bert for pattern。不管是base还是large，lb 都很差，都不如ERNIE 3.0
5）同义词和近义词数据增强

以上就是我们拟合A榜的过程，欢迎交流。

这个比赛在train数据上还是有些小问题的。主要是那几个小分类(标注样本很少的)。有些只有5条标注数据，但是里面的样本却分属多个领域。以至于有些领域只有一条数据。这样的样本，就很容易被分类器分到别的分类去了。如果每个领域至少两条数据的话，这些小分类的F1值可能就会好很多

Q: 大佬 那个mask学习是指的prompt吗

A: 我们不是sequence-2-sequence的方式，而是这样：

1
2
3
4

hidden_layers = outputs[-1]
cls_outputs = torch.stack(
    [layer[:, 9, :] for layer in hidden_layers], dim=2
)

所以，应该还是算MASK吧

@HY

我单模最高0.611 就用chinese-bert-wwm-ext 也不用伪标签 也不用数据增强 用了 label smooth 都是去拟合数据 我还去推了 A测试集 每个label应该有多少个。。。
2:3357 11:1114 10:1074 0:695 8:816 5:755 6:976 。。。。。
每次推理的结果中 0 和 10 都出现2100个。。。。。大部分错的就在这里。。。我就想各种采样呀之类的 都没有搞上去
数据增强想采用backtranslate 发现API限流 。。。。就用了预训练翻译模型，效果太差了 。。。

我几乎把所有的预训练模型都尝试了一遍。。。roberta bert ernie1.0/ 3.0/ gram macbert nezha deberta-v2 mengzi_bert 最后得出chinese-bert-wwm-ex效果最好 就一直采用这个模型

覃辉：@HY 谢谢分享。我们也是用预训练翻译模型的。但是BT（后向翻译）增强确实有用

@ 坤坤 四川

我一直在处理数据，5号都还在处理数据，然后不加trick在A榜0.628

最后也没时间加伪标签那些了

训练时把assignee去掉，推理时加上后缀为“有限公司”的assignee

拆分也没必要拆成三部分，只需要把最后的effect拆出来，效果要好一些

覃辉：@坤坤 四川 你是单折0.628吗？这分数不错的。

坤坤 四川：嗯

覃辉：嗯嗯，bert for patents吗？

坤坤 四川：是的

@ DECEM 深圳

很早前随便试了easynlp里面的一个prompt方法，效果不太好，base也才0.5。用的是标签语义。