DeepIE/run/DuIE/实施步骤.md
2021-03-01 16:52:25 +08:00

825 B
Raw Permalink Blame History

  1. git clone https://github.com/loujie0822/DeepIE.git ,同时切换到 jielou 的分支上
  2. 安装所依赖的虚拟环境
  3. 上传数据创建data/BaiduIE_2020/,将数据集上传到这里
  4. 上传预训练模型创建transformer_cpt/bert/将模型相关参数上传到这里如需要roberta则创建transformer_cpt/chinese_roberta_wwm_large_ext_pytorch/
  5. 运行
export PYTHONPATH=`pwd`
nohup python run/DuIE/transformer_mpn_v2/main.py \
  --input data/BaiduIE_2020/  \
  --output cpt/char_bert/ \
  --bert_model transformer_cpt/bert/ \
  --max_len 128 \
  --train_batch_size 80 \
  --learning_rate 2e-5 \
  --device_id 0 \
  --epoch_num 20 \
  --patience_stop 20

transformer_mpn_v2 经过了随机采样 train 171293

transformer_mpn_v3 不需要经过随机采样 train 229293