ALM 1.0
November 28, 2022 · View on GitHub
简介
ALM 模型是基于自回归填空的通用阿拉伯语预训练模型，相关参数如下：
| Name | Params | Layers | Hidden Size | FFN Hidden size | Heads | Head Size |
|---|---|---|---|---|---|---|
| ALM 1.0 | 335M | 24 | 1024 | 4096 | 16 | 64 |
训练数据集
ALM-1.0使用了全球最大的开源阿语数据集ArabicText 2022，详细信息可参看：ArabicText 2022
使用方式
微调
依托于FlagAI，ALM 可以用于常见的Seq2seq 任务。
快速使用/Quick start
-
examples/ALM/train.py提供了使用ALM做摘要、内容生成等Seq2seq任务的微调样例。 -
examples/ALM/generate.py提供了使用GLM模型做句子预测的样例。