MalayMMLU: A Multitask Benchmark for the Low-Resource Malay Language (Laman Rasmi)

• Dikemas kini pada 25 Ogos 2025 (Terima kasih kepada Faris-Faiz, pindaan calculate_accuracies.py)
• Dikemas kini pada 18 Ogos 2025 (isu #2 dan #3 telah diselesaikan. Terima kasih kepada Phoong K.Z. dan Paulabbott-ship-it)
• Dilancarkan pada 27 September 2024

English | Bahasa Melayu

📄 Penerbitan (EMNLP2024) • 🤗 Set Data • 📜 Poster

Pengenalan

MalayMMLU ialah tanda aras kefahaman bahasa pelbagai tugas (Massive Multitask Language Understanding (MMLU) dalam Bahasa Inggeris) pertama untuk Bahasa Melayu. Tanda aras ini merangkumi 24,213 soalan yang meliputi peringkat pendidikan rendah (Tahun 1-6) dan menengah (Tingkatan 1-5) di Malaysia, terdiri daripada 5 topik utama yang dibahagikan kepada 22 subjek.

Keputusan

Keputusan Penilaian Zero-shot untuk MalayMMLU (Ketepatan token pertama)

(Kemas kini terakhir: 27hb Sept. 2024)

Keputusan Penilaian Few-shot untuk MalayMMLU (Ketepatan token pertama)

Pemasangan

git clone https://github.com/UMxYTL-AI-Labs/MalayMMLU.git
cd MalayMMLU
pip install -r requirements.txt

Penilaian

Kami telah menyediakan contoh skrip penilaian di scripts

usage: evaluate.py [-h] [--by_letter] --base_model BASE_MODEL --output_folder OUTPUT_FOLDER [--playground PLAYGROUND] [--task TASK] [--shot SHOT] [--token TOKEN]
options:
  -h, --help            mesej penggunaan 
  --by_letter           Gunakan flag ini untuk mengira ketepatan token pertama
  --base_model BASE_MODEL
                        Nama model atau folder yang mengandungi model terlatih
  --output_folder OUTPUT_FOLDER
                        Folder untuk menyimpan output
  --playground PLAYGROUND
                        Set kepada True untuk membolehkan mod playground (default: False).
  --task TASK           Tentukan tugas yang akan dilaksanakan (default: 'MalayMMLU').
  --shot SHOT           Senaraikan nombor shot: 0,1,2 or 3 (default: 0).
  --token TOKEN         Tentukan HuggingFace token

Penilaian berdasarkan ketepatan token pertama untuk LLM

• PRED_FILE: nama fail ramalan
  • Contoh, "output/MalayMMLU_result_Meta-Llama-3-8B-Instruct_True_0shot.csv"

SHOT=0
# ramalan
python src/evaluate.py  --by_letter --shot $SHOT  --task=MalayMMLU \
                    --base_model=meta-llama/Meta-Llama-3-8B-Instruct  \
                    --output_folder=output/ --token $TOKEN

# pengiraan ketepatan
PRED_FILE=output/MalayMMLU_result_Meta-Llama-3-8B-Instruct_True_0shot.csv

python src/calculate_accuracies.py --pred_files $PRED_FILE \
    --data_file=$SHOT \
    --output_dir=output/

# Pengiraan ketepatan untuk semua fail ramalan dalam folder

PRED_DIR=output/
python src/calculate_accuracies.py --all --pred_dir  $PRED_DIR \
    --shot=$SHOT \
    --output_dir=results/

Penilaian berdasarkan ketepatan jawapan penuh untuk LLM

# ramalan
python src/evaluate.py  --shot $SHOT True  --task=MalayMMLU \
                    --base_model=meta-llama/Meta-Llama-3-8B-Instruct  \
                    --output_folder=output/ --token $TOKEN

# pengiraan ketepatan                  
PRED_FILE=output/MalayMMLU_result_Meta-Llama-3-8B-Instruct_False_0shot.csv

python src/calculate_accuracies.py --pred_files $PRED_FILE \
    --shot=$SHOT \
    --output_dir=output/

# Pengiraan ketepatan untuk semua fail ramalan dalam folder

PRED_DIR=output/

python src/calculate_accuracies.py --all --pred_dir  $PRED_DIR \
    --shot=$SHOT \
    --output_dir=output/

Penilaian untuk LVLM

Langkah dan cara penggunaan yang sama untuk evaluate_pixtral.py, evaluate_qwen_vl.py, evaluate_intern_vl.py

Penilaian untuk Model Sumber Tertutup

• API_KEY: kunci API OpenAI

# ramalan
python src/evaluate_gpt.py --model gpt-3.5-turbo --api_key $API_KEY --shot $SHOT

• muat turun fail ramalan (jsonl file ) daripada platform OpenAI
• Namakan fail ramalan tersebut mengikut format berikutnya: MalayMMLU_{MODEL}_{SHOT}shot.jsonl
  • Contoh: MalayMMLU_gpt3_0shot.jsonl

# pengiraan ketepatan
python src/calculate_accuracies.py --pred_files $PRED_FILE \
    --shot=$SHOT \
    --output_dir=output/ --closed

# Pengiraan ketepatan untuk semua fail ramalan dalam folder
python src/calculate_accuracies.py --all --pred_dir  $PRED_DIR \
    --shot=$SHOT \
    --output_dir=output/ --closed

Langkah dan cara penggunaan yang sama untuk evaluate_glm.py

@InProceedings{MalayMMLU2024,
    author    = {Poh, Soon Chang and Yang, Sze Jue and Tan, Jeraelyn Ming Li and Chieng, Lawrence Leroy Tze Yao and Tan, Jia Xuan and Yu, Zhenyu and Foong, Chee Mun and Chan, Chee Seng},
    title     = {MalayMMLU: A Multitask Benchmark for the Low-Resource Malay Language},
    booktitle = {Findings of the Association for Computational Linguistics: EMNLP 2024},
    month     = {November},
    year      = {2024},
}