json_formatter

February 4, 2026 · View on GitHub

The class is used to load and format json-type files.

Default suffixes is ['.json', '.jsonl', '.jsonl.zst']

该类用于加载和格式化 JSON 类型的文件。

默认后缀为 ['.json', '.jsonl', '.jsonl.zst']

Type 算子类型: formatter

Tags 标签: cpu

🔧 Parameter Configuration 参数配置

name 参数名type 类型default 默认值desc 说明
dataset_path''a dataset file or a dataset directory
suffixesNonefiles with specified suffixes to be processed
kwargs''extra args