text_formatter

February 5, 2026 · View on GitHub

The class is used to load and format text-type files.

e.g. ['.txt', '.pdf', '.cpp', '.docx']

该类用于加载和格式化文本类型的文件。

例如：['.txt', '.pdf', '.cpp', '.docx']

Type 算子类型: formatter

Tags 标签: cpu, text

🔧 Parameter Configuration 参数配置

name 参数名	default 默认值	desc 说明
`dataset_path`	`''`	a dataset file or a dataset directory
`suffixes`	`None`	files with specified suffixes to be processed
`add_suffix`	`False`	Whether to add file suffix to dataset meta info
`kwargs`	`''`	extra args