学习目标
- 建立可审计的采集清洗流程
- 记录标注规则、异常和分歧处理
课堂任务
- 01
对小批授权样例执行正文提取、去重、分段和语种识别
- 02
按需使用 OCR / ASR，并保留原文
- 03
记录中文分词、阿语规范化及人工抽检结果
课后成果
- 清洗 SOP 与日志
- 带权利字段的小批语料样例
120 分钟课堂节奏 设计建议
15min导入
25min示范
55min上机
15min互评
10min提交反思
TOOLKIT / 本课工具箱
从模板开始，留下自己的版本。
CSV · 空白模板
语料元数据表
登记语种、地域、体裁、来源与权利，保留原始文本入口。
查看模板正文
doc_id,标题,URL,采集日期,语种,地域,文本日期,来源类型,体裁,子库,许可状态,允许用途,可再分发性,个人信息处理,原始文件,文件哈希,处理版本,复核人 ,,,,,,,,,,,,,,,,,
CSV · 空白模板
语料清洗与质检日志
记录正文提取、去重、语言处理及抽样复核中的变更和异常。
查看模板正文
run_id,doc_id,原始版本,处理时间,处理步骤,工具版本,参数与规则,变更说明,异常,输出版本,抽样方式,实际抽样数量,复核结果,分歧处理,复核人 ,,,,,,,,,,,,,,
CSV · 空白模板
来源与许可登记表
分别登记素材来源、许可依据、使用范围和人工复核；也可在线本地填写。
查看模板正文
source_id,名称,类型,URL或文件位置,取得日期,许可状态,许可依据,允许用途,再分发限制,肖像声音授权,个人信息处理,显式标识说明,人工复核人,复核日期 ,,,,,,,,,,,,,
MY NOTES / 我的课堂
把下一步，留给自己。
正在读取本地记录…