midicn EN

退出、robots 与抓取

robots 是请求不是锁,退出要落到合同与证据

约 1 分钟523 字条目版权与伦理更新 2026-10-31

训练退出robots抓取授权边界

三种退出,对象不同

把作品集挂在自己站上,页脚写“禁止 AI 训练”,不会拦住任何爬虫。退出至少分三种:平台内的训练退出、站点侧的抓取规则、合同里的授权边界。它们分别对平台、对爬虫、对合作方说话,混成一句就谁也管不住。

抓取边界

手段能管什么管不住什么
robots.txt自愿遵守规则的爬虫不读规则的抓取、已经存在的索引副本
UA 与 IP 封禁已知来源的访问换标识、分布式抓取
登录与付费墙未获账号的访问有账号者的批量下载
合同与许可签过字的合作方无法识别的第三方

robots.txt 是请求,不是门锁。它写清哪些路径不希望被抓,但遵守与否取决于对方。真正想限制商用抓取,要回到许可文本:允许谁用、用来做什么、能不能再分发、能不能用于训练。条款写得越具体,出事时越好说明。

检查清单

退出之后还剩什么

退出通常只对未来生效,已经进入训练的数据很难撤回;robots 改了,旧索引和第三方镜像还在;合同通常只约束签字的人。遇到争议,先看条款文本与适用法域,再决定要不要发函或找律师。把退出当成降低概率的动作,不要当成开关。

在库中听例子

KlezmerC11:36只标“传统”的克莱兹默曲调,想退出也找不到可联系的权利主体(C1)详情collected by J. McFadden - Hawk's HornpipeC10:36采集者姓名留在标题里,说明“传统”之外还有具体的人(C1)详情Deep RiverC10:58灵歌被配上四部合唱与管风琴,改编与录音各有一层授权(C1)详情highlife · 126 BPM · beat 4/4C13:02一段 126 BPM 的 highlife 鼓循环,被剪成片段后很难追溯原始授权(C1)详情

每首均来自 midicn-lib,行内徽标为许可档位(C1 可商用 / C2 非商业 / C3 仅学习研究)。

同一条线

事实来源

  • robots.txt 的公开规范 RFC 9309,由互联网工程任务组发布。
  • 生成式 AI 训练数据退出与保留机制,参考模型与平台公开说明。
  • 版权许可与集体管理的公开资料,由行业组织发布。