退出、robots 与抓取
robots 是请求不是锁,退出要落到合同与证据
训练退出robots抓取授权边界
相关
三种退出,对象不同
把作品集挂在自己站上,页脚写“禁止 AI 训练”,不会拦住任何爬虫。退出至少分三种:平台内的训练退出、站点侧的抓取规则、合同里的授权边界。它们分别对平台、对爬虫、对合作方说话,混成一句就谁也管不住。
抓取边界
| 手段 | 能管什么 | 管不住什么 |
|---|---|---|
| robots.txt | 自愿遵守规则的爬虫 | 不读规则的抓取、已经存在的索引副本 |
| UA 与 IP 封禁 | 已知来源的访问 | 换标识、分布式抓取 |
| 登录与付费墙 | 未获账号的访问 | 有账号者的批量下载 |
| 合同与许可 | 签过字的合作方 | 无法识别的第三方 |
robots.txt 是请求,不是门锁。它写清哪些路径不希望被抓,但遵守与否取决于对方。真正想限制商用抓取,要回到许可文本:允许谁用、用来做什么、能不能再分发、能不能用于训练。条款写得越具体,出事时越好说明。
检查清单
- [ ] 站点根目录的 robots.txt 写明不希望被抓的路径与已知 AI 爬虫
- [ ] 每个生成平台的训练开关逐个关,截图保存日期与账号
- [ ] 授权书里单列“是否允许训练”,不要只写“复制与发行”
- [ ] 上传参考音频、干声、demo 前确认自己有权处理
- [ ] 发现抓取后保留访问日志、快照与时间
- [ ] 重要作品另存本地与离线副本,不把唯一版本放在公开页面
退出之后还剩什么
退出通常只对未来生效,已经进入训练的数据很难撤回;robots 改了,旧索引和第三方镜像还在;合同通常只约束签字的人。遇到争议,先看条款文本与适用法域,再决定要不要发函或找律师。把退出当成降低概率的动作,不要当成开关。
在库中听例子
Klezmer只标“传统”的克莱兹默曲调,想退出也找不到可联系的权利主体(C1)详情collected by J. McFadden - Hawk's Hornpipe采集者姓名留在标题里,说明“传统”之外还有具体的人(C1)详情Deep River灵歌被配上四部合唱与管风琴,改编与录音各有一层授权(C1)详情highlife · 126 BPM · beat 4/4一段 126 BPM 的 highlife 鼓循环,被剪成片段后很难追溯原始授权(C1)详情
每首均来自 midicn-lib,行内徽标为许可档位(C1 可商用 / C2 非商业 / C3 仅学习研究)。
同一条线
事实来源
- robots.txt 的公开规范 RFC 9309,由互联网工程任务组发布。
- 生成式 AI 训练数据退出与保留机制,参考模型与平台公开说明。
- 版权许可与集体管理的公开资料,由行业组织发布。