北京市文物局9月30日发布通知，计划在文博会金秋拍卖季开展文物拍卖标的ITU文物艺术品数字化标准数据采集试点，并强调尊重企业参与意愿、做好版权管理。对文化资产、展会商品或行业目录项目而言，采集工作的价值不只是把网页搬进数据库，而是让每个字段都能说明来自哪里、何时取得、依据什么授权以及经历过哪些修订。

爬虫网页版入口与爬虫公司先建立授权台账

爬虫网页版入口应先展示任务所属客户、来源域名、许可依据、用途、频率和到期时间。任务创建人不能只填一个网址就开始运行；涉及登录、附件、图片或接口时，分别确认访问权和后续使用权。爬虫公司保存合同、邮件确认或公开许可说明，并让客户负责人定期复审。

公开可访问不等于可以无限抓取。系统遵守robots、服务条款、访问频率和版权要求，不绕过验证码、付费墙或技术限制。来源撤回授权、规则变化或连续返回异常时自动暂停，由人工确认后恢复。厦门爬虫科技团队需要把“停止按钮”做成平台基本能力，而不是临时关服务器。

人员权限按任务配置、运行观察、数据审核和导出分离。临时研究人员只能查看必要样本，不能下载完整图片库；客户审核人可以批准字段与版本，但不能修改底层访问凭据。账号离职、项目结束或授权到期后自动回收，访问记录保留用于审计。

元数据标准要落在字段契约和原始证据上

一个拍卖标的可能包含名称、类别、年代、尺寸、材质、作者、来源、估价、图像、审核状态和版权说明。字段字典应定义类型、单位、是否必填、允许枚举和缺失语义。未知年代不能填零，未公开来源也不能写成“无”，否则下游会把不同情况混成同一结论。

采集时保存原始响应、附件校验值、请求时间与解析器版本。页面文字和PDF附件冲突时，同时保留两条来源并标记待确认，不擅自拼接成看似完整的“最终值”。图片记录来源页面、版权状态和允许用途，缩略图与原图分开管理。

解析结果进入暂存区，质量规则检查必填、单位、重复和跨字段矛盾。高置信规则可以自动通过，名称相似、年代冲突或来源缺失交给业务人员复核。人工修订要写明原值、改后值、理由和人员，不能直接覆盖原始数据。

数据血缘从来源延伸到对外产品。每次导出或接口响应记录使用的数据版本、字段映射和脱敏规则；后续发现错误，可以定位受影响客户并发出更正。软件开发网站若只保留当前值，遇到版权争议或业务核查时就无法还原当时依据。

采集调度要克制并能解释失败

不同来源设置独立并发、时间窗和退避。连续失败达到阈值后停止，监控区分域名不可达、认证过期、结构变化、解析为空和写入失败。值班人员先查看小样本再恢复，不允许在节假日无人看管时反复请求造成额外压力。

增量更新优先使用稳定标识、发布时间和内容摘要。标题不变但附件替换时，通过校验值识别新版本；同一标的跨场次出现时建立关联，不简单删除重复。被撤拍或更正的记录保留状态历史，下游明确收到变更而非悄悄消失。

爬虫网页端提供任务概览、来源健康、待审核、授权到期和导出记录。普通业务人员看清状态即可，不展示密钥和内部网络信息。移动端仅处理提醒和复核，不在手机上批量导出高分辨率资产；需要小程序开发时也遵循相同最小权限原则。

项目费用取决于来源与质量责任

单一稳定页面的采集和几十个异构来源不是同一工作量。报价按来源分析、授权管理、解析器、附件与图像、质量规则、人工审核、接口和运维拆分。先用两三个来源跑通标准和审计，再扩展范围，更容易发现字段定义与版权边界问题。

验收随机选择新增、修改、撤回、附件替换和来源冲突五类记录，从公开页面反查到原始证据，再从对外接口回溯到处理版本。还要测试暂停、限流、凭据失效、备份恢复和人员撤权，确认系统不会因追求数量而失去控制。

爬虫网页版入口的交付清单

清单至少包含授权目录、来源清单、字段字典、调度规则、解析版本、质量阈值、人工审核、版权标识、导出审计和停止步骤。测试内容统一标记“模拟演示”，正式数据与测试数据不混库。

字段标准升级时使用版本化映射。旧数据保持原始字段和当时标准，新接口可按规则转换并提示可能的信息损失。新增必填字段先统计历史缺口，再安排补录或标记未知，不能为了满足新结构批量编造。下游客户在切换前获得样例、差异和过渡期限。

质量抽样同时覆盖热门和冷门类别。只检查格式最整齐的记录会高估系统质量，应抽取图片缺失、描述很长、年代不确定、附件替换和跨场次重复等复杂样本。抽样结果形成规则改进与人工培训，修复后回放历史样本，确认没有破坏已稳定类别。

对外数据接口设置用途、配额、字段和有效期。申请人说明使用场景，管理员按最小范围授权；下载量或调用异常时先暂停并联系核实。接口返回数据版本与来源摘要，调用方能判断是否需要刷新。项目终止后关闭密钥，但保留必要的授权和调用审计。

项目复盘关注授权覆盖、解析成功、人工修订、来源变更和下游纠错时长。采集数量增长却伴随大量无法解释字段，说明扩张过快；团队应暂停新增来源，先修正标准、质量规则和审核能力。

备份不仅保存结构化结果，也保存授权台账、字段标准、原始证据和解析版本。恢复演练随机抽一条记录核对完整血缘，避免数据库能启动却找不到附件或无法解释历史值。

建设标准采集项目时，爬虫网页版入口与爬虫公司负责来源、血缘和调度，厦门爬虫科技与软件开发网站团队负责本地实施及数据产品；小程序开发公司可提供审核入口，App开发、厦门App开发和手机App制作适合现场采集。涉及厦门开发app、微信小程序开发、厦门小程序定制、App软件开发或厦门软件开发公司协作时，仍应以授权和版权边界为先，再谈采集规模。