同IP网站查询 - 日志中应该核对哪些字段
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /076e818cd875.html
📄
同IP网站查询 - 日志中应该核对哪些字段
做同IP网站查询时，日志里最先要核对的字段是访问来源IP，其次依次是请求时间、请求主机名或Host头、请求路径与状态码、User-Agent。时间和人手有限时，先看来源IP和Host头这两列，就能判断某个IP下是否同时存在多个站点，以及这些站点的流量是否被错误地混在一起。
先看来源IP和Host头，确认是不是同一个IP
日志中记录的来源IP是访问者或爬虫的地址，Host头是浏览器实际请求的域名。做同IP网站查询时，这两个字段要一起看：同一来源IP出现在多个不同Host的请求行中，说明该IP上解析了多个站点。如果日志只有来源IP、没有Host头，就无法确认请求落在哪个站点上，此时需要检查服务器配置或日志格式，补上Host字段再分析。
判断依据：
- 来源IP相同、Host不同，且请求路径也各自独立，说明这些站点共用同一IP。
- 来源IP相同、Host相同，但路径差异很大，只能说明同一站点内部结构不同，不能当作多站点共用IP的证据。
- Host头缺失或显示为默认站点名，可能是服务器未正确配置虚拟主机，请求被错误路由到默认站点。
核对请求时间，区分真实访问和集中抓取
时间字段用来判断同一IP下的请求是自然分布还是集中爆发。如果某个来源IP在极短时间内对多个Host发出大量请求，且时间间隔几乎一致，更可能是爬虫或自动化工具，而不是真实用户。真实用户的访问时间通常分散，且伴随静态资源请求，如CSS、JS、图片。
实际操作时，可以把日志按来源IP分组，再按时间排序，观察同一IP对多个Host的请求是否集中在同一秒或同一分钟。若集中出现，先检查该IP是否属于已知搜索引擎的爬虫；若不是，再考虑是否被恶意扫描或采集。这里只做现象判断，不直接下结论说一定是攻击。
检查请求路径和状态码，定位错误路由
请求路径和状态码能反映同一IP下多个站点的资源是否被正确区分。例如，A站点的请求返回404，但同一IP下B站点的相同路径返回200，说明服务器可能把请求路由到了错误的站点目录。
需要核对的组合：
GET /index.html HTTP/1.1配合状态码200，说明该Host下存在这个页面。- 同一路径在另一个Host下返回404，说明该Host没有这个资源，或虚拟主机配置未生效。
- 大量301或302跳转指向同一个默认域名，说明多个站点的请求被重定向到了同一个地方，需要检查服务器重写规则。
如果状态码集中在403或404，且来源IP固定，优先检查该IP是否在访问不存在的路径，而不是直接修改站点结构。
User-Agent用来区分爬虫和普通访问
User-Agent字段可以帮助判断同一IP下的请求来自哪种客户端。搜索引擎爬虫、监控工具、普通浏览器和脚本的User-Agent通常不同。做同IP网站查询时，如果某个IP对多个Host的请求都带有相同的非浏览器User-Agent，说明这些请求可能来自同一个自动化程序，而不是多个独立用户。
注意：User-Agent可以被伪造，不能仅凭它判断请求是否合法。它更适合用来分类和排序，而不是作为唯一证据。核对时，把User-Agent与来源IP、请求时间、状态码放在一起看，判断结果会更可靠。
时间有限时的处理顺序
如果只能先处理一部分日志，建议按以下顺序执行：
- 导出日志中来源IP和Host两列，去重后统计每个IP对应多少个Host。
- 对Host数量大于1的IP，加上请求时间，看请求是否集中在短时间内。
- 对时间集中的IP，加上请求路径和状态码，判断是否出现错误路由或大量404。
- 最后看User-Agent，确认请求来源类型，决定是否需要进一步限制或观察。
复查时，用同样的字段重新导出一天或一周的日志，对比同一IP对应的Host数量、请求频率和状态码分布是否发生变化。如果Host数量减少或状态码恢复正常，说明之前的调整可能起作用；如果没有变化，需要回到服务器配置或DNS解析记录中继续核对。下一步可以直接从日志中筛出Host数量最多的前几个IP，按上面的顺序逐项核对。
