服务器磁盘被日志撑满，先别急着清空：四类异常请求的识别与处理思路
凌晨收到磁盘使用率告警，登进服务器一看，占空间的既不是数据库文件，也不是用户上传的图片，而是当天的访问日志。单个日志文件在几个小时内从几十兆涨到几个吉字节，可网站本身的访问量并没有明显增加。这种情况通常说明日志里混进了大量非正常请求。如果只是简单清空日志，同样的问题很快会再次出现。
要真正解决，第一步不是删日志，而是分辨日志里到底是谁在请求。
一、正常爬虫：量大但属于业务需要
搜索引擎的抓取请求有比较固定的特征：请求路径集中，抓取频率相对稳定，User-Agent 中带有可识别的标识。这类请求量虽然大，但属于业务需要，处理方式应该是合理限速，而不是直接封禁。封禁正常爬虫，反而可能影响网站的收录和展现。
二、高频恶意扫描：路径分散、404 为主
这类请求往往在短时间内集中访问大量不存在的路径，例如常见的后台地址、配置文件、备份文件。它们的目的是探测漏洞或收集信息。特征是路径分散、状态码以 404 为主、来源 IP 集中或呈现明显的代理池特征。对这类请求，重点不是限速，而是识别和拦截。
三、静态资源重复请求：容易被忽略
页面中某个图片、脚本或字体文件因为缓存配置不当，被浏览器反复回源请求。单个用户就可能产生几十次相同请求，用户量一上来，日志增长会非常快。这类请求的路径高度重复，状态码多为 200 或 304。处理方向是检查缓存策略，而不是封 IP。
四、接口探测：写日志也消耗资源
攻击者或异常客户端会对登录、注册、查询等接口发起高频调用，路径固定，请求方法多为 POST，状态码集中在 200、401、429 之间。这类请求不仅写日志，还可能消耗服务器资源。需要在接口层做频率限制和异常识别。
五、四步快速分类法
要快速判断日志里混的是哪一类请求，可以按四个维度建立判断方法。
第一步，看请求路径。 统计出现次数最多的前二十个路径，区分正常页面和异常路径。
第二步，看状态码分布。 404 和 403 占比过高说明扫描行为明显，200 集中在单一接口则可能是接口探测。
第三步，看 User-Agent。 统计不同客户端标识的请求量，缺少标识或标识异常的需要重点关注。
第四步，看来源 IP。 按请求数排序，结合请求路径判断是爬虫、代理池还是单一来源。
六、处理日志前先检查轮转配置
在动手处理日志之前，先检查日志轮转配置。确认是否按天或按大小切割，保留份数是否合理，压缩是否开启。对于确认无价值的异常请求日志，可以采用采样保留，例如同类请求每分钟只保留若干条，但要保留状态码和路径的统计信息。不要直接删除当天全部日志，否则后续排查攻击来源时会缺少依据。
七、长期治理：限流、归档、巡检
仅靠日志轮转无法解决根本问题。需要在入口层做访问频率限制，对单一 IP、单一接口设置合理的请求阈值，同时把历史日志归档到独立存储，避免占用业务服务器磁盘。在网站维护中，把日志增长趋势纳入日常巡检，有助于提前发现异常请求模式。具体限流阈值和归档周期需要结合业务访问量和服务器配置确定，以实际环境测试结果为准。
日志暴涨本身不是问题，问题是日志里混了什么、为什么混进来、下次怎么提前发现。把分类方法固定下来，比每次告警后手动清空更有长期价值。
