Nginx与robots.txt双管齐下:精准控制爬虫抓取频率的实战指南

12天前 高效码农

如何可靠控制外部爬虫的抓取频率 目标读者:有一定运维或后端经验、负责网站稳定性、日志分析或爬虫治理的同学。 目的:可操作、易复用的指南,涵盖 robots.txt、爬虫行为、以及以 nginx lim …

NGINX重大更新:原生ACME模块全面解析,告别Certbot实现自动化HTTPS管理

1个月前 高效码农

★NGINX 原生支持 ACME 协议:ngx_http_acme_module 全面指南★ TL;DR NGINX 推出基于 Rust 的预览模块 ngx_http_acme_module,支持在 …

宝塔 nginx必须使用域名访问

1年前 高效码农

网站域名和IP可以同时访问会影响网站的SEO权重,所以会在设置Nginx不允许IP访问;而且IP访问也会增加网站的风险 在第一个加载的server区域内添加如下配置代码: if ( $host !~ …

nginx反向代理 清除X-Frame-Options iframe加载

6年前 高效码农

准备环境 需要提前安装好nginx,并查看nginx已经安装的模块: /opt/nginx-1.17.2/sbin/nginx -V 返回举例: nginx version: nginx/1.17.2 …

typecho设置nginx伪静态

6年前 高效码农

typecho设置nginx伪静态 伪静态的优势: 优化网站URL。在动态网页中,网址中常常出现“?”这样的特殊符号,无论是对搜索引擎还是对其他页面的引用来说,都是友好的,排名上也有一定的影响。 影响 …