天河有个做机械设备的客户，网站做得漂漂亮亮，可谷歌半年没收录几条。我让他把域名/robots.txt发来一看，里头赫然写着"Disallow: /"。这一行等于在门口挂块牌子："闲人勿进，爬虫免进"。搜索引擎连门都没进，内容再好白搭。他拍大腿直呼上当，原来前任技术顺手复制了测试环境的配置，上线忘了改。
robots.txt就是网站给爬虫的门卫守则，告诉对方哪些房间能进、哪些别碰。它站在站点根目录，搜索引擎来访第一件事就是读它。广州市场年增15.3%，企业投入增22.7%，大家都在抢线上客流，这种低级失误把到嘴的流量推出门外，实在肉疼。
robots.txt长什么样
纯文本文件，放根目录，基本语法就三组：User-agent指定对谁生效，星号代表所有爬虫；Disallow写不允许抓的目录；Allow写特例放行。例如想拦后台又放搜索页，就这么写：User-agent: * 换行 Disallow: /admin/ 换行 Allow: /admin/public/。
注意它是君子协定，主流搜索引擎守规矩，个别坏爬虫不理你，真要藏机密得靠密码或noindex，别指望一纸txt挡住贼。
常见翻车现场一：误伤全站
Disallow: / 后面那个斜杠代表根目录全部，整站封闭。测试时常用，上线必须删。我经手的广州企业里，十家有叁家中过这招，多半是部署脚本没区分环境。上线 checklist 里把它列第一条，能救半条命。
常见翻车现场二：路径写错
Disallow区分大小写，/Images/和/images/不是一回事；不支持通配时乱用星号，老式爬虫认不得。想拦所有参数页，得写Disallow: /*?* 这种带通配的写法，部分爬虫才认。路径前记得带斜杠，写product拦不住/www/域名/product，规范写法是Disallow: /product。
海珠一家服饰站，想屏蔽会员中心却写成Disallow: member，漏了开头的斜杠，谷歌照抓不误，会员手机号疑似被快照缓存。改成/ member/才兜住。这种细节，差一个符号就是天壤之别。
常见翻车现场三：屏蔽了css和js
早年有人为省带宽Disallow掉/js/、/css/，结果谷歌渲染不出页面，当成空壳降权。如今移动优先索引时代，爬虫要读你的样式脚本判断体验，这类资源必须放行。谷歌官方明确说过，别挡渲染必需文件。
配合sitemap才是完整打法
robots.txt里能直接写Sitemap: /sitemap.xml，给爬虫递地图，省得它满地乱爬。独立站商品成千上万，地图加robots双管齐下，收录效率翻倍。这点我在第352篇会展开讲大型站地图策略。
有个客户独立站日更几十款新品，没提交地图，谷歌三五天才来一次。加上Sitemap指令后，当天就能抓到新货，新品曝光窗口从按周算变成按小时算，抢季动销快人一步。
该挡的就得挡
以下几类建议拦：后台登录、测试环境、内部搜索结果页（容易制造重复低质页）、含用户隐私的目录、无限重复的筛选参数页。挡住它们，爬虫精力集中在真金白银的内容上，抓取配额花在刀刃。
前文说的汽配客户，除了误伤全站，把/product参数页全放出去，谷歌抓了几万条雷同筛选页，真正产品页反倒排不上。我们Disallow掉/*?*类参数，又放行资源文件，三周后有效收录翻倍，无效杂页清零。
广州企业的成本账
域名一年60到120元，服务器500到2000元，robots.txt零成本，却是性价比最高的seo开关。建站加seo年投入普遍4到7万，与其盲目加预算，不如先把门卫守则写对。响应式已成标配、移动优先是大势，爬虫读不懂你的移动版，挡了资源等于自断一臂。
AI、移动端、安全是当下三大建站需求，robots配置归在"安全与可控"这一栏——你决定搜索引擎看什么，不看什么，主动权捏自己手。73%的中大型广州企业把官网当核心营销资产，这种主控权意识，正是资产稳健的底座。
放行资源
css、js必放行，谷歌渲染要读（第361篇移动优先）。早年挡资源当空壳降权，如今更不可挡。
参数页用Disallow挡，产品真页放爬。海珠服饰挡了参数页，抓取配额省给真货。
地图声明别漏，robots里写Sitemap，爬虫直取（第352篇）。
写robots.txt别学我那客户拍脑袋复制。上线前打开看一眼，确认没有Disallow全站、路径带斜杠、资源已放行、地图已声明，四件事办妥，爬虫进门才顺当。门卫守则写清楚，好内容才不会被埋在仓库深处。
广州网站建设
如没特殊注明，文章均为高端网站定制专家万智网络原创，转载请注明来自https://www.wanzhiweb.com/xwzx/jyfx/17171.html