很多人建完网站就等百度收录，等了几个月只收录了首页。其实你没告诉搜索引擎你网站有哪些页面，它怎么爬？robots.txt 和 sitemap.xml 就是给搜索引擎看的两份地图。
robots.txt是干嘛的
放在网站根目录，比如 你的域名.com/robots.txt。内容是几行规则，告诉搜索引擎：哪些目录可以爬，哪些不要爬。
一般你可以让搜索引擎爬文章页、产品页，但别让它爬后台管理目录、搜索结果页、临时测试页。不然它把你后台的乱七八糟页面都收录了，客户搜出来很奇怪。
免费CMS一般会自动生成这个文件，你不用手写。
sitemap.xml是干嘛的
这个文件列了你网站所有重要页面的URL，相当于一份目录。搜索引擎来了先读这个文件，就知道你有哪些页要收录，不用自己一页一页摸。
有sitemap的站，收录速度明显快。没有的话，百度可能只爬到首页，下面的文章它根本不知道存在。
怎么用
第一步，在免费CMS后台装一个sitemap插件，它会自动生成这个文件。
第二步，去百度搜索资源平台（之前做SEO那步提过），把sitemap地址提交上去。告诉百度：我网站的目录在这，你来爬吧。
第三步，发了新文章之后，插件会自动更新sitemap，不用你手动管。
常见错误
别在robots.txt里写「禁止所有搜索引擎」，那你的网站就彻底从百度消失了。新手最容易犯这个错，改模板的时候一不小心把全站禁了。
