seo优化公司关注的优化工程robots文件是不能被忽视的

       昆明seo优化公司会把中级SEO工作之基础功夫做足，不要忽略一些自以为不重要的工作，比如404页面，很多企业网站都没有，当一个内容被删除时网站就会新增一个死链接，访客访问之后就显示为错误或者服务器默认的404页面，前者对搜索引擎如果没有返回404状态码，下次它还会来，多次之后觉得被欺骗，后果就来了，木有好排名。

       当时，发现接手的那个网站被黑，清除了10多个不相干的文件，同时也产生了几百个死链接，404就可以解决这个问题，可以网上下载一个404模版，Robots.txt文件：70%以上的企业网站根目录下是没有这个文件的，也包括接手的那个地垫厂家网站，当时也是没有这个文件。
       昆明seo公司说的这个文件十分重要，搜索引擎的爬虫每次抓取网站的时候访问一个就是robots文件。可以链接FTP查看便知，如果不会写该文件可以使用百度的站长工具进行生成即可。需要注意的是：该文件比较重要，也会因设置错误导致没有收录等问题，不要把重要目录给禁止了就可以，一般的JS/CSS文件都可以给禁止掉。