***.txt页面的代码是什么意思
网站 ***.txt 显示网页代码 # www.***.com/ User-agent: * sitemap: http://www.***.com/***.xml
***.txt是告知搜索引擎访问网站的时候,网站中哪内容可以被抓取,哪些禁止抓取等
其中带#的注释
User-agent表示定义哪个搜索引擎,所面的*表示所有的,而Googlebot表示只针对google
而sitemap为网站地图,里面的内容一般为
<urlset> <!--必填标签--> <url> <!--必填标签,这是具体某一个链接的定义入口,每一条数据都要用<url>和</url>包含在里面,这是必须的 --> <loc>网页地址</loc> <!--必填,URL链接地址,长度不得超过256字节--> <lastmod>最后修改时间</lastmod> <!--可以不提交该标签,用来指定该链接的最后更新时间--> <changefreq>更新频率</changefreq> <!--可以不提交该标签,用这个标签告诉此链接可能会出现的更新频率:always ,hourly ,daily ,weekly ,monthly ,yearly ,never --> <priority>优先权</priority> <!--可以不提交该标签,用来指定此链接相对于其他链接的优先权比值,此值定于0.0-1.0之间--> </url> </urlset>
下一篇:服务器的显卡,有何特别之处
上一篇:win732位能玩GTA5嘛
热门标签: