爬行、抓取、索引、收录,指的都是什么?

一位读者在蜘蛛抓取配额是什么这篇帖子留言: 不对呀,这个index标签,是指告诉蜘蛛可以抓取该页面,那么noindex不就是不允许抓取该页面吗?!那么为什么文章最后的几个说明里有“noindex标签不能节省抓取份额。搜索引擎要知道页面上有noindex标签,就得先抓取这个页面,所以并不节省抓取份额。” 留言说明,这位读者并没有太明白什么是抓取,什么是索引,index和noindex标签的意义又是什 …

Read more