robots.txt

淘宝 Robots 协议写明 Baiduspider 禁止爬虫,为什么 Google 也不能显示 2016-02-03

百度就不遵守Robots协议起诉360索赔1亿元的行为 2016-01-22    2

360违反Robots协议是否违法?对这种行为国际上的通行做法是如何的?该案件闹得沸沸扬扬,双方都有借对手名义炒作之嫌,对于360来说如此高调接招好处在哪?Robots协议虽然属于通行做法,但它并不是国际规范,同样不具有任何法律约束力.另外Robots协议制定的初衷是为了防止网站的隐私数据被搜索引擎抓取,而不是为了成为区别对待不同搜索引擎的白名单/黑名单.百度如果以违反Robots协议作为起诉的重点,那肯定不会打赢. 6百度表示,该公司拥有百度知道.百度贴吧.百度百科等栏目,这

robots.txt 如何根据某个单词禁止爬虫访问特定URL 2015-12-26    4

因为一些附属产品,没必要被收录,不想浪费爬虫时间.如想禁止下面的URLhttp://www.***.com/**-noneedword-***.htmlnoindex 是告诉搜索引擎不要收录这个页面(百度还不支持)nofollow是告诉搜索引擎不要爬行页面的链接也不要给权重.给页面的部分链接添加nofollow标签,不能起到减少链接分散权重的办法,增加页面内其他权重.因为Google(百度不知道)是根据页面的总权重和链接总数量(包括加了nofollow的链接)来计算每个链接的导出的权重,添加no

现在google calendar 不能添加ical的日历了吗 2015-12-17    2

在谷歌上找了一下,基本上没有相关的问题,我是用分享ical的url在google calendar里添加的,结果显示"有无法获取此网址,因为 robots.txt 使我们无法抓取此网址." 请问有人在google calendar里成功订阅过ical吗?謝邀,國外有人專門為了這個問題做了一個網站https://icaltogcal.com/當然可能有資安風險,請你仔細考量. 7你再试试,现在可以直接在google calendar里面add了.------------

一个网站如何封锁某一搜索引擎,不让其索引仅靠 robots 有用吗 2015-12-08    5

仅靠 robots 有用吗,会不会有引擎耍流氓不遵守这个协议呢?不遵守怎办? 就像淘宝封锁百度.京东不让一淘索引,这个从技术上是如何做到的.淘宝和京东都是从robots禁止搜索引擎索引的.不过禁止了,并不表示不会收录,像淘宝首页就一直都有显示,有可能是大量外链等因素,也有可能是百度人工.另外搜索引擎一般都会遵守协议的,只是反应时间的快慢,目前看谷歌反应会比较快,但是百度就慢多了,协议写好,可能要好几个月才能见效果.还可以配合Robots Meta标签,NOFOLLOW等. 6大
一周排行