欢迎来到在线考试题库网
在线考试题库官网
登录
注册
首页
医学类
建筑类
财经类
全部科目
>
大学试题
>
计算机科学
>
Python程序设计
搜题找答案
填空题
为了方便网站管理员通知爬虫更新网站的内容，网站提供了（）文件。
【参考答案】
Sitemap.xml
点击查看答案
上一题
目录
下一题
相关考题
填空题
网站通过一个文件（）来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
填空题
现在网站会采取一些（）措施来阻止网络爬虫的不当爬取行为。
填空题
待下载网页集合就是（）URL 列队中的网页，这些网页即将被爬虫下载。
关注
顶部
微信扫一扫,加关注免费搜题
