单项选择题
下列选项中，用于在robots.txt 文件中描述搜索引擎名字的是（）
A.Disallow
B.Allow
C.accept
D.User-agent
点击查看答案&解析
相关考题
-
单项选择题
用于robots.txt 文件中，标记不允许的是（）
A.disallow
B.User-agent
C.allow -
单项选择题
下列选项中，被称为主题网络爬虫的是（）
A.聚焦网络爬虫
B.深层网络爬虫
C.通用网络爬虫
D.增量式网络爬虫 -
单项选择题
下列数据中，能够被网络爬虫抓取的是（）
A.互联网非公开信息
B.网站后台信息
C.互联网公开的且可访问到的信息
D.用户的注册信息
