下列选项中 关于robots.txt文件的说法正确的是()

下列选项中，关于robots.txt文件的说法正确的是（）

A、robots.txt文件存放于空间根目录下

B、robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件

C、如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面

D、robots.txt文件只需要存放在空间任意位置就行