歡迎來(lái)到 常識(shí)詞典網(wǎng) ， 一個(gè)專業(yè)的常識(shí)知識(shí)學(xué)習(xí)網(wǎng)站！
[ Ctrl + D 鍵 ]收藏本站
答案 1：
robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。 當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。
下一篇:物價(jià)上漲背后的市場(chǎng)邏輯是什么？將不下來(lái)！ 下一篇 【方向鍵 ( → )下一篇】
上一篇:官場(chǎng)小說(shuō)是否能成為官場(chǎng)教科書(shū)呢？ 上一篇 【方向鍵 ( ← )上一篇】
快搜
