GOGO专业大尺度亚洲高清人体,清纯校花的被cao日常np,日本三级香港三级人妇99,亭亭玉立国色天香八戒,秋霞电影在线观看

6、什么是Robots？Robots.txt文件放在哪里?

發布時間:2019-11-12 19:49:23   瀏覽人數: 15609 次  

答：搜索引擎通過一種程序robot（又稱(cheng)spider），自動訪問(wen)互(hu)聯(lian)網上的網頁并獲取網頁信息(xi)。

可以在(zai)網站(zhan)中(zhong)創建一(yi)個純文(wen)本文(wen)件robots.txt，在(zai)這個文(wen)件中(zhong)聲明該網站(zhan)中(zhong)不想(xiang)被(bei)robot訪問的部分(fen)(fen)，這樣(yang)，該網站(zhan)的部分(fen)(fen)或全部內容就可以不被(bei)搜索引擎收錄了(le)，或者(zhe)指(zhi)定(ding)搜索引擎只收錄指(zhi)定(ding)的內容。

robots.txt文件(jian)應該放在網站(zhan)根目錄下。舉例(li)來(lai)說，當robots訪問一個(ge)網站(zhan)（比如//www.abc.com）時，首先(xian)會檢查該網站(zhan)中是否存在//www.abc.com/robots.txt這(zhe)個(ge)文件(jian)，如果(guo)機器人找到這(zhe)個(ge)文件(jian)，它就會根據這(zhe)個(ge)文件(jian)的(de)內容，來(lai)確定它訪問權限的(de)范(fan)圍。


資料來源網絡，僅供學習交流，如您發現本文中有涉嫌抄襲，請發送郵件至：support@szjicheng.cn，一經查實，本站將立刻刪除涉嫌侵權內容。

上一篇：7、什么是外鏈？如何做？
下一篇：5、什么是sitemap？

旗下網站：耐思智慧 - - - 中文域名：

耐思智慧 © 版權所有(you) Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved

備案號碼： 　 公安備案號： 公安備案

聲明：本網站中(zhong)所使用到的(de)其他(ta)各種版(ban)權(quan)內(nei)(nei)容(rong)，包(bao)括但不限于文章(zhang)、圖(tu)片(pian)、視(shi)頻、音(yin)頻、字體等內(nei)(nei)容(rong)版(ban)權(quan)歸原作者所有(you)，如權(quan)利所有(you)人發(fa)現，請及時告知(zhi)，以便我們刪除版(ban)權(quan)內(nei)(nei)容(rong)

本站程序界面、源代碼受相關(guan)法律(lv)保護, 未經授(shou)權, 嚴禁(jin)使用(yong); 耐(nai)思智慧 © 為我公(gong)司(si)注(zhu)冊商標(biao), 未經授(shou)權, 嚴禁(jin)使用(yong)

法律顧問：