學而時習之 ● 不亦說乎

讓價值共享,策劃與設計,讓品質從網站開始被認同

在做網站SEO優化中robots的寫法
日期:2021-07-13編輯:天地心網絡閱讀:1937次標簽:robots.txt的寫法,怎么寫robots.txt,生成robots.txt文件,上傳robots.txt文件
robots.txt是搜索引擎中的一個協議,當你的網站有一些內容不想給蜘蛛爬取,那可以利用robots.txt來告訴蜘蛛不要去爬取這些頁面,不爬取這些頁面當然就不收錄了。
robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
robots.txt規則怎么寫
新建一個txt文本,命名為robots.txt,比如說你不想給蜘蛛去爬你網站后臺這個文件夾,那就就這樣寫,該文件放在網站根目錄
 User-agent: *
 Disallow: /admin/
解釋:
 User-agent: * 這個是代表所有搜索引擎
 Disallow: /admin/ 禁止爬取admin這個文件夾
 Disallow: / 代表根目錄所有
 Allow: / 代表允許 例子:比如說你禁止webdesgn文件夾 但是你又想讓他收錄webdesign下的wangzhanjianshe 寫法Allow: /webdesign/wangzhanjianshe/*.html 收錄webdesign下的wangzhanjianshe下的所有html
如果你只想對百度有效,那就這樣寫。User-agent: Baiduspider 這樣只對百度有效,其它搜索引擎不受限制。
搜索引擎蜘蛛的名字:Baiduspider 百度蜘蛛、Googlebot 谷歌蜘蛛、Bingbot 必應蜘蛛、360Spider 360蜘蛛、Sogouspider 搜狗蜘蛛
熱點文章
  • 隨著外貿云2021年全國渠道盛典的落幕,外貿云深圳運營中心天地心網絡斬獲眾多榮譽及獎項,前來寧波總部參會的管理層團隊1月18日興致勃勃來到中國十大影視基地、國家AAAA級景區——象山影視城
    日期:2021-01-20 瀏覽次數:1937
  • 外貿云深圳運營中心天地心網絡在此次盛典斬獲:外貿云2020年度【卓越貢獻獎】即全國區團隊銷售冠軍、在全國130多個運營中心中拿下【星級運營中心】【服務之星獎】【2020年度全國區個人銷售冠軍獎】等眾多榮譽以及現...
    日期:2021-01-19 瀏覽次數:1937
聯系我們
CONTACT US
24小時銷售專線:18126531247
24小時投訴專線:18126530270
服務咨詢:0755-29057711
圖文傳真:0755-29171400
服務郵箱:kefu@tiandixin.net
公司地址:深圳市龍華區龍觀路展潤國際大廈15樓(整層)
免費為您提供網站建設方案、外貿谷歌優化推廣方案、SNS社交媒體營銷方案、百度關鍵詞優化方案等....
A级毛片毛片免费观看的久,A级毛片毛片免费永久观看,A级毛片观看免费网站