歡迎光臨范耀祖的個人博客,關注生活,福利,以及網絡營銷心得!——博主有個特點:話不說滿,想怎么說怎么說!

為什么及如何建立一個Robots.txt文件?

SEO優化 fancy 10℃

為獲得在某一搜索引擎中的排名,您根據其排名規律,精心設計某一頁面,使其符合得很好,登記后也獲得理想的排名。由于各搜索引擎排名規則各異,您的某一頁面能獲得某一搜索引擎中的好的排名,但通常情況下,對于其他搜索引擎,排名就差得很遠。

范耀祖博客

為此,有人在站點中復制出內容相同的不同文件名的頁面,并對復制頁面的原標記進行修改,以期符合其他搜索引擎排名規則。

然而,許多搜索引擎一旦發現您站點中有異?!翱寺 表撁?,會給予懲罰,不收錄您的頁面。

Robots.txt就是為了解決這問題。

我們給出樣本:

User-agent: {SpiderNameHere}
Disallow: {FileNameHere}
譬如,如果您想告訴Excite搜索引擎的Spider(ArchitextSpider),不檢索您站點中三個特定頁面,您可這樣操作:

User-agent: ArchitextSpider
Disallow: /orderform.html
Disallow: /product1.html
Disallow: /product2.html
如果您不想讓Excite的Spider檢索在abc目錄下的def.htm文件:

User-agent: ArchitextSpider
Disallow: /abc/def.htm
不檢索整個mydirectory目錄:

User-agent: ArchitextSpider
Disallow: /mydirectory/
不讓所有Spider檢索:
User-agent: *
不檢索整個站點:

Disallow: /
我們給出其他實例:

User-agent: ArchitextSpider
Disallow: /abc/def.htm
User-agent: Infoseek
Disallow: /ghi/jkl.htm
User-agent: ArchitextSpider
User-agent: Infoseek
Disallow: /abc/def.htm
Disallow: /ghi/jkl.htm
如下列表為世界各大搜索引擎和其對應的User-Agent,供大家參考。

搜索引擎 User-Agent
AltaVista Scooter
Infoseek Infoseek
Hotbot Slurp
AOL Search Slurp
Excite ArchitextSpider
Google Googlebot
Goto Slurp
Lycos Lycos
MSN Slurp
Netscape Googlebot
NorthernLight Gulliver
WebCrawler ArchitextSpider
Iwon Slurp
Fast Fast
DirectHit Grabber
Yahoo Web Pages Googlebot
Looksmart Web Pages Slurp
小心Slurp,如果您不想讓其檢索一個頁面,這會使多個其他搜索引擎也不檢索該頁面。通常,用Slurp的搜索引擎規則差不多。

一般,根目錄下的頁面排名要高于次目錄下頁面的排名,這是因為,搜索引擎有時會認為次目錄下的URL可能沒有自己獨立域名或與他人共享主機。

如果多個遞交頁面內容豐富,相互不非常類似,或在原有頁面基礎上進行優化,您不必擔心會遭搜索引擎懲罰,不必建立robots.txt文件。

如果您使用一個非常有用的頁面但針對許多不同搜索引擎,您“克隆”出許多類似的頁面,那您就必須考慮robots.txt。

robots.txt也可用在某一目錄中。

轉載請注明:范耀祖 » 為什么及如何建立一個Robots.txt文件?

喜歡 (1)or分享 (0)
广西快3吧 豪利棋牌二维码 甘肃快3跨度表 江西多乐彩历史开奖 贵州体彩11选五一定牛走势图 pc蛋蛋计划 华东15选5预测杀号 街机竞技捕鱼游戏下载安装 麻将怎么打初学规则 腾讯欢乐捕鱼大战官网 麻将游戏4人打真人