作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。
% `& n" Q0 M9 x+ j0 x/ f& M) q: F9 G% K* ?
Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。
8 B& o2 X" z) Z5 L* ]User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。 , ?; M1 i" H6 k# v/ b6 F5 f
Baiduspider表示百度蜘蛛；
1 W$ B( N4 u% u8 F' A" vGooglebot 表示谷歌蜘蛛；
3 b3 R6 R$ Y3 T5 r5 n% P: }+ V p+ ? q; F y2 M
360Spider 表示360蜘蛛； ; U- \# k* E2 F" [- W
9 z |1 j1 d! O7 M$ ^
写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。 % W8 \/ [/ K9 T$ `8 m0 W8 H
Disallow: 表示禁止抓取后面的目录； 9 [5 R: m- t, S: g7 ?$ {1 _
/ ^( P: n$ {: C# pAllow: 表示允许抓取后面的目录。
, C/ Q+ R# F$ y1 V9 O) T
( \4 _* C9 O3 r d* 是个通配符，可以代替任意内容。
2 u- O$ e+ e: q7 c2 v, k7 e$ 字符指定与网址的结束字符进行匹配。
) F: |' z0 o# ]; ]$ R: e例如，要拦截以 .asp 结尾的网址，可使用下列条目： : S! A$ }5 A3 x: S& r/ L, c q
" Q: H9 I5 {" t9 U0 Z4 J
7 K& q3 j# v0 J- i% h. y0 S3 G9 P( P" @) @ x' ]* _/ Q5 P, K, z/ o
Disallow:/*.asp$ 5 g5 I; Y" e" `, m. i# w
# E9 K! S; z2 L. T5 M& p0 }9 L例： * t1 m$ l/ \3 J* V
9 t7 M& F" a8 l5 a7 K
Disallow:/admin/ 禁止访问/admin/目录的内容。
* l+ w3 b+ |% W: [( \; R/ e; O* P, F+ o$ {& r j
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
8 ?0 l. s: z+ r! x8 S$ l/ }+ m$ \* M
Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。
( k6 T: }6 Z* M( }9 @2 p8 b% n! C6 @) H0 L% y
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。
* c |6 L( Y$ d0 h! v
9 R, G* t5 G) ~# A4 Z! YAllow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录。 " x" H! D7 j+ i; |3 ?
- O0 \0 J% G1 f9 h, k1 ^
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
/ e5 ^0 [3 }+ [8 T5 h$ f
% Q0 m& n Y" V& p! A完整写法： , N0 n% }4 u( s) L' y
# p5 o% ^4 u* m. T8 pUser-agent:* /**以下内容针对所有搜索引擎 ) u6 T* R! Q \; T
4 _& u* Q" Y2 ~, I4 kDiasllow:/admin/ /**禁止访问/admin/目录的内容
3 L/ x+ c- o% x/ w3 K% p
+ ?" b3 ]# v# D2 D* ^. b0 S*****
6 w% k4 ~$ N# N# {$ O
" g8 r7 m: P5 K+ M$ j5 A5 HAllow:/html/ /**允许访问/html/目录的内容
* T1 Z* N# J! |1 t" d# G; b5 }! A. b; S
1 D1 o* Y. y6 l& x2 P/ A4 Z( d% O$ L6 U& j
* U4 E* A1 _' x
作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。 8 ~& E( ]3 ^) L( } y
: f( {8 p% N, h+ s! h
Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。 |
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡