作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。 ~' T( `( L# P" _3 P: G% R" }
! E6 B/ r: I2 c5 S
Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。 8 s3 B- B5 M5 T' ?- E
User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。 8 ^+ \. B& s# X, s
Baiduspider表示百度蜘蛛；
6 H/ X- l+ b r* r7 x3 _6 @% kGooglebot 表示谷歌蜘蛛； # Z$ Y) y+ P* c& G* g5 f
/ {% P R) ]& Y/ l$ X8 c5 j9 R2 _360Spider 表示360蜘蛛；
. a" C: B9 c- l5 p7 c7 `7 D3 R* P* @) {: u* m* p+ b
写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。 / l8 U2 L" C _3 A0 n& j5 ]$ S
Disallow: 表示禁止抓取后面的目录；
7 S* O4 i* N5 {: W' E/ C! n0 A. ` A( Y$ a
Allow: 表示允许抓取后面的目录。
- {1 B* V J6 b5 u; S( ^& c
- z8 ~4 _ c: u2 A$ U+ G* 是个通配符，可以代替任意内容。
/ w% E8 T5 ]/ u% h' z: s$ 字符指定与网址的结束字符进行匹配。 5 k$ O2 x/ z% k1 ^: @
例如，要拦截以 .asp 结尾的网址，可使用下列条目： * J7 [# c$ g6 B& m2 E* Z
$ ], G: c1 i* j7 ~4 S" e( T V
, Q, _* a% X1 k; [' g
" h N7 r! h: y5 T* e s3 R+ v
Disallow:/*.asp$ 5 E- y& P) _+ P# ?/ x
O& n0 n4 u3 z+ f u. H: J
例：
# t* Y& j( p5 `: l( G P4 A
* U8 P d0 I6 w! O; {0 n3 d& ]Disallow:/admin/ 禁止访问/admin/目录的内容。 - Q: u$ f j Y9 ], ?" E3 y/ l
O! b6 @9 x8 O2 C, h# D6 @2 B
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
( M+ v. P w( g8 J0 h
, ?# R2 i5 k: M; n W' PDisallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。
0 Z& [; d" z% V+ Q% J. [* [( T/ B, a# I& D- Q
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。 & q" O" N1 R* i; M; ^8 T$ ^
8 }% \( O8 n) ^. g& N" V
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录。 1 _, e1 @2 {# b# z& N9 Z; s
" m" L: a( ?& t+ ?1 e
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
1 n: z6 g$ }1 z) H
4 C% {3 _$ t1 ~: M完整写法： 5 i. r, w t- ^
d; o- |- a! c* v1 R" d
User-agent:* /**以下内容针对所有搜索引擎
8 s/ r0 d# b" Z1 d% ^; t7 u; V9 U" O& d& w% m6 g
Diasllow:/admin/ /**禁止访问/admin/目录的内容 : C1 a9 d9 u% R: [* S
) i! C8 j* ~0 p3 B; S0 C8 P
*****
/ y" E3 ?$ T+ k1 ]- @" S+ w8 T, L4 k. J, F
Allow:/html/ /**允许访问/html/目录的内容
% e) B5 p; b; q( ^2 m' B
, O3 ? g; B8 E8 i' E# ]% s' w& R% j6 I& Z% P2 J/ t' q7 ]- C, {$ C5 {5 f
: v# B! ? }/ A- g6 X7 U2 \/ u
' o% d' W$ J- Y* s @# A
作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。
& q8 h% G" i* i+ j8 f' Y; \$ q0 h g4 O
Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。 |
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡