Robots的写法，完整讲解。

作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

6 v- _  v5 |, D" t

Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

. Z/ O+ j9 Q- p' s" i

Baiduspider表示百度蜘蛛；

Googlebot 表示谷歌蜘蛛；

360Spider 表示360蜘蛛；

写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

# u# |5 ^$ J9 L8 P! U

Disallow: 表示禁止抓取后面的目录；

Allow: 表示允许抓取后面的目录。

8 N- p& q7 W; x1 r) `  _* ~6 P
: h3 s0 Y) i/ G% X0 `

* 是个通配符，可以代替任意内容。

4 \! e, U5 p. L( P

$ 字符指定与网址的结束字符进行匹配。

5 z/ D3 K- p) E" a- d5 j

例如，要拦截以 .asp 结尾的网址，可使用下列条目：

# g9 s2 v2 G: s& N0 m5 h


) O3 |; x* {8 `9 n

Disallow:/*.asp$

) N3 L/ V' q4 q1 @0 e! _* m
: ]1 ]9 Y6 ]& P. D  u, I

例：

* T- g, o8 @5 Z$ J2 a+ S
* q7 {  n- D& g

Disallow:/admin/  禁止访问/admin/目录的内容。

  R6 c0 z! i6 D
, v% G$ s, _. I) v0 _8 J

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

" N) x0 o$ j6 k

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

" d8 K$ a) ^. f' ?4 M: p' C
4 f# i$ }5 Y* l' q& K

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

; l5 A* m7 E' g: [8 U! t

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

/ R+ k5 S/ f$ c/ M

完整写法：

0 z- M* f: T1 ?7 Q6 x; A
% \- `1 T( G4 d- h2 ~7 A8 B

User-agent:*                      /**以下内容针对所有搜索引擎

* V: e9 V$ ?  P4 n1 b- v4 f
) s4 q& i' ]! \% W* Y

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

*****

Allow:/html/                                                    /**允许访问/html/目录的内容

; g7 B3 h  w$ ], P7 f
" `# e# O" F1 o7 t. J% _
4 F- \3 O  M* G0 G* i3 I( D4 j

作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

; z/ e( J+ Y+ {3 n4 ~
  p8 v/ j" B6 s5 e( \. q

Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。

好吧...那你说...

手机版的得知互动论坛好强大

哈哈~` 好久没有笑喽~

经过你的指点 我还是没找到在哪 ~~~

为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！

您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子

终于看完了~~~

一骂人就激动....

晚安 别让小嫁再郁闷了 -

这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊

哪个正常的人能崇拜一只蟑螂呢?

假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。