浅谈百度搜索引擎分词技术

搜索引擎面对的用户大部分是通过关键词返回一个列表页面，这个结构页面是大量的搜索索引库而建立起来的。当然这里这个页面是指自然搜索结果。那么搜索引擎是如何完成排名这以环节的呢？
& F: R) c8 J, A
2 A7 P( e1 B* m* H: j# C
( R/ B& S8 m& l' ^- @   
一、对提交的搜索请求分析
6 }0 ~3 D! g; ~7 q" E% R" U2 N
8 U1 L- z9 G7 S* `# k* f   
0 M7 N, J6 w  Q' b) X搜索用户在搜索引擎上键入关键词，提交搜索请求，一步一步找到匹配的网页显示出来。当我们键入关键词提交（按下回车）给搜索引擎时，搜索引擎便会对这次搜索请求进行详细分析。


   
1、中文分词
# a' u& |+ E1 L! ^' U3 G4 Q' a

' A0 |3 q( v$ \6 ^& P$ R" x4 Y   
$ u' x7 o* j4 q- b5 H4 A中文分词是各大搜索引擎中重要的环节，中文分词能够更加明确掌握搜索请求的重点所在，时期更好地页面展示给搜索用户。
3 ]$ @% r0 |2 E0 a/ C

$ f' N) {# j1 U! F* u, N  b5 ]) i; q   
. I7 s3 I9 t$ _, `& ~* k  Y  V' P百度中文分词常见的以下三种：

3 u: j( o" s2 X2 y3 w8 l
   
a、基于字符串匹配
  m. ?% C+ `4 y( ~
% B" w, q2 F2 H: h8 y
   
9 U( e& r7 Q4 H9 f在基于字符串匹配中正向最大匹配法、逆向最大匹配法、最少切分这三种又比较常见。


- v' I8 e8 Q. H8 d" L   
, G; p: M- W; `7 Z$ d6 f, H; j' S正向最大匹配法：利用关键词查询的时候，在百度排名第一位的是以标题和搜索的长尾词相符合，说明在网站条件相当的情况下，先显示标题匹配的网页。
+ g9 y* [" b/ ^& h0 N. l3 \4 w

$ G. q2 ?8 z4 E  o$ ]/ O& p" c   
逆向最大匹配法：刚刚是正向最大匹配法相反的规则，即从右往左反向进行拆分和组合。


8 {3 o6 s2 ^5 S& O6 T6 G6 k   
最少切分：最小切分就是将一个个词组切分为最细化，甚者会一个字出现。


   
7 g5 j9 w# o7 ~% `4 G( |b、理解分词方法
: n" ~+ O  G+ x% }( b- H

   
理解分词方法：搜索引擎模拟人的思维，对其语句的理解进行分词技术。通过对存储的词语和语句的整合，进行分词理解。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。

5 h! g: w6 o( R/ S" B& |; x
, J% w& l4 a8 K5 S9 Q   
c、统计分词方法

3 N, W" w1 ]7 A; S5 y& ^- N
   
相邻的字同时出现的次数越多，中文分词就会可能把出现相邻的字当成你一个词。我们常常不是使用粗体，女包批发黑体这些吗？原因还在于这对于搜索引擎理解同样有利。
% g* j7 J: g* m2 n) ]
( ^/ ?* h- K8 B$ k
) i$ ~# r$ H: y7 q   
; W; U+ k$ _1 M7 I6 {2、去掉停止词
4 ~8 Z( P8 W& H
5 `9 J- J! M& s% c; F4 T% L
5 P1 c# \5 n4 a; {' B2 O7 g- j   
搜索用户在键入关键词时，或多或少会出现不少停止词，像“的”“吗”，这样才能最大限度的显示最相关，最能够满足用户体验的结果页面。
; {1 k- H# i+ \' V8 {) ?

+ L# |0 {+ `# ^: I   
3、处理符号


   
搜索引擎还是很看重标点符号的，因此我们seoer在编辑文章的时候，应当注意标点符号的合理使用，尤其是在文章标题上。


" a1 g& ?( ?) X* X   
二、匹配搜索请求

   
当搜索引擎接收到搜索请求详细分析之后，便会匹配URL（当然重点是标题和摘要片段），匹配的URL成千上万个，怎样才能有序显示出来了，这就需要搜索引擎按URL的匹配程度排序。
4 [3 }: R3 u' j0 N" c) J( L% N
3 L- M2 y6 z. d
" g( y% d! K( l% H7 `   
2 }3 R3 _( p6 g! R9 u三、对匹配网页排名
8 C/ y9 @/ K2 ?+ a& E- E1 J
6 m1 V8 ?  {& o3 t( V4 z1 N2 A   
& o% z0 [  p3 i& p为匹配的网页排序，其实就是搜索引擎对匹配的网页进行筛选，挑选的过程，然后按照一定的顺序整理出结构的行为。当然搜索引擎都会给每个网页一个值，即权重（SEOer们自我定义），通过判断该网页对搜索引擎和用户体验的价值进行排序排名。提高排名的因素多种多样，目前基本上是参考HITS算法，TrustRank信任指数算法、PR值等等。
9 C- X1 J' k: A+ }. y1 z
  u9 I# Z% I+ i; w/ J# V
& B* }! B! W- n! v; U; x
. r2 ^' r; a/ s
  F2 r8 ]  j! x0 {1 Q( W" w: `$ ?百度词库是由无数个小词库构成的，也就是程序中所说的数据库，通过对词库的分解我们能了解我们标题的正确优化法则！词库是否存在最简单的法则就是通过百度指数查找。

6 O. n; R5 W& ?0 v) \. D1 X7 i, f1 i& V
' F$ A9 ]/ l4 N+ I6 N  \
& R. a) g  U+ u  W4 e8 U
/ R4 \# S8 H( e1 G: L& s下面江西SEO就来举例加以说明

' D8 U- v4 A1 I, v9 S
: B; I2 T3 x! C0 Q& u0 K3 o# \: }
假设：我们设定的分词为：湖北武汉长江大桥;那么分词的顺序应该为：湖北武汉长江大、湖北武汉长江、湖北武汉长、湖北武汉


5 s9 k: E, e! f/ A9 l( E9 B3 i  q( U
) K. P6 ^/ F' E8 M1 [# x( B: ]
根据百度指数显示：‘湖北武汉’这个词语是存在的,那么我们下一步就是对‘长江大桥’进行分词的。


; d( @7 H( ?1 _5 g2 R

根据百度指数：长江大桥 也是存在百度词库中的,那么湖北武汉长江大桥的分词应该是：湖北武汉、长江大桥这两个词库的交集。
: b9 z- [6 v6 R' i
; U" {: X. I8 p8 t5 `


& W+ ?# h0 ^% S& I, _8 F0 M现在我们来对：“武汉装修公司、武汉装饰公司”   进行分词
& {% l9 F  U* t; Z- E

/ I/ k5 P6 |- v' U( I5 R
  b# ^& t0 ?# d- y  X% f
根据上文中提到的分词原理！那么我们可以很容易的把上面的两个词语分解成为：武汉  装修公司   武汉   装饰公司


  c- Y' r2 c3 A, o/ N4 N

很多人做标题优化会写出：武汉装修装饰公司怎么样？
- h- o$ b6 V* H8 i  Y7 @, D



我们对标题进行分解可以得到的词语应该是  武汉  装修  装饰公司  怎么样？

+ v* G( |$ ?+ L3 g


3 W& c" Z; w2 v1 g5 t8 q2 r* ~这样分词的结果很明显  我们其实这样是把  装修公司  这个词语进行了遗漏！只是把词语做成了  装修  这无疑是增加了网站的优化难度  也导致我们关键词的优化遗漏
, E5 J5 ^" r. R' \/ e$ a9 e
- w5 U/ q# }$ s- r
& g# T# ~1 Y, l

其实我们在考虑一个版本：武汉装修公司 装饰公司怎么样？
3 Y" w$ O4 W7 s  L5 r

5 C% T+ m7 N# N$ [7 z) _
5 V9 ^0 }' J; m  c
' i/ }( E2 _8 N: q7 u2 v: P同样分词，结果应该为：武汉  装修公司  装饰公司  怎么样 ？
7 S8 w3 B* E5 z+ I

  c" F5 T9 O* x( o( q; ^- A

2 }1 X/ v3 |7 g; o2 E1 a效果是怎么样的，以及标题优化关键词的效果不言而语？


; m# ~0 Y9 |0 e  Y! d
6 [! E- s8 K5 t6 {$ d/ Y  p
9 x% q4 H2 P  x: c这个词语的更多版本大家也可以去尝试，总之一句话，大家得考虑到百度的算法的分词次数和词库的大小！做标题优化不能单单只靠自己的感觉去做！

! U+ w, [8 E& H& J: h9 D; j
$ c8 ]: T8 Z. |$ l8 i2 T% M' x文章来源于曾庆平博客：http://blog.sina.com.cn/s/blog_e7c75bd30102vfib.html
4 s; g; D8 ~! h2 p, @& s, N
搜外论坛原创作者：戏笑☆醉红颜
7 W$ {1 B- F$ B- u" i日期：2015.1.12
4 A7 A7 w8 w4 r! y+ E: J' _
, j* X/ T$ N" I. }4 R0 e5 R
- y( M  A5 u+ X4 u7 a2 H7 S7 g

& {' W' W& J# ]

4 x8 H9 l1 ~- }" g4 b/ F/ ~
2 I7 g2 ^9 m3 g& W谢谢，好的见解搜索引擎面对的用户大部分是通过关键词返回一个列表页面，这个结构页面是大量的搜索索引库而建立起来的。当然这里这个页面是指自然搜索结果。那么搜索引擎是如何完成排名这以环节的呢？
5 e; p; W5 u* V6 @" K

7 B  b8 [, [. ]- j9 I: Z& i   
一、对提交的搜索请求分析
% \) p' E% l* o& w+ U
( x, `' x' S3 ?, m& c   
+ q* U! i) n! m) C" t4 ]2 L搜索用户在搜索引擎上键入关键词，提交搜索请求，一步一步找到匹配的网页显示出来。当我们键入关键词提交（按下回车）给搜索引擎时，搜索引擎便会对这次搜索请求进行详细分析。
8 Y. v. n5 F4 ?) ]8 m

* M9 u5 s0 V. I   
1、中文分词

+ L: M% f( x8 N, M6 S0 _$ p" k+ P
   
中文分词是各大搜索引擎中重要的环节，中文分词能够更加明确掌握搜索请求的重点所在，时期更好地页面展示给搜索用户。


   
百度中文分词常见的以下三种：

$ d" g& g* z# a# g
   
3 m7 R% l: l: z% m) w9 y. C! Ga、基于字符串匹配

/ f9 P% N9 S. C1 `3 `* ]& m
   
在基于字符串匹配中正向最大匹配法、逆向最大匹配法、最少切分这三种又比较常见。

: \) d; @7 z7 F0 b! ]/ W
. ^$ e% R9 b8 M1 P7 Q   
正向最大匹配法：利用关键词查询的时候，在百度排名第一位的是以标题和搜索的长尾词相符合，说明在网站条件相当的情况下，先显示标题匹配的网页。
% Z8 `/ Q2 a7 a2 C; Z* [
, [! \  k9 z/ f' M) Q+ h  N8 H7 O
   
4 E# L) r( @: d( Q逆向最大匹配法：刚刚是正向最大匹配法相反的规则，即从右往左反向进行拆分和组合。
, N! n6 H$ l5 R3 _5 i

) q1 K. B2 W9 ]' k) g8 J5 u# \   
0 N3 i/ h2 [4 i最少切分：最小切分就是将一个个词组切分为最细化，甚者会一个字出现。

2 M6 d5 U. O1 z, y# Q6 v, [
" j5 l! v# ~. A   
b、理解分词方法
1 K0 x: I  }+ T8 X" Q3 Q- e, D" ~( P

   
; W6 E, {1 H  ^- ~+ u) i2 V理解分词方法：搜索引擎模拟人的思维，对其语句的理解进行分词技术。通过对存储的词语和语句的整合，进行分词理解。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。
# T* u3 l. w# y( Z

   
. D# c9 i1 b* Vc、统计分词方法
$ [1 M% D6 B" P6 Y
$ E4 A7 K! m& N% x. e! c4 J; K
' g0 P$ ^; J$ R1 |! e! ]+ ?/ `   
3 {2 I% [% W. b8 ?* r2 M0 y相邻的字同时出现的次数越多，中文分词就会可能把出现相邻的字当成你一个词。我们常常不是使用粗体，女包批发黑体这些吗？原因还在于这对于搜索引擎理解同样有利。
; n' `0 D$ `6 i% N$ t2 U3 t
. x4 @& Q! d/ s( g2 f
) n( o/ j. Q3 f7 }% ^! v, Z( T   
2、去掉停止词


   
搜索用户在键入关键词时，或多或少会出现不少停止词，像“的”“吗”，这样才能最大限度的显示最相关，最能够满足用户体验的结果页面。

3 ^9 B5 A7 y$ |7 h' n- E/ U
3 z  W3 k$ z+ ~; ~$ q( d   
8 N8 b: d$ B; R6 Q$ i) A# k3、处理符号
1 C1 j/ P- [* h6 C" {
" x! D4 {, ^3 Z2 z
( p6 p1 W# O5 r   
搜索引擎还是很看重标点符号的，因此我们SEOer在编辑文章的时候，应当注意标点符号的合理使用，尤其是在文章标题上。
3 M# Y0 W( y$ b. H; [: \+ J

6 C  q6 j' y0 m# u* C1 A; t% E   
5 ^# D0 `2 M0 a0 F0 K2 c0 X) e& N二、匹配搜索请求
5 y# n+ w1 O, ~" {! t# q' T
% g- p. e+ M2 Q% F, g( J- i- E; K   
" Q: j  D/ O1 k# ~0 M& p当搜索引擎接收到搜索请求详细分析之后，便会匹配URL（当然重点是标题和摘要片段），匹配的URL成千上万个，怎样才能有序显示出来了，这就需要搜索引擎按URL的匹配程度排序。

6 J" }3 S$ |! p, X$ A& c' Q
& g( P' {) X" Q/ b. c   
三、对匹配网页排名

   
为匹配的网页排序，其实就是搜索引擎对匹配的网页进行筛选，挑选的过程，然后按照一定的顺序整理出结构的行为。当然搜索引擎都会给每个网页一个值，即权重（SEOer们自我定义），通过判断该网页对搜索引擎和用户体验的价值进行排序排名。提高排名的因素多种多样，目前基本上是参考HITS算法，TrustRank信任指数算法、PR值等等。

5 n% I7 E. B9 ~; d

0 ^% U0 |/ H! t
百度词库是由无数个小词库构成的，也就是程序中所说的数据库，通过对词库的分解我们能了解我们标题的正确优化法则！词库是否存在最简单的法则就是通过百度指数查找。
! `/ M* {2 m- Z3 r) S3 V+ g0 q
8 G( G; v( A% C  v' y! b# m

  e5 t8 L& M6 y2 _' k
6 @6 o5 j3 I) i" l) F  g. l9 h下面江西SEO就来举例加以说明
$ d2 L" ?2 ~$ k2 @: W# W
. r: X9 ?+ z- Q% V
) P1 M, m. k- H% I
假设：我们设定的分词为：湖北武汉长江大桥;那么分词的顺序应该为：湖北武汉长江大、湖北武汉长江、湖北武汉长、湖北武汉
; q. e$ {  r# a# |! s! X; k8 `
6 D7 |5 @" q$ h3 v
& c3 C4 ?% t+ ]3 K  ^. {: A
2 \5 v; T9 _) p" {
根据百度指数显示：‘湖北武汉’这个词语是存在的,那么我们下一步就是对‘长江大桥’进行分词的。


/ _% X6 ~) T- |6 C4 t

根据百度指数：长江大桥 也是存在百度词库中的,那么湖北武汉长江大桥的分词应该是：湖北武汉、长江大桥这两个词库的交集。

0 @4 a0 g1 D3 P1 D: t

- d8 N( Y( F; B+ A7 j3 r
+ E. q. b5 K* a: J现在我们来对：“武汉装修公司、武汉装饰公司”   进行分词
  S: S+ M- V; J& A; B7 s
0 I+ {/ h5 V, Q+ G0 m/ }$ b
5 U% w! F  F: f

% `" L' o8 W) b/ x* P( }根据上文中提到的分词原理！那么我们可以很容易的把上面的两个词语分解成为：武汉  装修公司   武汉   装饰公司

% o6 N! o4 k# j' E
+ [% y  t- Z/ V+ U, ]

8 ]/ I7 M+ r' U0 ~很多人做标题优化会写出：武汉装修装饰公司怎么样？




; W& |/ }: f$ @& `8 t$ I, A" @我们对标题进行分解可以得到的词语应该是  武汉  装修  装饰公司  怎么样？
) k2 }, K1 Z% R) r6 [
! ^$ b, ~) z* q+ I2 l

3 p( X) F9 Z# `: R+ L; h( M# c
9 p* W8 P& \5 s8 P1 {, c这样分词的结果很明显  我们其实这样是把  装修公司  这个词语进行了遗漏！只是把词语做成了  装修  这无疑是增加了网站的优化难度  也导致我们关键词的优化遗漏
+ \! \. i: H* z) C1 w1 p" P5 e
. r7 D$ |) y* M( V- W
( C- B6 z4 R( j# I$ j8 Z
( n$ l6 w0 A; ^* m0 z5 V: C3 L
其实我们在考虑一个版本：武汉装修公司 装饰公司怎么样？
" a4 ]$ I! i( P+ Q! }
9 @) u! s# u1 h5 M- q# `$ c

- ]7 ?2 @# f) R! c+ q. X9 D
同样分词，结果应该为：武汉  装修公司  装饰公司  怎么样 ？


2 a5 L6 L1 u2 Y3 M! A" P
* ^3 V; A$ f1 @' E2 y3 n0 j
# {# _; z& Y/ S9 l7 e效果是怎么样的，以及标题优化关键词的效果不言而语？
. |( a2 }' S2 R# y9 F  ]
. l; y9 X; ?& r& w" s3 i

7 t# ^2 i) `0 t
这个词语的更多版本大家也可以去尝试，总之一句话，大家得考虑到百度的算法的分词次数和词库的大小！做标题优化不能单单只靠自己的感觉去做！
- \4 \4 J  n5 Y& d9 v7 b1 S
$ P4 }" [9 |8 f# D9 |/ e5 P
; Q. s& o/ e7 d. R* O! y3 Z文章来源于曾庆平博客：http://blog.sina.com.cn/s/blog_e7c75bd30102vfib.html
- K: W/ k+ g6 J% g( D
搜外论坛原创作者：戏笑☆醉红颜
* p- ~7 n  a. D1 `! ?日期：2015.1.12

0 v* x8 H2 u  T1 z8 E2 ~5 N



9 ]5 I8 }8 m- K! [* d' [

分词同正则表达式一直都是大家比较关心的核心内容，估计这些东西没有人会研究得那么透彻写得不错，就是排版是不是应该调整一下

女人啊真是那句话~~~无理占三分~~忘记怎么说了 呵呵 ~~你帮我想想

你这样的表现，就只配这几个字：窝囊废

去干吗啊~~~伤心啊~~~

我.......伤心

疯了.........

我在顶贴~！~

哦~~~明白了....

我率天兵天将 将你打回原形~~~

宁死不屈.....

其实今天baidu 又 抽风了