ubuntu下Mysql+sphinx+中文分詞安裝配置

一、編譯先前條件

確認是否已經安裝以下軟件,有些也許不是必須的,但建議還是都裝上。

apt-get install autoconf automake autotools-dev cpp curl gawk gcc lftp libc6-dev linux-libc-dev make libpcre3-dev libpcrecpp0 g++ libtool libncurses5-dev

aptitude install libmysql++-dev libmysqlclient15-dev checkinstall

apt-get install python python-dev

二、安裝所需文件

所需文件列表

mmseg-0.7.3.tar.gz　　　　　　　　　　　　　　 中文分詞

mysql-5.1.26-rc.tar.gz　　　　　　　　　　　　 mysql-5.1.26源代碼

sphinx-0.9.8-rc2.tar.gz　　　　　　　　　　　sphinx-0.9.8-rc2源代碼

fix-crash-in-excerpts.patch　　　　　　　　　sphinx支持分詞補丁

sphinx-0.98rc2.zhcn-support.patch　　　 sphinx支持分詞補丁

文件可以到官方下載，附件中我將會提供該系列文件。

三、開始安裝

先將以上文件傳到 root目錄下

1、mmseg-0.7.3 安裝

先解壓安裝文件 tar -zxvf mmseg-0.7.3.tar.gz

cd mmseg-0.7.3/

./configure

make

make install

cd ../

到此mmseg安裝完畢

可以嘗試 輸入mmseg 命令,看是否已經安裝成功

2、安裝MySQL 5.1.26-rc、Sphinx、SphinxSE存儲引擎

先解壓 mysql和sphinx源文件

tar zxvf mysql-5.1.26-rc.tar.gz

tar zxvf sphinx-0.9.8-rc2.tar.gz

然後給sphinx打上補丁，這個是支持中文必須打的補丁

cd sphinx-0.9.8-rc2/

(請確認已經安裝了patch，如果沒有者 使用 apt-get install patch 安裝)

patch -p1 < ../sphinx-0.98rc2.zhcn-support.patch

patch -p1 < ../fix-crash-in-excerpts.patch

接著將sphinx下的mysqlse 文件夾下的數據拷貝到mysql-5.1.26-rc/storage/sphinx 下面(這樣才能在編譯mysql的時候把SphinxSE存儲引擎編譯進去)

cp -rf mysqlse ../mysql-5.1.26-rc/storage/sphinx

到/mysql-5.1.26-rc/storage/sphinx目錄下確認文件是否已經拷貝成功

cd ../

下面我們來編譯安裝mysql-5.1.26-rc

cd mysql-5.1.26-rc/

sh BUILD/autorun.sh 這步是必須的,請勿遺漏

使用configure命令確認安裝

./configure --prefix=/usr/local/mysql --with-charset=utf8 --with-extra-charsets=all --with-plugins=sphinx

確認是否提示可使用make編譯,如果是。

執行

make

這步執行時間比較長，一般在10-20分鐘，主要看個人電腦配置

編譯成功後.再執行安裝命令(如果出現error,需要重新編譯,一般80%的error都是編譯環境沒有裝好(個人編譯體會))

make install //這個過程大概需要1分鐘不到的時間

這樣mysql就已經安裝完畢了下面我們來配置和啟動mysql

添加mysql用戶組和用戶

groupadd mysql

useradd –g mysql mysql

給mysql所在目錄添加mysql用戶權限

chown mysql:mysql /usr/local/mysql –R

將my-medium.cnf 拷貝到安裝根目錄

cp /usr/local/mysql/share/mysql/my-medium.cnf /usr/local/mysql/my.cnf

給my.cnf文件添加mysql用戶權限

chown mysql:mysql /usr/local/mysql/my.cnf

然後修改my.cnf配置

在skip-external-locking上面插入(配置可以自定義)

user　　　　 = mysql

pid-file　　 = /usr/local/mysql/mysql.pid

socket　　　　　　 = /tmp/mysq.sock

port　　　　 = 3306

basedir　　　　　　= /usr/local/mysql

datadir　　　　　　 = /usr/local/mysql/data

tmpdir　　　　　　 = /tmp

language　 = /usr/local/mysql/share/mysql/English

將裡面的# –skin-dbd 注釋掉,否則在執行啟動mysql命令 時會報錯誤

為了能在ubuntu系統下方便的使用mysql, 我們還需要安裝 mysql-client-5.0 (客戶端)

apt-get install mysql-client-5.0

初始化數據庫

/usr/local/mysql/bin/mysql_install_db --defaults-file=/usr/local/mysql/my.cnf --user=mysql

執行結果

Installing MySQL system tables...

080917 14:36:16 [Warning] Storage engine 'SPHINX' has conflicting typecode. Assigning value 42.

OK

Filling help tables...

080917 14:36:16 [Warning] Storage engine 'SPHINX' has conflicting typecode. Assigning value 42.

OK

………………..

以上提示表示執行成功

此時你會發現/user/local/mysql 目錄下多了一個data文件夾，這文件夾裡存放的是mysql數據內容

我們需要給該目錄賦予用戶權限和寫的權限

chown mysql:mysql -R /usr/local/mysql/data/

chmod -R o+w /usr/local/mysql/data/

將mysql.server 拷貝成 /etc/init.d/mysqld 文件

cp /usr/local/mysql/share/mysql/mysql.server /etc/init.d/mysqld

並給mysqld添加執行權利

chmod 700 /etc/init.d/mysqld

通過執行

/etc/init.d/mysqld start 啟動mysql 也可以使用stop | restart 等一些命令

然後我們輸入mysql 命令，進去

Mysql>

輸入

show engines;

此時我們可以看到已經包含sphinxSE 引擎

到此myql部分啟動完畢

接著我們來安裝sphinx-0.9.8-rc2

cd sphinx-0.9.8-rc2/

CPPFLAGS=-I/usr/include/python2.4

LDFLAGS=-lpython2.4

./configure --prefix=/usr/local/sphinx --with-mysql=/usr/local/mysql

make

make install

cd ../

安裝完成後

將sphinx.conf.dist拷貝成sphinx.conf文件

cp /usr/local/sphinx/etc/sphinx.conf.dist /usr/local/sphinx/etc/sphinx.conf

修改sphinx.conf中的配置如下：(配置可以自定義)

sql_host　　　　　　　　　　　　　　　　= localhost

sql_user　　　　　　　　　　　　　　　　= root

sql_pass　　　　　　　　　　　　　　　　=

sql_db　　　　　　　　　　　　　　　　　= test

sql_port　　　　　　　　　　　　　　　　= 3306

加載索引

/usr/local/sphinx/bin/indexer --config /usr/local/sphinx/etc/sphinx.conf --all

注: 先要給libmysqlclient.so.16 建立軟鏈接

ln -s /usr/local/mysql/lib/mysql/libmysqlclient.so.16 /usr/lib/libmysqlclient.so.16

再通過

/usr/local/sphinx/bin/searchd --config /usr/local/sphinx/etc/sphinx.conf 開啟索引監聽

為了下面測試方便，我們先將sphinx.conf自帶的example.sql腳本倒入的mysql中

mysql < /usr/local/sphinx/etc/example.sql //創建了一個test庫，並建立了documents測試表和數據

到此安裝部分基本結束，大功告成了一半，下面我們來談談他們的使用。

四、開始使用

1、在mysql中的使用SphinxSE方式調用Sphinx

首先建立一張索引專用表：

CREATE TABLE `sphinx` (
　　`id` int(11) NOT NULL,
　　`weight` int(11) NOT NULL,
　　`query` varchar(255) NOT NULL,
　　`CATALOGID` INT NOT NULL,
　　`EDITUSERID` INT NOT NULL,
　　`HITS` INT NULL,
　　`ADDTIME` INT NOT NULL,　 KEY
　　`Query` (`Query`)
　　) ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://localhost:3312/test1'

test1：索引的名稱，可以在sphinx.conf中查找到

建立完索引專用表後，我們就可以在mysql中使用它了，例如，在mysql中輸入

SELECT doc. * FROM documents doc JOIN sphinx ON ( doc.id = sphinx.id )

WHERE query = 'doc;mode= any '

運行後，結果記錄中將會顯示包含doc字符串的所用記錄行

關於query的語法，還有sphinx的配置等信息你可以請參考：

http://www.sphinxsearch.com/doc.html

這裡有十分詳細的介紹，在這裡我們只做一個簡單的介紹，希望能起到拋磚引玉的效果。

2、中文分詞的應用

在應用之前我們先將apache2和 phpmyadmin裝上，以便輸入中文進行測試

apt-get install apache2

apt-get install phpmyadmin

訪問：http://192.168.2.249/phpmyadmin/ 出現了熟悉的界面，ok，安裝成功.

接著我們需要修改/etc/php5/apache2/php.ini 中的

mysql.default_socket 值 設置成 /tmp/mysql.sock

這樣我們就可以在http://192.168.2.249/phpmyadmin/ 上通過root用戶(密碼空) 訪問mysql了

生成和使用分詞字典

mmseg -u /root/mmseg-0.7.3/data/unigram.txt

將生成unigram.txt.lib 文件

將文件拷貝到 /usr/local/sphinx/下面,命名為uni.lib

cp unigram.txt.lib /usr/local/sphinx/uni.lib

修改 sphinx.conf(/usr/local/sphinx/etc/sphinx.conf)配置文件

在索引中加入

charset_type = zh_cn.utf-8

charset_dictpath = /usr/local/sphinx/

配置

然後通過

/usr/local/sphinx/bin/indexer --config /usr/local/sphinx/etc/sphinx.conf –all

(如果searchd已經再運行，先kill 它再運行,下一部分，我們會介紹怎樣在searchd運行的狀態下，加載索引)

重建索引,成功後，開啟索引監聽

/usr/local/sphinx/bin/searchd --config /usr/local/sphinx/etc/sphinx.conf

這樣，就可以在phpmyadmin中進行測試了。

SELECT doc. * FROM documents doc JOIN sphinx ON ( doc.id = sphinx.id )

WHERE query = '張學友;mode= any '

注意：在添加完數據後，需要重新加載索引，這樣新的數據才能被緩存進去五、實際應用介紹

通過以上的介紹，現在我們已經基本能使用這套東西了，下面我們來對索引的管理做一些介紹。

實時更新索引

在實際應用中往往有這麼一種情況，數據庫數據很大，比如我們的歌曲表，如果我們每次都去更新整個表的索引，對系統得開銷將非常大，顯然這是不合適，這時我們會發現，每天我們需要更新的數據相比較而言較少，在這種情況下我們就需要使用“主索引+增量索引”的模式來實現實時更新的功能。

這個模式實現的基本原理是設置兩個數據源和兩個索引，為那些基本不更新的數據建立主索引，而對於那些新增的數據建立增量索引。主索引的更新頻率我們可以設置的長一些(可以設置在每天的午夜進行更新)，而增量索引的更新頻率，我們可以將時間設置的很短(幾分鐘左右)，這樣在用戶搜索的時候，我們可以同時查詢這兩個索引的數據。

下面，我們通過一個簡單的例子來描述一下怎樣實現這種模式

以sphinx.conf中默認的數據為例:

先在mysql中插入一個計數表和兩個索引表

CREATE TABLE sph_counter
　　(
　　counter_id INTEGER PRIMARY KEY NOT NULL,
　　max_doc_id INTEGER NOT NULL
　　);
　 //主索引使用(確認之前是否已經建立過該表，如果已經建立，這裡就不需要重新建了)
　　CREATE TABLE `sphinx` (
　　`id` int(11) NOT NULL,
　　`weight` int(11) NOT NULL,
　　`query` varchar(255) NOT NULL,
　　`CATALOGID` INT NOT NULL,
　　`EDITUSERID` INT NOT NULL,
　　`HITS` INT NULL,
　　`ADDTIME` INT NOT NULL,　 KEY
　　`Query` (`Query`)
　　) ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://localhost:3312/test1'
　　//增量索引使用
　　CREATE TABLE `sphinx1` (
　　`id` int(11) NOT NULL,
　　`weight` int(11) NOT NULL,
　　`query` varchar(255) NOT NULL,
　　`CATALOGID` INT NOT NULL,
　　`EDITUSERID` INT NOT NULL,
　　`HITS` INT NULL,
　　`ADDTIME` INT NOT NULL,　 KEY
　　`Query` (`Query`)
　　)ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://localhost:3312/ test1stemmed '

數據庫操作完畢後再來配置sphinx.conf

source src1
　　{
　　　　　　　　　sql_query_pre = REPLACE INTO sph_counter SELECT 1, MAX(id) FROM documents
　　　　　　　　　sql_query　　　　　　　　　　　　　　　 = "
　　　　　　　　　　　　　　SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content "
　　　　　　　　　　　　　　FROM documents "
　　　　　　　　　　　　　　WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )
　　　　　　　　　 ………….. //其他可以默認
　　　　　}
　　　　 source src1throttled : src1
　　{
　　　　 sql_ranged_throttle　　　　　　　　　　　　 = 100
　　　　　　　　　sql_query　　　　　　　　　　　　　　　 = "
　　　　　　　　　 SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content "
　　　　　　　　　 FROM documents "
　　　　　　　　　 WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )
　　}
　　index test1　　　　　　　　　　//主索引
　　{
　　　　 source　　　　　　　　　　　　　 = src1
　　　　 ……….
　　｝
　　index test1stemmed : test1　　　//增量索引
　　{
　　　　 source　　　　　　　　　　　　　 = src1throttled
　　　　 ……
　　 }

配置完成後，我在通過

/usr/local/sphinx/bin/indexer --config /usr/local/sphinx/etc/sphinx.conf –all 和

/usr/local/sphinx/bin/searchd --config /usr/local/sphinx/etc/sphinx.conf

重新加載索引，執行成功後我們就可以來使用它了。

你可以往documents表中添加新的數據，比如我們插入一條這樣的數據：

執行命令：　

SELECT doc.* FROM documents doc join sphinx on (doc.id=sphinx.id) where query='test'

你會發現你剛添加的數據沒有被檢索出來

然後執行：

SELECT doc.* FROM documents doc join sphinx１ on (doc.id=sphinx１.id) where query='test'

你會發現數據是空的，這時我們就需要來更新增量索引了。

通過執行：

/usr/local/sphinx/bin/indexer --rotate --config /usr/local/sphinx/etc/sphinx.conf test1stemmed　命令來更新增量索引(正式使用時，我們可以將該命令配置到系統計劃任務中，每格幾分鐘執行一次)

--rotate: 該參數可以使我們在不需要停止searchd的情況下，直接加載索引

執行完命令該命令後，我們再來查看一下增量索引的數據

SELECT doc.* FROM documents doc join sphinx１ on (doc.id=sphinx１.id) where query='test'

你會發現新添加的數據被檢索出來的。

主索引的更新：

/usr/local/sphinx/bin/indexer --rotate --config /usr/local/sphinx/etc/sphinx.conf test1　(我們可以設置成每天的午夜執行)

只有在更新了主索引後，

SELECT doc.* FROM documents doc join sphinx on (doc.id=sphinx.id) where query='test'

的結果才會被更新

我們也可以通過合並索引的方式使主索引的數據保持更新

通過執行

/usr/local/sphinx/bin/indexer --merge test1 test1stemmed --merge-dst-range deleted 0 0 --rotate

可以將增量索引test1stemmed合並到主索引test1中去

注意：在你測試的過程中，mysql的查詢緩存可能會給你帶來一些困惑，所以測試時最好將其關閉。

關閉方法：

set global query_cache_size = 0;　//禁止緩存開銷

你可以通過　SHOW VARIABLES LIKE '%query_cache%　來察看緩存狀態

到此Mysql+sphinx+中文分詞的應用部分介紹完畢了。

總結

對於這塊的學習，我也是剛起步，有些地方可能介紹的不是很到位，希望讀者不要在意，

讀者可以參考http://www.sphinxsearch.com/doc.html 的文檔，那裡有非常詳細的介紹，對初學者來說，我這篇文章或許能幫上點忙。