Cent_Lucene
の編集
index.php?Cent_Lucene
[
トップ
] [
編集
|
差分
|
履歴
|
添付
|
リロード
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
-- 雛形とするページ --
(no template pages)
#contents(); ** インストール [#qbb6c77a] *** perl は入っていた [#vf9228f8] [root@spirit ~]# perl -v This is perl, v5.8.5 built for i386-linux-thread-multi Copyright 1987-2004, Larry Wall *** subversion のインストール [#we691c30] [root@spirit ~]# yum install subversion (snip) (1/1): subversion-1.1.4-2 100% |=========================| 1.6 MB 00:00 Installed: subversion.i386 0:1.1.4-2.ent *** J2SE SDK のインストール [#e1be9841] - [[SUN SDK download:http://java.sun.com/j2se/1.4.2/download.html]] ----> ファイルは大きいので ftpmuna に Up しておく - 実行権を付与して、ダウンロードした bin を実行すると ライセンス合意画面が出るので 承認すると rpm が出来る [root@spirit Downloads]# chmod 755 j2sdk-1_4_2_12-linux-i586-rpm.bin [root@spirit Downloads]# ./j2sdk-1_4_2_12-linux-i586-rpm.bin [root@spirit Downloads]# ls -l j2* -rwxr-xr-x 1 root root 35184545 6月 5 18:08 j2sdk-1_4_2_12-linux-i586-rpm.bin -rw-r--r-- 1 root root 35513469 5月 10 05:57 j2sdk-1_4_2_12-linux-i586.rpm -- rpm のインストール [root@spirit Downloads]# rpm -ivh j2sdk-1_4_2_12-linux-i586.rpm Preparing... ########################################### [100%] 1:j2sdk ########################################### [100%] [root@spirit Downloads]# - /usr/java/j2sdk1.4.2_12/bin にパスを通す （再ログインで有効化） [root@spirit Downloads]# cat ~/.bash_profile # .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs # PATH=$PATH:$HOME/bin PATH=/usr/java/j2sdk1.4.2_12/bin:$PATH:$HOME/bin export PATH unset USERNAME - java sdk のインストールの確認 [root@spirit ~]# javac 使い方: javac <options> <source files> 使用可能なオプションには次のものがあります。 ( snip ) [root@spirit ~]# java -version java version "1.4.2_12" Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2_12-b03) Java HotSpot(TM) Client VM (build 1.4.2_12-b03, mixed mode) *** jdk のインストール [#q31cc906] &color(red){上記で j2sdk をインストールしたが、先に入っていた jre (=run time) との整合性でエラーが出て luke のビルドが出来なかったので、jdk に入れ直した}; [root@spirit Downloads]# chmod 744 jdk-1_5_0_07-linux-i586-rpm.bin [root@spirit Downloads]# ls -l jdk-1_5_0_07-linux-i586-rpm.bin -rwxr--r-- 1 root root 47255528 6月 9 11:30 jdk-1_5_0_07-linux-i586-rpm.bin [root@spirit Downloads]# ./jdk-1_5_0_07-linux-i586-rpm.bin Sun Microsystems, Inc. Binary Code License Agreement for the JAVA 2 PLATFORM STANDARD EDITION DEVELOPMENT KIT 5.0 ( snip ) [root@spirit Downloads]# ls -l jdk* -rwxr--r-- 1 root root 47255528 6月 9 11:30 jdk-1_5_0_07-linux-i586-rpm.bin -rw-r--r-- 1 root root 47580556 5月 3 20:00 jdk-1_5_0_07-linux-i586.rpm [root@spirit Downloads]# rpm -ivh jdk-1_5_0_07-linux-i586.rpm Preparing... ########################################### [100%] package jdk-1.5.0_07-fcs is already installed [root@spirit Downloads]# ls -l /usr/java/ 合計 24 drwxr-xr-x 8 root root 4096 6月 5 18:09 j2sdk1.4.2_12 drwxr-xr-x 9 root root 4096 6月 9 11:31 jdk1.5.0_07 drwxr-xr-x 7 root root 4096 12月 15 02:11 jre1.5.0_06 *** Java 関連の環境変数の設定 [#ne0840ad] [root@spirit Downloads]# tail /etc/profile # Muna add private environmental values #export JAVA_HOME=/usr/java/j2sdk1.4.2_12 #export JAVA_HOME=/usr/java/jre1.5.0_06/ export JAVA_HOME=/usr/java/jdk1.5.0_07 export ANT_HOME=/root/Downloads/apache-ant-1.6.5 export PATH=$PATH:$JAVA_HOME/bin:$ANT_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar [root@spirit Downloads]# source /etc/profile [root@spirit Downloads]# set ANT_HOME=/root/Downloads/apache-ant-1.6.5 JAVA_HOME=/usr/java/jdk1.5.0_07 PATH=/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/X11R6/bin:/usr/java/j2sdk1.4.2_12/bin:/root/Downloads/apache-ant-1.6.5/bin:/usr/java/jre1.5.0_06//bin:/root/Downloads/apache-ant-1.6.5/bin:/usr/java/jdk1.5.0_07//bin:/root/Downloads/apache-ant-1.6.5/bin:/usr/java/jdk1.5.0_07//bin:/root/Downloads/apache-ant-1.6.5/bin:/usr/ja::/usr/java/jdk1.5.0_07/bin:/root/Downloads/apache-ant-1.6.5/bin *** Ant のインストール [#k03efb85] - [[apache ant のサイト :http://ant.apache.org/bindownload.cgi]] から ant 1.6.5 をダウンロード → これも ftp_muna に置いておく [root@spirit Downloads]# tar zvxf apache-ant-1.6.5-bin.tar.gz - ホームディレクトリの .bash_profile に環境変数を設定してパスを通す（再ログインで有効化） - &color(red){オリジナル環境では AACRAID の管理アプリ用に JRE5 のランタイム環境へのパスが通っていた → 副作用が心配だが....}; [root@spirit ~]# cat ~/.bash_profile ( snip ) # User specific environment and startup programs JAVA_HOME=/usr/java/j2sdk1.4.2_12;export JAVA_HOME ANT_HOME=/root/Downloads/apache-ant-1.6.5;export ANT_HOME # PATH=$PATH:$HOME/bin #PATH=/usr/java/j2sdk1.4.2_12/bin:$PATH:$HOME/bin PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$PATH - ANT のインストールの確認 [root@spirit ~]# ant -version Apache Ant version 1.6.5 compiled on June 2 2005 *** JUnit のインストール [#dcf27169] - [[JUNIT のサイト :http://junit.org/index.htm]] から JUnit をダウンロード → これも ftp_muna に置いておく - アーカイブファイルを展開して junit.jar ファイルを ANT インストールディレクトリ下の lib ディレクトリにコピー [root@spirit Downloads]# unzip junit4.1.zip [root@spirit Downloads]# cp ./junit4.1/junit-4.1.jar ./apache-ant-1.6.5/lib/ [root@spirit Downloads]# ls -l ./apache-ant-1.6.5/lib/junit-4.1.jar -rw-r--r-- 1 root root 112249 6月 5 18:53 ./apache-ant-1.6.5/lib/junit-4.1.jar *** Sen (Java で実装された形態素解析器) のインストール [#wc20a9b5] - [[Sen のサイト :http://ultimania.org/sen/]] から sen 1.2.1 をダウンロード → これも ftp_muna に置いておく [root@spirit Downloads]# unzip sen-1.2.2.1.zip [root@spirit Downloads]# cd sen-1.2.2.1 [root@spirit sen-1.2.2.1]# ls -l 合計 36 drwxr-xr-x 2 root root 4096 3月 29 07:49 bin -rw-r--r-- 1 root root 4435 3月 29 07:49 build.xml drwxr-xr-x 2 root root 4096 3月 29 07:49 conf drwxr-xr-x 2 root root 4096 3月 29 07:49 demo drwxr-xr-x 2 root root 4096 3月 29 07:49 dic drwxr-xr-x 3 root root 4096 3月 29 07:49 docs drwxr-xr-x 2 root root 4096 3月 29 07:49 lib drwxr-xr-x 4 root root 4096 3月 29 07:49 src [root@spirit sen-1.2.2.1]# cd dic - 辞書の作成 （単純に ant を実行するだけ.... 簡単だが IPA の辞書データを構築していく） [root@spirit dic]# ant Buildfile: build.xml prepare-proxy: prepare-archive: prepare-dics0: prepare-dics: download: [get] Getting: http://chasen.aist-nara.ac.jp/stable/ipadic/ipadic-2.6.0.tar.gz [get] To: /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar.gz melt: [gunzip] Expanding /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar.gz to /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar [untar] Expanding: /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar into /root/Downloads/sen-1.2.2.1/dic [delete] Deleting: /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar prepare: dics0: [exec] ipadic-2.6.0/Noun.others.dic ... [exec] ipadic-2.6.0/Auxil.dic ... [exec] ipadic-2.6.0/Conjunction.dic ... [exec] ipadic-2.6.0/Noun.org.dic ... [exec] ipadic-2.6.0/Noun.dic ... [exec] ipadic-2.6.0/Suffix.dic ... [exec] ipadic-2.6.0/Adverb.dic ... [exec] ipadic-2.6.0/Interjection.dic ... [exec] ipadic-2.6.0/Noun.place.dic ... [exec] ipadic-2.6.0/Filler.dic ... [exec] ipadic-2.6.0/Prefix.dic ... [exec] ipadic-2.6.0/Adj.dic ... [exec] ipadic-2.6.0/Verb.dic ... [exec] ipadic-2.6.0/Postp.dic ... [exec] ipadic-2.6.0/Noun.proper.dic ... [exec] ipadic-2.6.0/Noun.adverbal.dic ... [exec] ipadic-2.6.0/Noun.number.dic ... [exec] ipadic-2.6.0/Others.dic ... [exec] ipadic-2.6.0/Noun.demonst.dic ... [exec] ipadic-2.6.0/Symbol.dic ... [exec] ipadic-2.6.0/Noun.adjv.dic ... [exec] ipadic-2.6.0/Noun.name.dic ... [exec] ipadic-2.6.0/Postp-col.dic ... [exec] ipadic-2.6.0/Noun.verbal.dic ... [exec] ipadic-2.6.0/Noun.nai.dic ... [exec] ipadic-2.6.0/Adnominal.dic ... create: [java] [INFO] MkSenDic - (1/7): reading connection matrix ... [java] [INFO] MkSenDic - connection file = connect.csv [java] [INFO] MkSenDic - charset = EUC_JP [java] [INFO] MkSenDic - (2/7): building type dictionary ... [java] [INFO] MkSenDic - (3/7): writing conection matrix (5 x 1281 x 701 = 4489905) ... [java] [INFO] MkSenDic - (4/7): reading morpheme information ... [java] [INFO] MkSenDic - load dic: dic.csv [java] [INFO] MkSenDic - 50000... [java] [INFO] MkSenDic - 100000... [java] [INFO] MkSenDic - 150000... [java] [INFO] MkSenDic - 200000... [java] [INFO] MkSenDic - 250000... [java] [INFO] MkSenDic - 300000... [java] [INFO] MkSenDic - 350000... [java] [INFO] MkSenDic - (5/7): sorting lex... [java] [INFO] MkSenDic - (6/7): writing token... [java] [INFO] MkSenDic - key size = 378227 [java] [INFO] MkSenDic - (7/7): building Double-Array (size = 325254) ... [java] [INFO] DoubleArrayTrie - save time = 0.24[s] [java] [INFO] MkSenDic - total time = 62[ms] BUILD SUCCESSFUL Total time: 1 minute 29 seconds [root@spirit dic]# *** Lucene-ja のインストール [#r325ff44] - [[Sen をダウンロードしたサイト :http://ultimania.org/sen/]] から Lucene-ja 1.4.3 をダウンロード → これも ftp_muna に置いておく [root@spirit Downloads]# unzip lucene-ja-1.4.3sen1.2-2.zip [root@spirit Downloads]# ls -l lucene-ja 合計 72 -rw-r--r-- 1 root root 11358 12月 29 2004 LICENSE.txt drwxr-xr-x 2 root root 4096 2月 8 2005 bin drwxr-xr-x 2 root root 4096 12月 29 2004 docs-ja drwxr-xr-x 2 root root 4096 12月 29 2004 lib -rw-r--r-- 1 root root 39503 12月 29 2004 lucene-ja-src.jar -rw-r--r-- 1 root root 737 12月 29 2004 readme.txt drwxr-xr-x 3 root root 4096 12月 29 2004 webapp *** 最新版の lucene （コア） を導入 [#r1167fdf] - [[lucene の本家サイト :http://www.meisei-u.ac.jp/mirror/apache/dist/lucene/java/]] から 最新版 (=2.0.0） をダウンロード → これも ftp_muna に置いておく [root@spirit Downloads]# cp /opt/ftp/ftp_muna/lucene-2.0.0.tar.gz . [root@spirit Downloads]# tar xvzf lucene-2.0.0.tar.gz //*** Lucene の更新 [#rdf9747f] // //[root@spirit Downloads]# svn checkout //http://svn.apache.org/repos/asf/lucene/java/trunk // A trunk/NOTICE.txt // A trunk/LICENSE.txt // A trunk/contrib // A trunk/contrib/surround // A trunk/contrib/surround/surround.txt // ( snip-snip- snip ) // リビジョン 411728 をチェックアウトしました。 // // [root@spirit Downloads]# cd trunk/ // [root@spirit trunk]# ant *** Luke (Lucene Index Toolbox) のインストール [#g7ec8d93] - [[Luke のサイト :http://www.getopt.org/luke/]]から luke.zip をダウンロード → これも ftp_muna においておく [root@spirit Downloads]# mkdir luke <----- カレントに展開される ZIP なので [root@spirit Downloads]# cd luke [root@spirit luke]# unzip luke.zip - j2sdk ではエラーになったので jdk をインストール、環境変数の設定を行い再挑戦で成功した [root@spirit luke]# ant Buildfile: build.xml clean: [delete] Deleting directory /root/Downloads/luke/build [delete] Deleting directory /root/Downloads/luke/dist init: [mkdir] Created dir: /root/Downloads/luke/build [mkdir] Created dir: /root/Downloads/luke/dist compile: [javac] Compiling 14 source files to /root/Downloads/luke/build [javac] /root/Downloads/luke/src/thinlet/Thinlet.java:2883: 警告:最終パラメータの不正確な引数型を持った可変引数メソッドの非可変引数呼び出し; [javac] 可変引数呼び出しに関しては java.lang.Class にキャストします。 [javac] 非可変引数呼び出しに関しては java.lang.Class[] にキャストしてこの警告を出さないようにします。 [javac] wheelrotation = e.getClass().getMethod("getWheelRotation", null); [javac] ^ [javac] /root/Downloads/luke/src/thinlet/Thinlet.java:2885: 警告:最終パラメータの不正確な引数型を持った可変引数メソッドの非可変引数呼び出し; [javac] 可変引数呼び出しに関しては java.lang.Object にキャストします。 [javac] 非可変引数呼び出しに関しては java.lang.Object[] にキャストしてこの警告を出さないようにします。 [javac] int rotation = ((Integer) wheelrotation.invoke(e, null)).intValue(); [javac] ^ [javac] /root/Downloads/luke/src/thinlet/Thinlet.java:2924: 警告:最終パラメータの不正確な引数型を持った可変引数メソッドの非可変引数呼び出し; [javac] 可変引数呼び出しに関しては java.lang.Class にキャストします。 [javac] 非可変引数呼び出しに関しては java.lang.Class[] にキャストしてこの警告を出さないようにします。 [javac] getClass().getMethod("transferFocusBackward", null).invoke(this, null); [javac] ^ [javac] /root/Downloads/luke/src/thinlet/Thinlet.java:2924: 警告:最終パラメータの不正確な引数型を持った可変引数メソッドの非可変引数呼び出し; [javac] 可変引数呼び出しに関しては java.lang.Object にキャストします。 [javac] 非可変引数呼び出しに関しては java.lang.Object[] にキャストしてこの警告を出さないようにします。 [javac] getClass().getMethod("transferFocusBackward", null).invoke(this, null); [javac] ^ [javac] 注:一部の入力ファイルは推奨されない API を使用またはオーバーライドしています。 [javac] 注:詳細については、-Xlint:deprecation オプションを指定して再コンパイルしてください。 [javac] 注:入力ファイルの操作のうち、未チェックまたは安全ではないものがあります。 [javac] 注:詳細については、-Xlint:unchecked オプションを指定して再コンパイルしてください。 [javac] 警告 4 個 jar: [copy] Copying 35 files to /root/Downloads/luke/build [jar] Building jar: /root/Downloads/luke/build/luke-0.6.jar [unjar] Expanding: /root/Downloads/luke/lib/lucene-1.9-rc1-dev.jar into /root/Downloads/luke/build [jar] Building jar: /root/Downloads/luke/build/lukemin-0.6.jar [unjar] Expanding: /root/Downloads/luke/lib/js.jar into /root/Downloads/luke/build [unjar] Expanding: /root/Downloads/luke/lib/analyzers-dev.jar into /root/Downloads/luke/build [unjar] Expanding: /root/Downloads/luke/lib/snowball-1.1-dev.jar into /root/Downloads/luke/build [jar] Building jar: /root/Downloads/luke/build/lukeall-0.6.jar dist: [copy] Copying 7 files to /root/Downloads/luke/dist [zip] Building zip: /root/Downloads/luke/dist/luke-src-0.6.zip [tar] Building tar: /root/Downloads/luke/dist/luke-src-0.6.tgz BUILD SUCCESSFUL Total time: 12 seconds [root@spirit luke]# ls -l 合計 364 -rw-r--r-- 1 root root 339634 1月 5 2005 analyzers-dev.jar drwxr-xr-x 8 root root 4096 6月 9 11:36 build -rw-r--r-- 1 root root 3630 2月 18 2005 build.xml drwxr-xr-x 2 root root 4096 6月 9 11:36 dist drwxr-xr-x 2 root root 4096 6月 11 2004 lib drwxr-xr-x 2 root root 4096 2月 7 2005 sandbox drwxr-xr-x 6 root root 4096 6月 11 2004 src -rw-r--r-- 1 root root 1570 2月 6 2005 test.js *** 傷害解析 [#l4304ed0] - ant BUILD FAIL = [root@spirit luke]# ant Buildfile: build.xml clean: [delete] Deleting directory /root/Downloads/luke/build [delete] Deleting directory /root/Downloads/luke/dist init: [mkdir] Created dir: /root/Downloads/luke/build [mkdir] Created dir: /root/Downloads/luke/dist compile: BUILD FAILED java.lang.UnsupportedClassVersionError: junit/framework/Test (Unsupported major.minor version 49.0) Total time: 2 seconds - java と javac のバージョンを確認 [root@spirit ~]# javac -J-version java version "1.4.2_12" Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2_12-b03) Java HotSpot(TM) Client VM (build 1.4.2_12-b03, mixed mode) [root@spirit ~]# java -version java version "1.4.2" gcj (GCC) 3.4.5 20051201 (Red Hat 3.4.5-2) Copyright (C) 2004 Free Software Foundation, Inc. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. --- - luke が BUILD できるようになった時のバージョン <- j2sdk を jdk に変更したあと [root@spirit lucene-2.0.0_src]# ant -version Apache Ant version 1.6.5 compiled on June 2 2005 [root@spirit lucene-2.0.0_src]# java -version java version "1.4.2" gcj (GCC) 3.4.5 20051201 (Red Hat 3.4.5-2) Copyright (C) 2004 Free Software Foundation, Inc. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. [root@spirit lucene-2.0.0_src]# javac -J-version java version "1.4.2_12" Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2_12-b03) Java HotSpot(TM) Client VM (build 1.4.2_12-b03, mixed mode) *** 参考 URL [#ca37c341] - [[Lucene 導入紹介 ”Luceneとは? ”:http://tidus.ultimania.org/wiki/index.php?Lucene]]
タイムスタンプを変更しない
#contents(); ** インストール [#qbb6c77a] *** perl は入っていた [#vf9228f8] [root@spirit ~]# perl -v This is perl, v5.8.5 built for i386-linux-thread-multi Copyright 1987-2004, Larry Wall *** subversion のインストール [#we691c30] [root@spirit ~]# yum install subversion (snip) (1/1): subversion-1.1.4-2 100% |=========================| 1.6 MB 00:00 Installed: subversion.i386 0:1.1.4-2.ent *** J2SE SDK のインストール [#e1be9841] - [[SUN SDK download:http://java.sun.com/j2se/1.4.2/download.html]] ----> ファイルは大きいので ftpmuna に Up しておく - 実行権を付与して、ダウンロードした bin を実行すると ライセンス合意画面が出るので 承認すると rpm が出来る [root@spirit Downloads]# chmod 755 j2sdk-1_4_2_12-linux-i586-rpm.bin [root@spirit Downloads]# ./j2sdk-1_4_2_12-linux-i586-rpm.bin [root@spirit Downloads]# ls -l j2* -rwxr-xr-x 1 root root 35184545 6月 5 18:08 j2sdk-1_4_2_12-linux-i586-rpm.bin -rw-r--r-- 1 root root 35513469 5月 10 05:57 j2sdk-1_4_2_12-linux-i586.rpm -- rpm のインストール [root@spirit Downloads]# rpm -ivh j2sdk-1_4_2_12-linux-i586.rpm Preparing... ########################################### [100%] 1:j2sdk ########################################### [100%] [root@spirit Downloads]# - /usr/java/j2sdk1.4.2_12/bin にパスを通す （再ログインで有効化） [root@spirit Downloads]# cat ~/.bash_profile # .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs # PATH=$PATH:$HOME/bin PATH=/usr/java/j2sdk1.4.2_12/bin:$PATH:$HOME/bin export PATH unset USERNAME - java sdk のインストールの確認 [root@spirit ~]# javac 使い方: javac <options> <source files> 使用可能なオプションには次のものがあります。 ( snip ) [root@spirit ~]# java -version java version "1.4.2_12" Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2_12-b03) Java HotSpot(TM) Client VM (build 1.4.2_12-b03, mixed mode) *** jdk のインストール [#q31cc906] &color(red){上記で j2sdk をインストールしたが、先に入っていた jre (=run time) との整合性でエラーが出て luke のビルドが出来なかったので、jdk に入れ直した}; [root@spirit Downloads]# chmod 744 jdk-1_5_0_07-linux-i586-rpm.bin [root@spirit Downloads]# ls -l jdk-1_5_0_07-linux-i586-rpm.bin -rwxr--r-- 1 root root 47255528 6月 9 11:30 jdk-1_5_0_07-linux-i586-rpm.bin [root@spirit Downloads]# ./jdk-1_5_0_07-linux-i586-rpm.bin Sun Microsystems, Inc. Binary Code License Agreement for the JAVA 2 PLATFORM STANDARD EDITION DEVELOPMENT KIT 5.0 ( snip ) [root@spirit Downloads]# ls -l jdk* -rwxr--r-- 1 root root 47255528 6月 9 11:30 jdk-1_5_0_07-linux-i586-rpm.bin -rw-r--r-- 1 root root 47580556 5月 3 20:00 jdk-1_5_0_07-linux-i586.rpm [root@spirit Downloads]# rpm -ivh jdk-1_5_0_07-linux-i586.rpm Preparing... ########################################### [100%] package jdk-1.5.0_07-fcs is already installed [root@spirit Downloads]# ls -l /usr/java/ 合計 24 drwxr-xr-x 8 root root 4096 6月 5 18:09 j2sdk1.4.2_12 drwxr-xr-x 9 root root 4096 6月 9 11:31 jdk1.5.0_07 drwxr-xr-x 7 root root 4096 12月 15 02:11 jre1.5.0_06 *** Java 関連の環境変数の設定 [#ne0840ad] [root@spirit Downloads]# tail /etc/profile # Muna add private environmental values #export JAVA_HOME=/usr/java/j2sdk1.4.2_12 #export JAVA_HOME=/usr/java/jre1.5.0_06/ export JAVA_HOME=/usr/java/jdk1.5.0_07 export ANT_HOME=/root/Downloads/apache-ant-1.6.5 export PATH=$PATH:$JAVA_HOME/bin:$ANT_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar [root@spirit Downloads]# source /etc/profile [root@spirit Downloads]# set ANT_HOME=/root/Downloads/apache-ant-1.6.5 JAVA_HOME=/usr/java/jdk1.5.0_07 PATH=/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/X11R6/bin:/usr/java/j2sdk1.4.2_12/bin:/root/Downloads/apache-ant-1.6.5/bin:/usr/java/jre1.5.0_06//bin:/root/Downloads/apache-ant-1.6.5/bin:/usr/java/jdk1.5.0_07//bin:/root/Downloads/apache-ant-1.6.5/bin:/usr/java/jdk1.5.0_07//bin:/root/Downloads/apache-ant-1.6.5/bin:/usr/ja::/usr/java/jdk1.5.0_07/bin:/root/Downloads/apache-ant-1.6.5/bin *** Ant のインストール [#k03efb85] - [[apache ant のサイト :http://ant.apache.org/bindownload.cgi]] から ant 1.6.5 をダウンロード → これも ftp_muna に置いておく [root@spirit Downloads]# tar zvxf apache-ant-1.6.5-bin.tar.gz - ホームディレクトリの .bash_profile に環境変数を設定してパスを通す（再ログインで有効化） - &color(red){オリジナル環境では AACRAID の管理アプリ用に JRE5 のランタイム環境へのパスが通っていた → 副作用が心配だが....}; [root@spirit ~]# cat ~/.bash_profile ( snip ) # User specific environment and startup programs JAVA_HOME=/usr/java/j2sdk1.4.2_12;export JAVA_HOME ANT_HOME=/root/Downloads/apache-ant-1.6.5;export ANT_HOME # PATH=$PATH:$HOME/bin #PATH=/usr/java/j2sdk1.4.2_12/bin:$PATH:$HOME/bin PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$PATH - ANT のインストールの確認 [root@spirit ~]# ant -version Apache Ant version 1.6.5 compiled on June 2 2005 *** JUnit のインストール [#dcf27169] - [[JUNIT のサイト :http://junit.org/index.htm]] から JUnit をダウンロード → これも ftp_muna に置いておく - アーカイブファイルを展開して junit.jar ファイルを ANT インストールディレクトリ下の lib ディレクトリにコピー [root@spirit Downloads]# unzip junit4.1.zip [root@spirit Downloads]# cp ./junit4.1/junit-4.1.jar ./apache-ant-1.6.5/lib/ [root@spirit Downloads]# ls -l ./apache-ant-1.6.5/lib/junit-4.1.jar -rw-r--r-- 1 root root 112249 6月 5 18:53 ./apache-ant-1.6.5/lib/junit-4.1.jar *** Sen (Java で実装された形態素解析器) のインストール [#wc20a9b5] - [[Sen のサイト :http://ultimania.org/sen/]] から sen 1.2.1 をダウンロード → これも ftp_muna に置いておく [root@spirit Downloads]# unzip sen-1.2.2.1.zip [root@spirit Downloads]# cd sen-1.2.2.1 [root@spirit sen-1.2.2.1]# ls -l 合計 36 drwxr-xr-x 2 root root 4096 3月 29 07:49 bin -rw-r--r-- 1 root root 4435 3月 29 07:49 build.xml drwxr-xr-x 2 root root 4096 3月 29 07:49 conf drwxr-xr-x 2 root root 4096 3月 29 07:49 demo drwxr-xr-x 2 root root 4096 3月 29 07:49 dic drwxr-xr-x 3 root root 4096 3月 29 07:49 docs drwxr-xr-x 2 root root 4096 3月 29 07:49 lib drwxr-xr-x 4 root root 4096 3月 29 07:49 src [root@spirit sen-1.2.2.1]# cd dic - 辞書の作成 （単純に ant を実行するだけ.... 簡単だが IPA の辞書データを構築していく） [root@spirit dic]# ant Buildfile: build.xml prepare-proxy: prepare-archive: prepare-dics0: prepare-dics: download: [get] Getting: http://chasen.aist-nara.ac.jp/stable/ipadic/ipadic-2.6.0.tar.gz [get] To: /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar.gz melt: [gunzip] Expanding /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar.gz to /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar [untar] Expanding: /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar into /root/Downloads/sen-1.2.2.1/dic [delete] Deleting: /root/Downloads/sen-1.2.2.1/dic/ipadic-2.6.0.tar prepare: dics0: [exec] ipadic-2.6.0/Noun.others.dic ... [exec] ipadic-2.6.0/Auxil.dic ... [exec] ipadic-2.6.0/Conjunction.dic ... [exec] ipadic-2.6.0/Noun.org.dic ... [exec] ipadic-2.6.0/Noun.dic ... [exec] ipadic-2.6.0/Suffix.dic ... [exec] ipadic-2.6.0/Adverb.dic ... [exec] ipadic-2.6.0/Interjection.dic ... [exec] ipadic-2.6.0/Noun.place.dic ... [exec] ipadic-2.6.0/Filler.dic ... [exec] ipadic-2.6.0/Prefix.dic ... [exec] ipadic-2.6.0/Adj.dic ... [exec] ipadic-2.6.0/Verb.dic ... [exec] ipadic-2.6.0/Postp.dic ... [exec] ipadic-2.6.0/Noun.proper.dic ... [exec] ipadic-2.6.0/Noun.adverbal.dic ... [exec] ipadic-2.6.0/Noun.number.dic ... [exec] ipadic-2.6.0/Others.dic ... [exec] ipadic-2.6.0/Noun.demonst.dic ... [exec] ipadic-2.6.0/Symbol.dic ... [exec] ipadic-2.6.0/Noun.adjv.dic ... [exec] ipadic-2.6.0/Noun.name.dic ... [exec] ipadic-2.6.0/Postp-col.dic ... [exec] ipadic-2.6.0/Noun.verbal.dic ... [exec] ipadic-2.6.0/Noun.nai.dic ... [exec] ipadic-2.6.0/Adnominal.dic ... create: [java] [INFO] MkSenDic - (1/7): reading connection matrix ... [java] [INFO] MkSenDic - connection file = connect.csv [java] [INFO] MkSenDic - charset = EUC_JP [java] [INFO] MkSenDic - (2/7): building type dictionary ... [java] [INFO] MkSenDic - (3/7): writing conection matrix (5 x 1281 x 701 = 4489905) ... [java] [INFO] MkSenDic - (4/7): reading morpheme information ... [java] [INFO] MkSenDic - load dic: dic.csv [java] [INFO] MkSenDic - 50000... [java] [INFO] MkSenDic - 100000... [java] [INFO] MkSenDic - 150000... [java] [INFO] MkSenDic - 200000... [java] [INFO] MkSenDic - 250000... [java] [INFO] MkSenDic - 300000... [java] [INFO] MkSenDic - 350000... [java] [INFO] MkSenDic - (5/7): sorting lex... [java] [INFO] MkSenDic - (6/7): writing token... [java] [INFO] MkSenDic - key size = 378227 [java] [INFO] MkSenDic - (7/7): building Double-Array (size = 325254) ... [java] [INFO] DoubleArrayTrie - save time = 0.24[s] [java] [INFO] MkSenDic - total time = 62[ms] BUILD SUCCESSFUL Total time: 1 minute 29 seconds [root@spirit dic]# *** Lucene-ja のインストール [#r325ff44] - [[Sen をダウンロードしたサイト :http://ultimania.org/sen/]] から Lucene-ja 1.4.3 をダウンロード → これも ftp_muna に置いておく [root@spirit Downloads]# unzip lucene-ja-1.4.3sen1.2-2.zip [root@spirit Downloads]# ls -l lucene-ja 合計 72 -rw-r--r-- 1 root root 11358 12月 29 2004 LICENSE.txt drwxr-xr-x 2 root root 4096 2月 8 2005 bin drwxr-xr-x 2 root root 4096 12月 29 2004 docs-ja drwxr-xr-x 2 root root 4096 12月 29 2004 lib -rw-r--r-- 1 root root 39503 12月 29 2004 lucene-ja-src.jar -rw-r--r-- 1 root root 737 12月 29 2004 readme.txt drwxr-xr-x 3 root root 4096 12月 29 2004 webapp *** 最新版の lucene （コア） を導入 [#r1167fdf] - [[lucene の本家サイト :http://www.meisei-u.ac.jp/mirror/apache/dist/lucene/java/]] から 最新版 (=2.0.0） をダウンロード → これも ftp_muna に置いておく [root@spirit Downloads]# cp /opt/ftp/ftp_muna/lucene-2.0.0.tar.gz . [root@spirit Downloads]# tar xvzf lucene-2.0.0.tar.gz //*** Lucene の更新 [#rdf9747f] // //[root@spirit Downloads]# svn checkout //http://svn.apache.org/repos/asf/lucene/java/trunk // A trunk/NOTICE.txt // A trunk/LICENSE.txt // A trunk/contrib // A trunk/contrib/surround // A trunk/contrib/surround/surround.txt // ( snip-snip- snip ) // リビジョン 411728 をチェックアウトしました。 // // [root@spirit Downloads]# cd trunk/ // [root@spirit trunk]# ant *** Luke (Lucene Index Toolbox) のインストール [#g7ec8d93] - [[Luke のサイト :http://www.getopt.org/luke/]]から luke.zip をダウンロード → これも ftp_muna においておく [root@spirit Downloads]# mkdir luke <----- カレントに展開される ZIP なので [root@spirit Downloads]# cd luke [root@spirit luke]# unzip luke.zip - j2sdk ではエラーになったので jdk をインストール、環境変数の設定を行い再挑戦で成功した [root@spirit luke]# ant Buildfile: build.xml clean: [delete] Deleting directory /root/Downloads/luke/build [delete] Deleting directory /root/Downloads/luke/dist init: [mkdir] Created dir: /root/Downloads/luke/build [mkdir] Created dir: /root/Downloads/luke/dist compile: [javac] Compiling 14 source files to /root/Downloads/luke/build [javac] /root/Downloads/luke/src/thinlet/Thinlet.java:2883: 警告:最終パラメータの不正確な引数型を持った可変引数メソッドの非可変引数呼び出し; [javac] 可変引数呼び出しに関しては java.lang.Class にキャストします。 [javac] 非可変引数呼び出しに関しては java.lang.Class[] にキャストしてこの警告を出さないようにします。 [javac] wheelrotation = e.getClass().getMethod("getWheelRotation", null); [javac] ^ [javac] /root/Downloads/luke/src/thinlet/Thinlet.java:2885: 警告:最終パラメータの不正確な引数型を持った可変引数メソッドの非可変引数呼び出し; [javac] 可変引数呼び出しに関しては java.lang.Object にキャストします。 [javac] 非可変引数呼び出しに関しては java.lang.Object[] にキャストしてこの警告を出さないようにします。 [javac] int rotation = ((Integer) wheelrotation.invoke(e, null)).intValue(); [javac] ^ [javac] /root/Downloads/luke/src/thinlet/Thinlet.java:2924: 警告:最終パラメータの不正確な引数型を持った可変引数メソッドの非可変引数呼び出し; [javac] 可変引数呼び出しに関しては java.lang.Class にキャストします。 [javac] 非可変引数呼び出しに関しては java.lang.Class[] にキャストしてこの警告を出さないようにします。 [javac] getClass().getMethod("transferFocusBackward", null).invoke(this, null); [javac] ^ [javac] /root/Downloads/luke/src/thinlet/Thinlet.java:2924: 警告:最終パラメータの不正確な引数型を持った可変引数メソッドの非可変引数呼び出し; [javac] 可変引数呼び出しに関しては java.lang.Object にキャストします。 [javac] 非可変引数呼び出しに関しては java.lang.Object[] にキャストしてこの警告を出さないようにします。 [javac] getClass().getMethod("transferFocusBackward", null).invoke(this, null); [javac] ^ [javac] 注:一部の入力ファイルは推奨されない API を使用またはオーバーライドしています。 [javac] 注:詳細については、-Xlint:deprecation オプションを指定して再コンパイルしてください。 [javac] 注:入力ファイルの操作のうち、未チェックまたは安全ではないものがあります。 [javac] 注:詳細については、-Xlint:unchecked オプションを指定して再コンパイルしてください。 [javac] 警告 4 個 jar: [copy] Copying 35 files to /root/Downloads/luke/build [jar] Building jar: /root/Downloads/luke/build/luke-0.6.jar [unjar] Expanding: /root/Downloads/luke/lib/lucene-1.9-rc1-dev.jar into /root/Downloads/luke/build [jar] Building jar: /root/Downloads/luke/build/lukemin-0.6.jar [unjar] Expanding: /root/Downloads/luke/lib/js.jar into /root/Downloads/luke/build [unjar] Expanding: /root/Downloads/luke/lib/analyzers-dev.jar into /root/Downloads/luke/build [unjar] Expanding: /root/Downloads/luke/lib/snowball-1.1-dev.jar into /root/Downloads/luke/build [jar] Building jar: /root/Downloads/luke/build/lukeall-0.6.jar dist: [copy] Copying 7 files to /root/Downloads/luke/dist [zip] Building zip: /root/Downloads/luke/dist/luke-src-0.6.zip [tar] Building tar: /root/Downloads/luke/dist/luke-src-0.6.tgz BUILD SUCCESSFUL Total time: 12 seconds [root@spirit luke]# ls -l 合計 364 -rw-r--r-- 1 root root 339634 1月 5 2005 analyzers-dev.jar drwxr-xr-x 8 root root 4096 6月 9 11:36 build -rw-r--r-- 1 root root 3630 2月 18 2005 build.xml drwxr-xr-x 2 root root 4096 6月 9 11:36 dist drwxr-xr-x 2 root root 4096 6月 11 2004 lib drwxr-xr-x 2 root root 4096 2月 7 2005 sandbox drwxr-xr-x 6 root root 4096 6月 11 2004 src -rw-r--r-- 1 root root 1570 2月 6 2005 test.js *** 傷害解析 [#l4304ed0] - ant BUILD FAIL = [root@spirit luke]# ant Buildfile: build.xml clean: [delete] Deleting directory /root/Downloads/luke/build [delete] Deleting directory /root/Downloads/luke/dist init: [mkdir] Created dir: /root/Downloads/luke/build [mkdir] Created dir: /root/Downloads/luke/dist compile: BUILD FAILED java.lang.UnsupportedClassVersionError: junit/framework/Test (Unsupported major.minor version 49.0) Total time: 2 seconds - java と javac のバージョンを確認 [root@spirit ~]# javac -J-version java version "1.4.2_12" Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2_12-b03) Java HotSpot(TM) Client VM (build 1.4.2_12-b03, mixed mode) [root@spirit ~]# java -version java version "1.4.2" gcj (GCC) 3.4.5 20051201 (Red Hat 3.4.5-2) Copyright (C) 2004 Free Software Foundation, Inc. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. --- - luke が BUILD できるようになった時のバージョン <- j2sdk を jdk に変更したあと [root@spirit lucene-2.0.0_src]# ant -version Apache Ant version 1.6.5 compiled on June 2 2005 [root@spirit lucene-2.0.0_src]# java -version java version "1.4.2" gcj (GCC) 3.4.5 20051201 (Red Hat 3.4.5-2) Copyright (C) 2004 Free Software Foundation, Inc. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. [root@spirit lucene-2.0.0_src]# javac -J-version java version "1.4.2_12" Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2_12-b03) Java HotSpot(TM) Client VM (build 1.4.2_12-b03, mixed mode) *** 参考 URL [#ca37c341] - [[Lucene 導入紹介 ”Luceneとは? ”:http://tidus.ultimania.org/wiki/index.php?Lucene]]
テキスト整形のルールを表示する
![[PukiWiki]](image/taikyoku.gif "[PukiWiki]")
