イントラネット内全文検索サーバの構築

目次

1. はじめに

2. 全文検索サーバの構成

3. ページ収集部の実装

3.1. 動作原理

3.2. 動作アルゴリズム

3.3. リンクをたどる順番の決定

4. インストール

4.1. libwww-perl5のインストール

4.1.1. portsによるp5-libwwwのインストール

4.1.2. HTML-Treeのインストール

4.2. PostgreSQLのインストール

4.2.1. PostgreSQLの管理者ユーザの作成

4.2.2. gmake のインストール確認

4.2.3. flex のバージョン確認

4.2.4. postgresqlのmake

4.2.5. postgresqlのinstall

4.2.6. postgresqlの初期設定

4.2.7. postgresqlの確認

4.2.8. postgresqlの確認後の後始末

4.2.9. ブート後の自動起動の設定

4.3. Freyaのインストール

4.4. webロボットのインストール

5. 全文検索サーバの運用

5.1. webロボットを動作のための準備

5.1.1. postgresユーザの作成

5.1.2. postgresユーザ用のデータベース作成

5.1.3. webロボット用のテーブル作成

5.1.4. configの編集

5.1.4.1. $timeout

5.1.4.2. $delay

5.1.4.3. $email_adr

5.1.4.4. @start_urls

5.1.4.5. $count

5.1.4.6. @fetch_allow

5.1.4.7. @save_allow

5.1.4.8. %tran_pat

5.2. ページの収集

5.2.1. robot.plの編集

5.2.1.1. $verbose

5.2.2. robot.plの実行

5.3. インデックスの作成

5.3.1. index.plの編集

5.3.1.1. $splitline

5.3.1.2. $base

5.3.2. index.plの実行

6. ユーザインタフェース

6.1. httpサーバのカスタマイズ

6.2. CGIファイルのコピー

6.3. インデックスファイルのリンク

6.4. フォームの作成

7. 運用事例

7.1. crontabの内容

7.2. ファイル