4.4. webロボットのインストール

このwebロボットの特徴は以下の通り

• 収集状況をDBに保存するので、そのまま実行する事で前回の収集の続きを行なえる。
• ホスト名のIPアドレスの一致を見て、既に収集したページと重複している場合は収集しない。
• proxy非対応。
• 並行処理非対応。
• If-Modified-Date非対応。

ユーザsearchを作り、全文検索サーバの作業はこのユーザで行なうことにする。

ユーザホームディレクトリを ~search とする。

~search/.cshrcと~search/.loginにpostgres用の環境をpostgresと同じように設定する。

% su - search
% cp ~postgres/.cshrc ~/
% cp ~postgres/.login ~/

作業ディレクトリを ~search/work とする。以下のファイルを~search/workに置く。

• config
• robot.pl
• index.pl
• createtable.sql