UNIX / X680x0 Human68k バイナリテキスト変換 ish/uuencode 対応 aish v1.13 1995/02/23 小笠原博之バイナリとテキストのコンバートプログラムです。ish マルチボリュームエンコードが可能になりました。これですべての ish フォーマット、および uuencode されたファイルの相互変換ができます。変換対象範囲に含まれない行を標準出力に書き出すことができるため、デコードと同時に行える ish カッターとしても使用可能です。オリジナル ish とフォーマットが完全互換でありながら、デコード時に UNIX や Human68k の長いファイル名、複数ピリオドが含まれるファイル名を、できるだけ自動復元する機能を持っています。 ●使い方 -- デコード(テキスト→バイナリ) aish [<スイッチ>] [<ファイル名> ..] ish や uuencode で変換されたテキストファイルからバイナリファイルを取り出します。データ以外のテキストが含まれていても勝手に判別するので、BBS の log ファイル等をそのまま与えれば勝手にバイナリファイルを取り出します。1つのテキストに複数の ish や uuencode が混在していても構いません。ファイル名は一度に複数記述することができます。(ただし１つのデータが複数ファイルに分割されてる時は注意が必要 → 後述) <表示> ish展開時の表示 : filename(filesize) デコード経過表示 .. multi-vol ish展開時 : filename(filesize/volume) デコード経過表示 .. uuencode展開時 : filename デコード経過表示 (filesize) <使用例> ・ログファイルからバイナリファイルを取り出す aish dn930704.log ・バイナリ取り出しと同時に ish/uuencode 以外の部分を他のファイルに残す aish -p dn940428.log >> den9404.log 注意: バイナリファイルを取り出す時、そのファイルがすでに存在していても無条件で重ね書きします！ <スイッチ> -p データ範囲以外の部分を標準出力に出力します。リダイレクトしてファイルに落とせば ish カッターになります。ただし、途中で変換エラーが起こって復元不可能になった場合はファイルの最後まで出力されない可能性があります。また機能上の問題から ish ヘッダの 1 行だけは必ず標準出力にも出力されてしまいます。(あとから aish -l で確認できるという利点はある) -A 長いファイル名の自動復元機能を使用せず、常に ish フォーマット情報通りのファイル名で出力します。 -U uuencode のヘッダ判定を行いません。判定はできる限り厳密に行っていますが、もし begin で始まる他の行と混乱を起こすようであればこのスイッチを使用して下さい。 -f すでに同名の展開ファイルが存在していた場合、別ファイル名にして取り出します。ファイル名の最後に拡張子 .00 .99 をつけます。 -a -f オプション使用時、ファイル名の最後に .XX を追加します。UNIX 版ではこのスイッチがデフォルトです。 -d -f オプション使用時、ファイル名の拡張子を .XX に置換します。 Human68k 版ではこのスイッチがデフォルトです。 -h -f オプション使用時、ファイル名の最後にではなく先頭に XX をつけて区別します。元の拡張子を保存したい場合に使えます。 -o ishヘッダにあるファイル名を無視してむりやり出力ファイル名を与えます(展開中の表示は本来のファイル名になることに注意)。ただし一度にファイル展開が複数行われても、全部ここで指定したファイルに上書きしてしまうので注意して下さい。-x スイッチと併用するといいでしょう。またマルチボリュームフォーマット展開時には指定できません。このスイッチをうまく利用すると、 aish -o - smpl.ish | gzip -dc | tar -xvf - などという使い方ができます。この場合 UNIX なら中間ファイルを作ることなく一気にアーカイブ展開まですることができます。また ish に変換したあとちゃんとデコードできるかどうか確認するために、UNIX 版では aish -o /dev/null smpl.ish といった使い方もできるでしょう。 -x 指定ファイルだけを取り出します。与えたテキストに複数のバイナリファイルが含まれていても、このスイッチを使えば任意のファイルだけを取り出すことができます。例えば bbslog.log 中から smpl.lzh だけ取り出したければ、 aish -x smpl.lzh bbslog.log とします。アプリケーションに組み込んで、予め aish -l でリスト表示させてから任意ファイルだけ取り出すといったこともできるでしょう。(注意:ここでのファイル名比較は大文字小文字を区別しています) -m テキストから MIME エンコード部分を展開して取り出します。それ以外の行は標準出力へ。 -- ファイル名自動復元について -- ish はもともと MS-DOS 上で作られたため、ヘッダに含まれるファイル名情報は 8 文字 + 拡張子 3 文字分のスペースしかありません。長い名前のファイルを ish 変換すると、展開した時名前が途中で切れてしまいます。そこでこの aish は、コメント行にはちゃんと元のファイル名が残っていることを利用して、Human68k や UNIX の長いファイル名や拡張子の複数ついたファイル名を自動復元します。ish のコメント行とは、ヘッダ直前にある "<<< filename ... >>>" という部分です。これは人間が見るために設けられているもので、通常 ish デコーダーはこれを読み飛ばします。もちろん、長いファイル名が使えるといっても見ているのはコメント行だけなので、ヘッダを拡張することもなく ish フォーマット上は完全互換が保たれています。 -- マルチボリュームフォーマットの ish 展開について -- マルチボリュームフォーマットの ish ファイル展開が可能です。分割されている各パートのテキストをそのまま与えて下さい。全部のパートの展開が終わると正常なファイルが出来上がります。展開の順番は任意で、各パートがバラバラになっていても構いません。途中で別のファイルを展開することもできます。ただし、中間ファイルは作らずいきなり出力ファイルにオーバーライトしますので、全部のパートが揃うまでの間不完全な出力ファイルが存在することになります。一応パート展開毎に出力ファイルの TOTAL-CRC チェックを行い、展開終わったかどうかの判定を行います。残念ながらまだ簡易展開の域を脱していませんので、判定も確実とはいえず、どのパートが届いてないのか調べる機能がありません。 -- 与えるファイルが分割されている場合 -- fj.sys.x68000 への投稿記事など、１つのファイルテキストが分割されている場合は、コマンドラインからそれぞれ個別に与えても展開することができません。(マルチボリューム ish を除く) この場合、順番に注意して１つのファイルに繋げてから渡すか、 cat file1 file2 | aish - 等のように標準入力を利用して下さい。なお uuencode の場合でも、ish と同じようにデータ行とそれ以外の行を可能な限り区別しますので、unix の uudecode コマンドのように、繋げたファイルの間の不要部分を取り除く必要はありません。 ●使い方 -- エンコード(バイナリ→テキスト) aish -<変換モード> [<スイッチ>] <ファイル名> .. aishmv -<変換モード> [<スイッチ>] <ファイル名> .. ファイルを ish テキストに変換します。必ずコマンド行の最初に変換モードを指定しなければなりません。一度に変換するファイルを複数書けます。出力ファイルは拡張子が .ish もしくは .uue とになります。マルチボリューム形式として分割変換する場合は aishmv を使います。この時拡張子は .iXX となり、XX には変換時のパート番号が入ります。 <変換モード> -s ish shift-jis フォーマットに変換します -7 ish jis 7bit フォーマットに変換します -8 ish jis 8bit フォーマットに変換します -n ish non-kana shift-jis フォーマットに変換します -u UNIX の uuencode に変換します(拡張子は .uue) <使用例> ・ ish shift-jis で denadv11.lzh をエンコードする aish -s denadv11.lzh ・ ish shift-jis のエンコードで、タイトル行は 50行おきにする aish -st50 denadv11.lzh ・kodenadv3.lzh をおよそ 200 行ごとに分割変換する(マルチボリューム) aishmv -sm200 kodenadv3.lzh 注意: 出力ファイルがすでに存在している場合でも無条件で重ね書きします！ <スイッチ> -i ish エンコード時にチェックサム行と余分なヘッダ行を出力しません。エラー訂正が不要だとわかっている通信においてほんのわずかに送信データ量を減らすことができます。フォーマット上の互換性は取れているので、他の ish デコーダでも復元できます。(注意:エラー訂正はできませんが CRCによるエラー判定は行なわれます) -a 出力ファイル名は、元ファイルの最後の拡張子を置換したものではなく、元ファイル名の最後に .ish/.uue を追加したものにします。つまり「aish -sa aish098.lzh」とした場合、出力ファイル名は "aish098.ish" ではなく "aish098.lzh.ish" になります。 ~~~ ~~~~~~~ Human68k で TwentyOne.x でたくさんピリオド状態にしている時に使用すると、ファイル名が混乱せずに便利です。UNIX 版ではこのスイッチがデフォルトです。 -d 出力ファイル名は、元ファイルの最後の拡張子を置き換えたものにします。つまり、-a スイッチと逆の指定をします。Human68k 版はこちらがデフォルトです。UNIX 版で MS-DOS と同じ出力ファイル名にしたい場合に使って下さい。 -t ish エンコード時にファイルの途中に挿入するタイトル行の間隔を指定します。デフォルトで 200行です。もし 50行おきにしたいなら -t50 として下さい。-t0 の時は途中のタイトル行を全く挿入しません。 uuencode(-u)時は、変換する1行の長さ指定になります。(def.45) -O ish ヘッダに含まれる OSコードを指定します。デフォルトは -O0 です。コードについてはリスト機能のところで説明します。 -m マルチボリューム形式で ish 変換する場合に、それぞれのパートを何行ずつ出力するかを指定します。デフォルトは -m500 で、500行ごとに分割を行います。この行指定は、1～2行の誤差が出る場合があります。このスイッチは aishmv でのみ有効です。 -o 出力ファイル名を指定します。この指定は、その後のファイル名すべてにおいて有効になります。よってエンコードファイル名を複数同時に指定する時は、次のように１つ１つ出力ファイル名を指定して下さい。 aish -so ano1.ish sono1.lzh -o ano2.ish sono2.lzh ↑ ｜ ↑ ｜ └───┘ └───┘ この場合 sono1.lzh は ano1.ish に、sono2.lzh は ano2.ish に出力されます。つまり直前の -o スイッチが有効になるわけで、もし -o ano2.ish がなければ、sono2.lzh の出力も ano1.ish に重ね書きしてしまうことになります。アペンドはしません。もし変換結果を１つのファイルに出力したい時は、 aish -so - sono1.lzh sono2.lzh > sono.ish として下さい。マルチボリュームエンコードの時は、複数のファイルに出力する必要性から必ず拡張子が設定されます。 aishmv -so dono1 sono2.lzh この場合、分割数に応じて dono1.i01 ～ dono1.i?? というファイルに格納されます。なおマルチボリュームエンコードでありながら１つのファイルに格納したい場合は、やはり次のように実行することができます。 aishmv -so - sono2.lzh > dono.ish -T マルチボリュームエンコードを行う時のテンポラリパスとファイル名を指定します。このスイッチは aishmv でのみ使用します。このスイッチがなければ Human では $TEMP/aiSmvTmp.tmp 、UNIX ではカレントに作成します。 -x 展開時のファイル名(つまりヘッダに格納するファイル名)を与えます。このスイッチがない場合は、入力ファイル名のパスを取り除いたものが使われます。 aish -sx file.lzh dummy.tmp この場合 dummy.tmp から読み込み dummy.ish へ格納しますが、ヘッダには file.lzh という名前で書き込みます。展開時には file.lzh になります。uuencode 変換時に標準入力から読み込んだ場合、このスイッチがなければ AishEnc という名前になります。 -c uuencode 変換時、拡張フォーマットとして行チェックサムを出力します。バイトデータ上の 6bit チェックサムです。 -- マルチボリュームフォーマットの ish 変換について -- ish に変換する場合、マルチボリュームフォーマットとして複数のファイルに分割することができます。この形式で分割しておくと、展開する時に順番を気にする必要もなく、また１つのファイルに繋げる必要もありません。マルチボリューム形式で分割変換するには aishmv コマンドを使いますが、実際の変換は aish が行っています。展開する時はそのまま aish で実行できます。分割するときの大きさは -m スイッチで調整できます。分割数は最大 250 までです。 ●使い方 -- リスト (ヘッダのみデコードして情報だけ表示する) aish -l [<スイッチ>] <ファイル名> .. テキストファイルに含まれている ish や uuencode のヘッダを探し、その行位置と含まれているファイルの情報を表示します。ファイル自体のデコードや判定は行いません。表示は ish の場合展開するファイル名、そのバイト数とボリューム番号、タイムスタンプ、変換モード、OSコード、そのヘッダの含まれる行番号です。uuencode の場合はファイル名とその行番号のみ表示します。 <表示> ishの場合表示 : filename (filesize) date time mode os line multi-vol ish : filename (filesize/volume) date time mode os line uuencode : filename line <表示例> aish.lzh (14108) 94/01/11 1:17:18 sjis os:0 line:2 <スイッチ> -A ファイル名の自動復元を使わないで表示します。 -U uuencode 行は出力しません。通常１つの ish テキストにつきヘッダが３行付くため、このリスト表示でもファイル毎に同じ情報が３つ出力されます。なぜヘッダが３行あるのかは、おまけ、の「ish予備知識」を参照して下さい。 <表示情報について> os: OS コードです。以下のような分類が行われています。 0 MS-DOS,Human68k 16 CP/M, MSX-DOS 32 OS-9 48 UNIX 64 Macintosh 254 other OS 255 all OS aish は OS コードによって特に区別を行うようなことはしません。エンコード時に OS コードを設定するには -O スイッチを使います。 ●互換スイッチ他の ish コマンドに慣れた方のための互換スイッチです。通常は特に使う必要はありません。 -r デコードモードの指定 -ss SJISエンコードモード (-s と同じ) -s7 JIS7エンコードモード (-7 と同じ) -s8 JIS8エンコードモード (-8 と同じ) -sn non-kana SJISエンコードモード (-n と同じ) ●オプションスイッチについてオプションスイッチは X68K 版でも大文字小文字を区別します。スイッチ記号に '/' は使えません。'/' はパスの区切りとみなします。スイッチは「-s -a -i」と分けて書いても「-sai」と一緒に書いてもかまいません。引数を取るスイッチの場合引数とオプションの間にスペースがあってもなくてもかまいません。つまり「-t50」も「-t 50」も同じです。オプションの順番は任意ですが、変換するファイル名より先に指定しないと有効になりません。 ●標準入出力 aish は、フィルタとしても使えるよう標準入出力を用いることができるようになっています。標準入出力を指定する場合は、ファイル名の代わりに "-" という名前を与えます。以下、いくつかの例で説明します。・デコード時の入力ファイルに使用する cat logfile | aish - これはほとんど意味が無い例ですが、パイプで受け取った入力をそのままデコードします。・デコード時の出力ファイルに使用する aish -o - logfile | tar -cvf - この例では、デコードした結果の出力バイナリをそのまま tar に渡しています。・エンコード時の出力ファイルに使用する aish -so - aish102.lzh > aish.ish ish sjis に変換した出力のテキストを、リダイレクトして aish.ish に与えています。(これもあまり意味の無い例です) aish -uo - imagemail3.lzh | mail oga これは imagemail3.lzh を uuencode に変換して、そのままメールに出しています。・エンコード時の入力ファイルに使用する gzip -c zau110.tar | aish -uo zau.uue -x zau110.tar.gz - gzip で zau110.tar を圧縮すると同時に uuencode に変換しています。また展開する時の名前として zau110.tar.gz を与えています。なお、このようにエンコード時のバイナリを標準入力から与えることができるのは uuencode に変換するときだけです。ish に変換する時は標準入力を使うことはできません。よって aishmv でも標準入力を使用することはできません。 ● UNIX 版の 8bit ファイル名変更機能について MS-DOS/Human68k から UNIX にファイルを持ってきた場合など、展開する時にファイル名中に漢字が含まれていて困ることがあります。そこでこの aish は、出力ファイル名に 8bit キャラクタが含まれている場合、勝手に aish_8bit_name.XXX という名前に置き換えます。XXX の部分は適当な数値3桁です。もし -o スイッチによってコマンドラインから出力ファイル名を指定してある場合は、-o の方が優先されます。このようなファイル名変換機能が不要な場合は、config.h の CKNAME を 0 にしてから再コンパイルして下さい。 ● uuencode について v1.05 から、行チェックサム情報のついた uuencode の拡張形式も使用できるようになりました。チェックサムは 6bit で、計算方法にはデータ上で行うものと文字上で行うものとの２種類あります。どちらの形式でも展開することができます。エンコード時は -c スイッチをつけると、拡張フォーマットとして出力にチェックサム情報も付加されます。この場合はデータ上で計算したチェックサムになります。これは fj.binaries.x68000 で使われているものと同じ形式です。 ●欠点展開で訂正不能なエラーが発生した場合、それに続く ish や uuencode ファイルが認識されない場合があります。どんな ish ファイルが含まれているかは aish -l で確認できるので、もしそうなった場合は -x オプションを使って１つ１つ取り出すかファイルを分割してから使用して下さい。また同様に展開でエラーが発生した場合の出力ファイルは、不完全であってもそのまま残します。(実はこれを利用して、旧バージョンの aish でもマルチボリュームフォーマットの手動展開が可能でした) タイムスタンプの時差形式には対応していません。タイトル行での行数表示をたまに数え間違えることがあります。（動作上まったく問題はありません） ● Human68k 版での動作速度動作速度は ish.x よりは確実に速く、条件にもよりますが mic.x よりはわずかに遅くなります。( sjis エンコードではほとんど差がない) バージョンが古い段階での比較データのままで恐縮ですが、以下のようになっています。デコード速度比較例 (RAMDISK上, 10MHz, 506641byteのファイルで約半分がsjis ish,エラーなしの時) mic.x v1.08 : 16.6 (sec.) aish.x v0.92 : 17.1 (sec.) ish.x v1.21 : 32.7 (sec.) ish.x v1.111 : 35.6 (sec.) ish.x UNIXv2.01ベタ移植: 58.9 (sec.) ● Human68k 版の実行ファイルについてこのプログラムは gcc + has + hlk でコンパイルされ gnulib.a をリンクしています。著作権はそれぞれのプログラムコードの作者が保持しています。動作は無保証です。いかなるトラブルにおいても作者は一切責任取りません。プログラムの配布や利用は自由です。転載時にも作者へ連絡して許可を取る必要はありません。アーカイブ形式も必要なら変更しても構いません。ドキュメントファイルの改変は堅く禁じます。なお開発は、X680x0(Human v3)上で行いました。 ●配布について Human68k 版のバイナリと UNIX 版のソースは別アーカイブとして配布しています。バージョン名の後ろに 'x' がつくのが Human 用バイナリアーカイブで、'u' がついているのは UNIX 用ソースアーカイブです。UNIX 版のソースも Human68k で ALL-C バージョンとして再コンパイルできます。また Ko-Window のリアルタイム ish エンコーダ koishenc.win も別アーカイブで配布しています。 ●変更点 * は未公開版 0.92 93/06/12 koishenc1.0/1.1版 0.95 93/07/05 初期公開バージョン 0.96 93/07/22* スイッチ形式の変更,koishenc1.2版 0.97 94/01/11 dec時file-write-err check追加,ext無しfileのenc時にゴミが付加するバグ修正,list表示機能追加,標準入出力file名'-'対応 0.98 94/01/13* UNIXへ移植開始初期版 0.98p 94/01/14 ALLC版作成,-d追加,Mvol展開対応,UNIX対応テスト版として公開 0.98r 94/01/17 デコード時も -o スイッチを有効にした 0.98t 94/01/17 マルチボリューム展開時に終了判定を行うようにした(これで安心) 0.98u 94/01/23* シェルスクリプト ishcat のデバッグ 0.98v 94/03/02 任意ファイルだけの展開(-x スイッチ),UNIX対応テスト版終了 0.99 94/03/02 enc time-stampを間違えるエンバグ修正,ドキュメント修正(おまけ追加),UNIX版でuuenc対応,1.0公開へ向けてアンケート付き 1.00 94/03/04* OScode指定,UNIX版file情報復元,後回しルーチンを全て追加し一応仕様上の完成 1.01 94/03/04* オプションスイッチの指定方法拡張,-iでヘッダも削減 1.02 94/03/06* -U 追加,enc 時の -x,enc時も標準入力を使えるよう修正 1.03 94/03/10* UNIX版の8bit ファイル名置換,SysV系対応 1.04 94/03/12* timezone 判定ミスを修正 1.05 94/03/14* ish-mvol enc,uuenc-chksum,Total-CRC/32 対応(Multi-volume 時) 1.06 94/03/16 aishmv で複数ファイル指定可能に変更,スイッチ判定の修正,他 1.07 94/03/26 aishmv 分割行数計算を厳密に,エラー判定ミス修正,-x ishenc対応 1.08 94/03/29 コントロールコードを無視するように変更,-l の mode 表示修正, 内部コードの修正 1.09 94/??/??* ishのタイトル行に表示する行数表示を間違えないようにした 1.10 94/10/16 デコード時 -f,h opt追加,uudecode改良,aishmvのexec失敗を直した 1.11 95/01/26 uuencodeデコードを拡張した 1.12 95/02/20 TooManyErr時crc初期値が戻らないバグ修正 1.13 98/03/19 -m オプション時の Base64 展開を改良 ●参考文献 1)「ish fileのformatの説明と誤り訂正・検出方式について」, M.Ishizuka, ishform2 2) UNIX 版 ish コマンド (UNIX v1.00 , UNIX v2.01) ●連絡先小笠原博之 (COR.) oga@art.udn.ne.jp (旧: oga@dgw.yz.yamagata-u.ac.jp) ＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊【おまけ】『ish についての予備知識編』 -- これくらいは知っておこう・そもそも ish ってなに？ ish は、バイナリファイル(画像データやアーカイブされた .lzh など、直接 type して見ることのできないファイル) を効率よくテキストファイルに変換する目的で石塚匡哉氏によって考え出されたものです。例えば BBS のメールで何か画像ファイルを送ろうとした場合、バイナリメールがサポートされていないところでは何らかの形で、表示可能文字の集まりであるテキストファイルに変換しなければなりません。そのような場合に威力を発揮します。厳密なエラー判定や、ある程度のエラー訂正ができるのが特徴です。・ish の変換テキストについて簡単に教えて (1) <<< vvenc34.lzh 17553 byte (jis7) [265 lines] aish 1.00 >>> (2) !!3G!h9Q!5"XRop%aMInYT&Xp&Rc!("H!&+>st!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! ... (3) !!3G!h9Q!5"XRop%aMInYT&Xp&Rc!("H!&+>st!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! ... (4) !!3G!h9Q!5"XRop%aMInYT&Xp&Rc!("H!&+>st!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! ... (5) "&UGE:BbBl*=!!_O!-!!j;*/9XP%]Ua"k|H'2:ofV6!!P4Tec*5wswJPfvF|