UNIQUE テキストファイルの重複を取り除く

書法

UNIQUE [ filename ]* [options]*

SHELLMODE

@記述、!記述、^記述

詳細

テキストファイルの重複を取り除く。
通常は、ファイル名を複数書くと、それらを連結後に処理するが、 Qオプションで処理後に連結するようにも指定できる。 ファイル名を省略すると、標準入力を扱う。

入力ファイルは、文字列の昇順に整列していなければならない。 整列にはSSORT.EXEを用いると良い。

行出力の条件をオプションで指定できる。 内容が一致する行の集まりをグループとして、行の種類を行集合として解説する。

行集合

U:重複のない行

同一の行が全くないもの

P:重複のあるグループの代表行

同一の行が複数連続する場合の先頭行。

C:重複のあるグループの代表以外の行

同一の行が複数ある場合の、先頭以外の行

条件

行集合を先頭に記す。名称は前記参照。

全てのグループの代表行を出力(-F)

集合(U,P)
重複を取り除いた行。 全ての内容を網羅し、かつ、重複がない。

重複のグループの代表以外の行を出力(-D)

集合(C)
上の状態(-F)を作るために取り除かれるべき行。 -Fの補集合

重複のない行を出力(-U)

集合(U)
重複がない、つまり、完全にユニークな行

重複のあるグループの全ての行を出力(-E)

集合(P,C)
重複のある、つまり、ユニークでない行のすべて。-Uの補集合

重複のあるグループの代表行を出力(-V)

集合(P)

OPTION

-D
重複のグループの代表以外の行を出力。行集合(C)。
-E
重複のあるグループの全ての行を出力。行集合(P,C)。
-F
全てのグループの行を出力。行集合(U,P)。 デフォルト。
-G
各出力行の先頭に、ファイル名、行番号の2項目を付加する。
-Ofilename
出力を指定のファイルに切りかえる。
-Q
入力ファイル毎に個別に検査する。出力は順番に連結される.
-U
重複のない行を出力。行集合(U)。
-V
重複のあるグループの代表行を出力。行集合(P)。
-W 桁指定
行番号の桁指定を数値で行う。 先頭に0を付けて桁を指定すると、桁の不足分は0で補う。 そうでないときは、スペースで補う。
-X
行内容を出力しない。ファイル名と行番号を出力する。

用例

参考

バージョン

Ver 1.00初版