テキスト処理フィルタ

テキスト処理フィルタ

cat -n 各行左端番号付加表示
cat file1 file2 > file3 file1の行末にfile2を連結したfile3を生成
cat file1 > file3;cat file2 >> file3と同義

tac cat とは逆に最下行から順番に表示

nl テキストファイルの一部、またはすべてに行番号付加
[option]
-b 本文行番号付加
-h ヘッダー行番号付加
-f フッター行番号付加
[形式]
a 全ての行
t 空白以外の行
n 行番号付加中止

od 8進数、16進数で表示。デフォルトは8進数表示
[option]
-t 出力フォーマット指定
[出力タイプ]
c ASCII文字
o 8進数(デフォルト)
x 16進数

head ファイル先頭部分表示。デフォルトは10行表示。
[option]
-c 出力するバイト数指定
-<行数>,-n <行数> 先頭から指定された行数表示

tail ファイル最下行から表示。デフォルトは10行表示。
ログファイルの監視に便利。
[option]
-<行数>,-n <行数> 末行から指定された行数表示
-c 末尾から指定バイト分表示。
-f ファイル末尾に追加された行をリアルタイムで表示(Ctrl + Cで表示終了)

cut ファイルの各行から指定したフィールドを取り出す
[option]
-c <文字数> 取出す文字位置を指定
-d <デリミタ> デリミタを指定(デフォルトはTab文字)
-f <フィールドナンバー> 取出すフィールドの指定

join 2つのファイルを読み取り、共通のフィールドを持つ行を連結。
[option]
-j <フィールド> 連結するフィールドを指定

paste 一つ以上のファイルを読み取り、それぞれで一致する行を水平方向に連結する。連結時のデリミタはデフォルトではTab文字。
[option]
-d <デリミタ> デリミタ指定

joinはフィールドにこだわる。
pasteは行にこだわる。

tr 標準入力から読み取った文字列を変換したり削除したりする。
[option]
-d <文字列1>でマッチした文字列を削除
-s 連続するパターン文字列を一文字として処理

[class]
[:alpha:] 英字
[:lower:] 英小文字
[:upper:] 英大文字
[:digit:] 数字
[:alnum:] 英数字
[:space:] スペース

cat /etc/hosts | tr 'a-z' 'A-Z' と
cat /etc/hosts | tr [:lower:] [:upper:] と
tr [:lower:] [:upper:] < /etc/hosts は同義

cat [file] | command = command < [file]

sort 行単位でファイルの内容をソート。デフォルトでは昇順。
sort [option] [+start [-end]] [file]
[option]
-b 行頭空白無視
-f 大文字小文字区別無し
-r 降順にソート
-n 数字を文字ではなく数値として処理

split 指定サイズでファイル分割
split [option] [input-file [output-file]]
[opiton]
-<行数> input-fileを指定行数で分割*分割されたファイルはファイル名末尾にaa,ab,acと付加。

uniq 入力されたテキストストリームの中で重複行を調べ、重複行は一行にまとめられる。
sortコマンドとの併用。
[option] [input[output]]
-d 重複行のみ出力
-u 重複していいない行のみ出力(デフォルト)
uniq は上下の行で見比べているだけ。だからsort必須。

pr ファイルの書式を整える。印刷前整形。
[option] [file("-" で標準入力から読み取り)]
[option]
+[:] 開始ページや終了ページを指定
-h <ヘッダ文字列> ヘッダに表示されるファイル名を指定した文字に変更
-l <ページ長> ヘッダとフッタを含めたページの長さを行数で指定する(デフォルト66行)

fmt テキストを決められた桁に整形
[option] [file]
[option]
-w <文字幅> 一行の幅を設定

expand Tab文字→Space文字に変換
[option] [file]
[option]
-i 行頭Tab文字のみ変換
-t Tab幅の設定(デフォルトは8桁)

unexpand Space文字→Tab文字に変換(デフォルトは行頭のみ)
[option] [file]
[option]
-a 行頭以外の空白も全て変換する。
-t Tab幅を指定。

wc ファイルの行数、単語数、文字数を表示。オプションの省略で全て表示。
[option] [file]
[option]
-w 単語数を表示
-c 文字数(バイト数)を表示
-l 行数を表示

オプション省略時には
[行数] [単語数] [文字数] の順で表示される。
応用 ls | wc -l
カレントディレクトリ内にあるファイルの一覧表示
→その行数をカウント
→つまりカレントディレクトリ内のファイル、ディレクトリ総数を表示。