UNIXプログラミング質問すれ Part10

**unco** ◆manko/yek. · 2011/04/18(月) 17:06:36.77

**906** · 2018/08/20(月) 22:17:50.27

>>910
アドバイスありがとう。
シェルスクリプトはパイプを使って多くのことを圧倒的な短さで出来るし、テキスト処理は最も得意な領域のはず。
しかしこれだけ単純な課題の答えが複雑になってしまうのなら、これは穴なんじゃないか、みんなどうしてるんだろう、と思ったんです。
俺は今月この種のタスクに何度も直面しました。
流れるコンパイルログの一部分だけをハイライトしたかったり、
Makefileのデバッグログのセクションに分かれた情報をファイルや一時変数を介さないで処理したかったり。
egzactのconvなどがシェルスクリプトのデータ生成という穴を埋めたように、この問題が鬼門なら、
解決するコマンドを考えてみたいです。

**デフォルトの名無しさん** · 2018/08/20(月) 22:45:23.64

>>911
> テキスト処理は最も得意な領域のはず。
それは正しいがシェルは構造を持ったデータをパイプに流せないのでこの手の処理は不得意
PowerShell ならもう少し綺麗にかける

**デフォルトの名無しさん** · 2018/08/21(火) 01:05:48.21

シェルは、テキスト・文字列で渡す

一方、PowerShell はオブジェクトだから、構造を持てる。
配列・辞書もOK

Ruby などがベスト

**906** · 2018/08/21(火) 03:18:04.26

UNIXプログラミングスレで Powershell を勧められるとは思いませんでしたよ。
他言語での解決が興味深いです。お題スレに投稿しました。よろしくどうぞ
https://mevius.5ch.net/test/read.cgi/tech/1524570314/#758

**デフォルトの名無しさん** · 2018/08/22(水) 20:52:17.34

考えたんだけど、もっと単純なタブ区切りデータ
hoo banana
bar apple
baz orange
の二項目名だけをソートして戻す、ということさえシェルスクリプトでは苦悶だ。
戻さないなら cut -f2 | sort でラクなのに。

awesome-cut -f2 <>(sort)
のようにできる読み書き可能ファイルを受け取るコマンド awesome-cut と読み書きプロセス置換<>(...)
機能をシェルに加えれば簡単になるかと思ったがダメだ。この方針はスケールしない。

プロセス置換はコマンド行をパーズした時点で名前付きパイプ？になるらしい。
だからネストされたデータを処理するには、フィルタ処理したい分のプロセス置換をあらかじめベタ書きしておかなくちゃならない。

それを避けるためには xargs のように自分でプロセスを起こす、文字列から作るようなコマンドが必要だ。
しかし現行のシェルスクリプトの仕様では、文字列はネストするほどクォーテーションが厳しくなり、使いにくくなる。

解決方法はわからない。シェルスクリプトを諦めるしかないか。
jqコマンドはJSONを扱う。処理の埋め込みも可能。そういうコマンドの中だけで完結させるか。
(お題スレの解答のPerlは美しかった…)

**デフォルトの名無しさん** · 2018/08/22(水) 22:13:37.65

>>915
フィールド指定出来るソートコマンドを使う

**デフォルトの名無しさん** · 2018/08/22(水) 22:35:15.97

>>916
サクッと書けそうなのが良いけど、「フィールド指定可能なtrコマンド」みたいに各コマンドに切り出し埋め込み能力が必要になっちゃう

**デフォルトの名無しさん** · 2018/08/22(水) 23:34:08.76

何で急にありもしないコマンドを発明してんの？

**デフォルトの名無しさん** · 2018/08/22(水) 23:48:32.88

>>918
構造のあるテキストデータの一部分だけ外部コマンドで加工して戻したいんですよ。
それに何が必要なのかを考えています。

「タブ区切りデータの第二カラムをソートして戻す」ために
>>916 は、そういう機能を持つ外部コマンドを使え(必要なら作れ)、
という意味のアドバイスだと受け取ったのですが違うんですか？

**デフォルトの名無しさん** · 2018/08/23(木) 00:56:37.97

powershell なら、フィールドでソートするのも簡単だけど
「powershell sort 列指定」で検索！

PowerShell の Sort-Object Tips
http://www.vwnet.jp/windows/PowerShell/2017032901/Sort-Object_Tips.htm

**デフォルトの名無しさん** · 2018/08/23(木) 01:19:50.15

>>920
ほほう… これが Powershell ですか。項目名でソートできるのが強いですね。

ところでお二方に間違って伝わったみたいで… 書き方が不注意でした。
hoo banana
bar apple
baz orange
の第二カラムをソートして戻すとは、
hoo apple
bar banana
baz orange
を得ることです。第一カラムは変わらないことにご注意を。
sort -k 2 などでは行全体を移動してしまいます。

Powershell ではどのようにこれを実現しますか？

**デフォルトの名無しさん** · 2018/08/23(木) 01:26:09.02

>>921
cutしてpasteすりゃ済むじゃん
中間ファイルは複数出来るけど

**デフォルトの名無しさん** · 2018/08/23(木) 02:39:41.54

>>922
ありがとう。できました（全然苦悶じゃなかった）
all=$(cat); paste <(echo "$all" | cut -f1) <(echo "$all" | cut -f2 | sort)

これを応用すれば上の方の縦型の構造もできるかも。
paste の縦バージョンは cat な訳だから…

**923** · 2018/08/23(木) 03:04:21.42

(たびたびスマン)
hcutのようなものは作れるが、でもネストするのにプロセス置換を使っていたら結局
加工プロセスをあらかじめ作らなくちゃならないので >>915 の問題は解決不能のままだわ。

**デフォルトの名無しさん** · 2018/08/23(木) 04:41:50.26

1列目を、f1 ファイルへ抽出する。
2列目を、f2 ファイルへ抽出する

f2 をソートして、f2a ファイルとする

f1, f2a を合体させる

**デフォルトの名無しさん** · 2019/06/19(水) 04:55:07.98

【出資】松本卓朗人工知能詐欺【注意】
https://rio2016.5ch.net/test/read.cgi/rikei/1560859403/

**デフォルトの名無しさん** · 2020/07/15(水) 15:52:06.92

-v -vv
こんなオプションで詳細を表示するコマンドがいくつかあります。

# こんなやつ
date -v+1y
rpm -ivh

この v は何を表しているのですか？

**デフォルトの名無しさん** · 2020/07/15(水) 23:17:43.21

自己解決

verbose の v だと思う。

**デフォルトの名無しさん** · 2020/07/16(木) 06:12:18.40

grep の -v はたぶん inVert の v。

**デフォルトの名無しさん** · 2020/07/16(木) 18:41:02.51

ググっても説明してある意味が分からないということ?

**デフォルトの名無しさん** · 2022/01/31(月) 21:18:15.66

UNIXでのシステム開発の実際が知りたい
今なんの言語を使って開発してるの？
データベースとか何使ってるの？

**デフォルトの名無しさん** · 2022/01/31(月) 21:18:36.74

あ、UNIXっていうのはmacOS以外ね

**デフォルトの名無しさん** · 2022/02/01(火) 01:45:58.51

少し前までJavaを使っていたが、今はC++。
Rustに行きかけたんだけど偉い人に駄目と言われてしまった。

**デフォルトの名無しさん** · 2022/02/01(火) 13:10:18.35

へー、Rustとか新しいの使えるんだ
UNIXってなんかバラバラで、みんな一体何をどう使って開発しているのか
全然想像つかないんだよね
Linuxみたいにapt-getでrust入れてーとかして使うの？

**デフォルトの名無しさん** · 2022/02/01(火) 13:51:20.76

この頃は Linux ばっかり使っている
UNIX がインストールされているマシンが身近にない

**デフォルトの名無しさん** · 2023/08/24(木) 18:51:08.86

たとえば古い passwd ファイルの形式とかで使われていた
root:x:0:0:root:/root:/bin/bash
user01:x:500:500::/home/user01:/bin/bash
のような「:」区切りのテキストファイルのデータベースを扱いたいとき
C標準のライブラリは何ですか？
Rust用のcrateで言うと何ですか？

**デフォルトの名無しさん** · 2023/08/24(木) 20:05:39.07

Ruby なら、CSV モジュールを使う

require 'csv'

options = { col_sep: ":" } # 列区切り文字

CSV.foreach( "input.csv", options ) do |row| # 1行ずつ処理する
p row
end

出力
["root", "x", "0", "0", "root", "/root", "/bin/bash"]
["user01", "x", "500", "500", nil, "/home/user01", "/bin/bash"]

**デフォルトの名無しさん** · 2023/08/25(金) 06:42:11.04

>>831
Rust
区切るだけならstr.split(':')かstr.splitn(7, ':')が各項目のstrを次々と返してくれる
各項目毎に型(文字列や整数やOptionなど)フィールドを持つ構造体に入れるなら一般的にserde crateが万能
そのケースならcsv crateで':'をデリミタ指定すると容易

**デフォルトの名無しさん** · 2023/08/25(金) 09:30:30.62

Rust
https://play.rust-lang.org/?version=stable&mode=release&edition=2021&gist=a74bc8e5de0b5fd5e1c4203865abfb2d
っていうか中身読めちゃったテヘペロ

**デフォルトの名無しさん** · 2023/08/25(金) 10:27:32.18

ちょと治した
https://play.rust-lang.org/?version=stable&mode=release&edition=2021&gist=c7b6a2e68759ea120ea83d56bdc72021
file の reader で読むと
# Hello, and thanks for looking into the Rust Playground's security!
っていう行が勝手に先頭に足される
csv の reader で読むと余計な行が増えない
穴があるんかな

**デフォルトの名無しさん** · 2023/08/25(金) 10:29:22.44

ああ has_headers() が読み飛ばしてただけか

**937** · 2023/08/26(土) 03:49:56.11

>>937
を修正。
2, 3列目を整数に変換する

require 'csv'

proc = Proc.new do |field, field_info|
case field_info.index
when 2, 3 then field.to_i
else
field # 処理なし
end
end

options = { col_sep: ":", :converters => proc } # 列区切り文字

CSV.foreach( "input.csv", options ) do |row| # 1行ずつ処理する
p row
end

出力
["root", "x", 0, 0, "root", "/root", "/bin/bash"]
["user01", "x", 500, 500, nil, "/home/user01", "/bin/bash"]

**デフォルトの名無しさん** · 2023/08/26(土) 21:18:17.35

C言語とRustについて聞かれているのに
一生懸命Rubyで答えてどうするの？
ちょっと心配した方が良いレベルやぞ

**デフォルトの名無しさん** · 2023/08/27(日) 03:03:02.52

Rustでは文字列から他の型(数値など)への変換やその逆を自動でやってくれる(serdeがある)
以下のように(好きな型名とフィールド名で)構造体を定義するだけで動く

#[derive(Debug, serde::Deserialize)]
struct Passwd {
　name: String,
　passwd: String,
　uid: u32,
　gid: u32,
　gecos: String,
　dir: String,
　shell: String,
}

fn main() -> Result<(), Box<dyn std::error::Error>> {
　// CSVリーダーをヘッダ無しで区切り文字コロンでPASSWD_PATHファイルから読み込みで作成
　let mut reader = csv::ReaderBuilder::new()
　　.has_headers(false)
　　.delimiter(b':')
　　.from_reader(std::fs::File::open(PASSWD_PATH)?);
　// 各行を構造体Passwdへ読み込む (様々なエラーを捕捉できるようResult型が返る)
　for result in reader.deserialize::<Passwd>() {
　　let passwd = result?;
　　println!("{passwd:?}");
　}
　Ok(())
}