シェルスクリプト総合その29

2018/09/22(土) 11:53:21.38

!extend:on:vvvvv:1000:512
!extend:on:vvvvv:1000:512
シェルスクリプトに関する総合スレッドです。

スレ立て時は以下の文を先頭行に加えて下さい。
後のつけ忘れ防止の為に複数行重ねて追加推奨
!extend:on:vvvvv:1000:512

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。

前スレ
シェルスクリプト総合その28
http://mevius.5ch.net/test/read.cgi/tech/1532397676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/10/31(水) 05:39:40.82

UTF-8で符号化された文字列に対応してるfmt(1)コマンドってある？
GNU coreutilsのfmt(1)は無理だった。

2018/11/01(木) 17:53:36.33

一回のループでファイルや変数を使わずに、偶数行と奇数行にまとめられないかなぁ？

例えば、入力ファイルが以下のような場合
1
2
3
4
5

出力は、以下のようにしたい
2 # ここから偶数行
4
1 # ここから奇数行
3
5

ファイルディスクリプタをうまく使えばできるんじゃないか？
と思ってたりするけどうまくいかない

2018/11/01(木) 18:26:55.97

変数も使っちゃダメなのか。うーん。

2018/11/01(木) 18:37:54.39

sedじゃあかんのけ？

2018/11/01(木) 18:50:36.53

>>395
sedでできるならsedでもいいけど。

やっぱり無理だよなぁ
結局、奇数行のデータを後からだすためには
どこかにためておく必要があるわけで
メモリかディスクはどうしても使用してしまう

二回のループにするなら、メモリもディスクも消費しないけど
今度は入力データをためておく必要がある

2018/11/01(木) 19:37:55.15

>>393
もし変数を使っていいなら，どうやって書くの？

2018/11/01(木) 19:42:09.40

>>397
こんな感じでは？

while 全行ループ; do
　if 偶数行 then echo 偶数行
　奇数行変数 = 奇数行変数 + 奇数行 + 改行
done
echo 奇数行変数

2018/11/01(木) 19:46:11.92

元データがファイルに入っていて2回読んで良くて尚且つ変数使って良いなら楽だよ、っていうかそれなら誰でも作れるかw

2018/11/01(木) 19:51:11.07

遅くなるのでディスクに書き込みたくないし、メモリも
あまり使用したくなかったんだけど仕方ないか

実際には偶数行、奇数行じゃなくて、データを種類ごとに前後に分けたくて
後ろに分けるデータは基本的に少ないってことがせめてもの救いか

2018/11/01(木) 19:58:02.45

なんでバカって実行速度ばかり気にするんや？

2018/11/01(木) 19:59:10.65

何度も実行するものなので、遅いとストレスたまるから

2018/11/01(木) 20:00:23.29

バカなのにストレスたまるの？バカやめたら？

2018/11/01(木) 20:03:44.33

その理屈だと、
・バカなのにストレス溜まるの？（不思議）
・バカじゃないならストレス溜まる（普通）
ってことになるから、

バカやめたら、それこそストレス溜まるのでは？

2018/11/01(木) 20:18:26.34

バカの理屈わろたw
バカなんやから考えん方がええで

2018/11/01(木) 20:23:45.26

なにか言い返せよｗ

2018/11/01(木) 20:37:24.98

バカに言いかえすとか無理やわ理屈がないからバカなんやでおまえ

2018/11/01(木) 20:38:28.76

そりゃね。>>404が正しいから何も言いえせないわなｗ

2018/11/01(木) 20:43:56.74

お前ら、哲学者か何かなん？

2018/11/01(木) 20:50:42.34

バカとバカを嘲笑う者や

2018/11/01(木) 20:51:14.40

奇数行だけ抽出するスクリプトと
偶数行だけの二つ作って、
奇数行スクリプトの出力に偶数行のを追記させる

なんとなくそんなイメージ

2018/11/01(木) 21:54:51.76

速度言うならCなりJavaで書いてデーモン化して動かさんとな
シェルスクリプト特有のコマンド羅列のプロセス起動しまくりってのは
すごいコストがかかってる

2018/11/01(木) 21:57:34.95

偶数行抽出
grep "Kkuf6Nxk0"
奇数行抽出
grep "zOBF+lvD0"

楽勝すぎるわ

2018/11/01(木) 21:58:38.71

>>404
いや普通なら落としどころ決めるだろ
シェルスクリプトだからあきらめるとか
ちゃんとした言語で作るとか
バカだから漠然と心配ばかりしてストレスが溜まる
今も月が落ちてくる心配でもしてるんじゃないの

2018/11/01(木) 21:59:28.16

>>412
デーモンだって実行プロセスは立ち上げないとダメだろ

2018/11/01(木) 21:59:49.59

>>413
シェルが固まったんやがウイルスちゃうやろな？直しかた教えろバカ

2018/11/01(木) 21:59:57.39

>>413
後出しで奇数偶数じゃないって言ってるよ

2018/11/01(木) 22:00:55.53

seq 5 | awk '{print ($1%2?"b":"a") $1}' | sort -V | cut -c2-

2018/11/01(木) 22:06:42.28

>>414
普通（？）の言語で作ったって、結局は変数に入れないとだめでしょ

ファイルを受け取ってその順番を変えて出すんだから

キミは本質をわかってない

2018/11/01(木) 22:08:20.21

>>412
シェルスクリプト（と一部のPOSIXコマンド）で作るっていうのは
必須条件なのでそれはできないのです。

2018/11/01(木) 22:09:12.59

バカはいいかげん黙っとけ

2018/11/01(木) 22:12:35.86

>>413
結局はそれ、二回読み込んでるんだよね

>>418
それも考えたんだけど、結局はソートの
ためにメモリに読み込むから本質的には変わらないかなーと

あと>>393の例が良くなかったけど、入力ファイルは昇順とは限らなくて
偶数グループと奇数グループにわけるだけで、順番は変えたくないんだ

2018/11/01(木) 22:13:57.69

>>421
バカじゃないので黙らないｗ
ってか、俺を黙らせるのは不可能なのでNGにして
俺にくだらないレスしないようにしてください
俺にもくだらない反論（？）が来ないのでWIN♪WIN♪

2018/11/01(木) 22:16:53.31

>>423
要するにバカやんけおまえ

2018/11/01(木) 22:19:28.46

まだNGにしてないのか？

2018/11/01(木) 22:21:41.75

>>425
バカを嘲笑うのがおもろいのにNGにするわけないやろ
ホンマにバカやなおまえ

2018/11/01(木) 22:22:49.71

ああもぅめんどくせぇなｗ順番変えたくないなら stable sort でええやんけ
メモリがどーたらこーたらは知らんｗ

$ cat hogehoge | awk '{print ($1%2?"b":"a") "\t" $1}' | sort -s -k1,1 | cut -f2

2018/11/01(木) 22:22:56.19

じゃあなんで黙れって言ったの？
俺が書き込みしなきゃ、お前出てこれないじゃん
矛盾してるよね。

2018/11/01(木) 22:23:55.45

>>427
いや、頑張らなくていいよｗ

2018/11/01(木) 22:25:19.85

>>428
バカはしゃべるな

2018/11/01(木) 22:31:12.95

>>419
だから変数使えって言ってるんだよ
たいした理由も無いのに速度だリソースだって言ってるだけなんでしょ
だったら奇数用途偶数用を1回ずつ合計2回実行すればいいだけ

2018/11/01(木) 22:35:03.93

だから仕方ないかって書いてんのにｗ
ほんと人の話読まないやつだな

400 自分：デフォルトの名無しさん (ﾜｯﾁｮｲ ab98-QXT6)[sage] 投稿日：2018/11/01(木) 19:51:11.07 ID:Kkuf6Nxk0 [4/15]
遅くなるのでディスクに書き込みたくないし、メモリも
あまり使用したくなかったんだけど仕方ないか

2018/11/01(木) 22:35:30.89

えっなにこれは…

2018/11/01(木) 22:36:17.06

tee(1)コマンド使ったらいけるかなとか考えたが無理かな。

2018/11/01(木) 22:43:09.27

>>434
片方ファイルだもんね。

メインプロセス起動（出力を2つに分岐）
├出力1 偶数行表示プロセス実行
└出力2 奇数行表示プロセス実行（偶数行表示プロセス終了後に処理開始）

みたいな事ができるかな？と思ったんだけど

まあ、これでも内部的には出力がバッファに
溜め込まれてるんだろうけどね

2018/11/01(木) 22:48:35.54

>>432
お前ホントバカだな
お前のようなバカのためにプログラム書いてやったぞ

eo-sort.exe

第一引数に入力ファイルを渡せば標準出力に
まず偶数業出してその後に奇数業出してくれる
必要ならそれをファイルにリダイレクトしなよ

2018/11/01(木) 22:49:59.34

いらねっす

2018/11/01(木) 22:53:44.24

ああ、あと出し情報で偶数奇数じゃなかったんだよな
そりゃいらないわなｗ

2018/11/01(木) 22:54:34.69

え？あぁ、そうだな

2018/11/01(木) 23:01:11.09

>>435
というかよく読んだら「ファイルディスクリプタをうまく使う」ってそういうことだよね
teeっていうのはファイルと標準出力に書き込む「ファイルディスクリプタをうまく使う」コマンドの一つなんだからさ。
まあ俺には変数使わずに出力を分けるのは無理かな。

ところで変数使わない理由はPOSIXシェルスクリプトは変数のスコープができず
利用者が定義している定数を潰す可能性があるからって理解でいいのかな？

2018/11/01(木) 23:17:46.65

印刷して紙でやればメモリもディスクも使わないんじゃね？

2018/11/01(木) 23:22:18.99

天才か

2018/11/01(木) 23:31:18.23

じゃぁ moreutils の pee コマンドでも使ったら

$ cat hogehoge | pee 'awk "!(\$1%2)"' 'awk "\$1%2"'

2018/11/01(木) 23:58:02.32

>>441
コペルニクス的転回だな。

2018/11/02(金) 00:25:05.23

同じターミナルに出力するのが仕様間違いだろ。スクロールバックがめんどくさい。

2018/11/02(金) 01:50:44.73

>>393
出来るぞ
もう諦めたのならまあいいか

2018/11/02(金) 03:41:34.10

確かに

2018/11/02(金) 06:24:06.72

>>443
これすごいね。
peeコマンドに可搬性を持たせられたらいいんだけど、それが問題だよね

2018/11/02(金) 06:38:46.12

あのう、プロセス動かすだけでメモリ消費してしまうんですが
変数や作業用ファイル作らなくても内部的な一時ファイルは作られるわけで
リソース消費しないで切り分けようとエディタ立ち上げて手作業でやっても、やっぱりリソース消費があるので
誰かが言ったように、ノートかなにかに手書き転記するしかないと思う

つうか、そんな人はコンピュータ使っちゃダメだと思う
まるで、経団連会長みたいなんだもの
最近会長室にコンピュータが導入されたらしい

あれこれ、たかが変数や作業用ファイル如きでリソース消費しないように考える時間など無駄中の無駄
なにも、惑星探査衛星の限られたリソースでなんとかするって話じゃないんだから
時間の使い方を間違っている
そんな下らない話題で、ここのスレのリソースも無駄遣い

2018/11/02(金) 07:18:03.73

>>446
諦めてないです！まってます！

2018/11/02(金) 07:42:30.53

>>448
> peeコマンドに可搬性を持たせられたらいいんだけど、それが問題だよね

こんなんでどう？ peeコマンドのシェルスクリプト実装版
シェルスクリプトで実装したから外部コマンドだけじゃなくてシェル関数も呼べるよ

#!/bin/sh

pee() {
( ( (
while IFS= read -r line; do
printf '%s\n' "$line"
printf '%s\n' "$line" >&3
done | "$1" >&4) 3>&1 ) | "$2" ) 4>&1
}

foo() { printf 'foo %s\n' "$(cat -)"; }
bar() { printf 'bar %s\n' "$(cat -)"; }

pee foo bar

2018/11/02(金) 07:59:00.48

>>443

>>451のシェルスクリプト実装版もそうだけど、
俺の予想が正しければ、その２つのawkは並列に動作するんじゃないかな？
１つ目のコマンド実行が完了まで2つ目のコマンドの実行をブロックするとは
思えないので２つの出力は混じって出てくると思う。

プロセス起動のオーバーヘッドがあるから少量のデータだと
コマンド順に出力されるように見えるかもだけど

2018/11/02(金) 08:25:40.36

あれ？これでできてね？

最初こんな感じだったからブロックされずに混じって出てくることになったけど
foo() { cat -; }
bar() { cat -; }

こうしたせいで出力がブロックされてる気がする
foo() { printf 'foo %s\n' "$(cat -)"; }
bar() { printf 'bar %s\n' "$(cat -)"; }

2018/11/02(金) 08:26:07.31

>>451
https://www.mankier.com/1/pee
これを読む限り引数は2つだけじゃないから，ちょっと機能不足かもね。
もちろん今回のあなたの目的には合うけど（2通りのパイプがあればそれで十分でしょう？）
ただ，もっと一般的なpee(1)コマンドを作ろうと思うと，
引数の数に応じてまずは雛形を作りそれをevalする，みたいな方法を採る必要があるかも。

2018/11/02(金) 08:41:23.56

>>454
複数対応だと面倒くさそう・・・
eval使えば可能だろうけど、文字列組み立てるのが

そう。今回書いた内容は>>453でできる。
だけど今回書いてないもう一つの制限があってそれで出来ない・・・
（制限っていうのはパイプで関数に渡すんじゃなくて変数で渡したい）

まあいいや、また長くなりそうだから質問閉じるわ
とりあえず変数使わずに出力をまとめることはできたし
あとは別の問題

2018/11/02(金) 09:19:53.88

foo() { printf 'foo %s\n' "$(tail -n 1 -)"; }
bar() { printf 'bar %s\n' "$(head -n 1 -)"; }

ってして seq 1000 | ./pee.sh としたら実行する度に foo の値
が違ってるな…どちからの子プロセスが実行完了したら while
も終了するから仕方ないんだろうけど。trap '' PIPE ってすると
I/O error になるし

2018/11/02(金) 09:45:49.16

>>449
> なにも、惑星探査衛星の限られたリソースでなんとかするって話じゃないんだから

いや知らんけどそういう極小環境なのかも知れんよ。そうでなければこんな要求出てこないと思うが。

2018/11/02(金) 09:56:03.14

>>457
正解。組み込みマシンも対象としている

2018/11/02(金) 09:59:54.78

限定的ながら変数で渡すっていうのが出来てしまったので晒す。多分使わない

#!/bin/sh
main() {
　index=0
　( ( (
　　while IFS= read -r line; do
　　　index=$((index+1))
　　　dumpvar_and_call "even"
　　　dumpvar_and_call "odd" >&3
　　done | eval "$(cat -)" >&4) 3>&1 ) | eval "$(cat -)" ) 4>&1
}
dumpvar_and_call() { set; echo "$1"; }
even() {
　if [ $((line % 2)) = 0 ]; then
　　echo "index:$index even $line"
　　sleep 1
　fi
}
odd() {
　if [ $((line % 2)) = 1 ]; then
　　echo "index:$index odd $line"
　fi
}
main<<HERE
3
6
7
4
2
8
HERE

2018/11/02(金) 10:03:43.36

なんで使わないかというと、変数をパイプで渡すために
setでシェル変数をダンプして、evalしてるんだが、
bashでは読み取り専用変数があってエラーになるから

setの出力をあれこれフィルタすればできると思うが、
変数の中に改行が入ってる場合とか対応が面倒

bashなら変数名に特定のプリフィックスがついたものだけ
ダンプできたとは思うが他のシェルではそうは行かない

また、行ごとに変数すべてをsetしてevalとか
パフォーマンス悪そうだし。

2018/11/02(金) 10:11:28.72

>>457
そんな環境でPosix縛りだとしたら、プロジェクト自体が間違ってる。

2018/11/02(金) 10:16:42.75

> そんな環境でPosix縛りだとしたら
実はPOSIXよりも状況が悪いｗ

使える機能がPOSIX未満なんだよ。
つまり一部の機能しか実装されていない

2018/11/02(金) 11:47:49.42

ただの愚痴だけど
POSIXユーティリティにネットワーク通信が含まれてないのってマジで致命的欠陥だと思う。
POSIX原理主義とか，たしかに素晴らしい考えだとは思うけど，ネットワーク通信なくして現在のコンピュータを管理・運用するのは不可能っていうか
もしできてもすごくつまらないでしょう。

2018/11/02(金) 12:35:03.14

なんでバカって大げさに言いたがるんやw
致命的てwww

2018/11/02(金) 13:04:44.69

>>464
大袈裟に言うなよ

2018/11/02(金) 19:08:56.10

なぜか悔しがって意味不明なバカ>>465
どないなっとんねんおまえらwww

2018/11/02(金) 23:14:17.14

ｱﾝﾘｶﾊﾞﾌﾞﾙな低学歴知恵遅れだからしょうがない

2018/11/03(土) 05:20:12.41

大げさだなあ

2018/11/03(土) 06:43:33.72

日常的に誇大妄想が激しいんだろ

2018/11/03(土) 17:50:12.58

MicroPythonを実装した方が良さそう
組込にも対応してるから

2018/11/04(日) 08:48:54.81

コマンドを作っていてすこし疑問に思ったことなんだけど
--helpオプションで出力される文章って太字や着色なんかで装飾してもいいのかな。
「いいのかな」っていうか、そういうことしてるコマンドをほとんどみかけないので
もしかしたら「--helpオプションで出力される文章は装飾しないように」っていう規約がどこかにあるのかなと思ってさ。

2018/11/04(日) 10:11:04.15

>>471
それはいいアイデアだな。
コマンドの出力とは違ってヘルプを入力するプログラムなんて
無いだろうし、カラー専用でもいいくらいなんじゃないか？

そう考えると、manとかinfoもカラーにするべきなんだろうな
今どきカラー使えないとかまず無いし

色ももう16色に拘る必要もないだろう
最低でも256色、24bitカラーも普通に使っていいだろう

2018/11/04(日) 10:12:08.50

>>471
どこかにあったとしその素性のわからん規約におまえが従う必要ないやんアホなん？

2018/11/04(日) 11:08:19.99

慣習は先人の知恵が詰まってる場合もある
自分勝手に振る舞う自称合理的よりよっぽど賢い質問だと思う

AIXはmanが黄色とか太字とかで修飾されてた気がするな

2018/11/04(日) 11:17:07.51

Linuxでmanを少しカラフルで見やすくする
https://orebibou.com/2016/12/linux%E3%81%A7man%E3%82%92%E5%B0%91%E3%81%97%E3%82%AB%E3%83%A9%E3%83%95%E3%83%AB%E3%81%A7%E8%A6%8B%E3%82%84%E3%81%99%E3%81%8F%E3%81%99%E3%82%8B/

へー

2018/11/04(日) 11:18:53.69

↑ふざけとんのか

BASH(1) General Commands Manual BASH(1)

名名前前
bash - GNU Bourne-Again SHell

書書式式
bash [options] [file]

著著作作権権
Bash is Copyright (C) 1989-2011 by the Free Software Foundation, Inc.

説説明明
bash は、標準入力やファイルから読み込んだコマンドを実行する、 sh 互換のコマンド言語インタプリタです。 bash に
は、Korn シェルや C シェル ksh や csh) の便利な機能も採り入れられています。

bash は IEEE POSIX specification (IEEE Standard 1003.1) の Shell and Utilities に準拠する実装を目指していま
す。 bash はデフォルトで POSIX 準拠に設定することもできます。

オオププシショョンン

2018/11/04(日) 11:25:16.76

これでまともになった
http://raimon49.github.io/2017/03/31/man-with-colored-pager.html

2018/11/04(日) 11:56:45.43

>>472
24bitカラーはまだマズいと思う。
多くのXデスクトップ環境で利用されてる端末エミュレータ
（GNOME TerminalとかLXTerminalとか）は
LibVTEベースなのよ。
そしてLibVTEの安定板は24bitカラーには対応してない。

2018/11/04(日) 12:58:38.32

そういうのを根本的に対応できるようにするなら
roffが対応する部分になるからな

このｽﾚでやってることは
池沼の塗り絵

2018/11/04(日) 13:16:39.02

>>478
WSLは対応したのに？

WSL その41 - Windowsのコンソールが24bitカラーをサポート・Bashからカラフルな出力が可能に
https://kledgeb.blogspot.com/2016/09/wsl-41-windows24bitbash.html

2018/11/04(日) 16:48:40.44

>>480
ま，まぁ？ 24bitカラーなんて端末エミュレータの本来の機能じゃないし？（震え声）

2018/11/04(日) 20:50:30.36

>>480
じゃあそこからsshでログインすればいいじゃん。

これにて一件落着。

2018/11/04(日) 20:58:33.34

>>482
俺に言うなってｗ

24bitカラーも普通に使っていいだろうって
最初から言ってるだろ

2018/11/04(日) 23:47:16.17

そして寒い寒いマシン室に押し込められる可哀想な
おじさん達のことは誰も考えてくれないんだよな。

2018/11/05(月) 00:50:02.70

かわいそう

2018/11/05(月) 01:09:40.53

マシン室が

2018/11/06(火) 16:17:47.15

... | sort -k 2.2 や
... | uniq -c
のような、パイプ挟んでもオプション使えるシェルスクリプトが書けません
これはどうやればいいのでしょうか?

2018/11/06(火) 16:19:39.11

理解不能

2018/11/06(火) 16:27:38.20

... | perl -0777 -ne 'print grep(m{ココ1}i, split("(?=ココ2)", $_));'
例えばこのような文脈で動作させていたものを
パイプ移行をシェルスクリプトに書いておき
変数ココ1 ココ2 に渡して処理したいのです

| split_grep.sh ココ1 ココ2　
このように動作させたいのですが
$1 $2 ... などを見ても参照できてなくて困っています

2018/11/06(火) 16:53:48.26

' だからじゃねえか？適切に " を使え。

2018/11/06(火) 18:09:54.51

--helpオプションで出力される手引きの装飾についてだが
less(1)ユーティリティは太字とにしてるね。

2018/11/06(火) 23:18:09.57

シェルスクリプトは20年動くとか言ってるやつがいるけど、
あれ嘘だなぁ。

各シェルの実装は互換性がない部分があるし、
同じシェルでもバージョンが変わると微妙に動きが変わる

POSIXという仕様があってもそれを完全に実装しているとは
限らないしバグもある。

20年前のJavaScriptと同じようなレベルだ。
そのJavaScriptも20年前のものが今でも動いているからねｗ

今のJavaScriptは本当にどれもで同じように動くようになったけど20年前は大変だった。
どのシェルでも同じように動くシェルスクリプトを書くのは今でも大変だよ
一度互換性テストでもやって準拠度100%を達成を競わせたほうが良いだろう

シェルスクリプト総合 その29

シェルスクリプト総合その29