シェルスクリプト総合その30

**デフォルトの名無しさん** · 2019/07/01(月) 23:04:27.02

シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。

前スレ:
シェルスクリプト総合その29
https://mevius.5ch.net/test/read.cgi/tech/1537540487/

**デフォルトの名無しさん** · 2019/07/12(金) 00:13:06.93

cmdのオプションが/なのは当て付けなんだろうか
XENIXを売ってた頃のMS知らんけど

**デフォルトの名無しさん** · 2019/07/12(金) 00:38:52.25

階層がないファイルシステムだと - でも / でもどっちでも違和感が無いのだろう
単に好みでそれにしたってだけじゃないかな
階層があるようになって / を好みで選んで失敗したと思ったけどどうにもならななかったよう
手立ては用意したがサードパーティがそれを使わないとか

**デフォルトの名無しさん** · 2019/07/12(金) 00:54:25.43

ああ、どうにもならなかったのは、
オプションを/にしてしまったからとりあえずパス区切りはバックスラッシュにしたよ、でも、/ にもできるよ
だった。オプションを - に変えるのは今でも前のいつでもできるだろうな
コマンドによっては別の意味を持たせてとかありそうだが、なんの拘りなんだかよくわからんな

**デフォルトの名無しさん** · 2019/07/12(金) 08:37:34.85

https://packages.debian.org/ja/experimental/ksh
kshはずっと93uだったはずだが、2020なんてのがでるのか？

**デフォルトの名無しさん** · 2019/07/12(金) 10:59:03.44

同じPCで一つがWSL1上のUbuntu、もう一つがDocker上のUbuntuで
lsb_release -aしてどちらも同じUbuntu 18.04.2 LTSなのに

kshのシェルに入ってから以下のコマンドを実行すると違いがある

echo $((99999999999999999))
=> 100000000000000000 # WSL
=> 99999999999999999 # Docker

KSV_VERSIONは両方とも同じ Version AJM 93u+ 2012-08-01

カーネル関係なさそうなのに、なんでだろう？

**デフォルトの名無しさん** · 2019/07/12(金) 11:04:55.32

大きな数の取り扱いの限界が違うのかも

**デフォルトの名無しさん** · 2019/07/12(金) 12:04:33.46

ディレクトリごとの正確なファイル数が高速に知りたいです。

**デフォルトの名無しさん** · 2019/07/12(金) 12:15:53.93

ls　より　find が早い
再帰ディレクトリ探索とファイル名出力はそれに任せて
その出力をパイプで変換していったらいいんじゃないか？

**デフォルトの名無しさん** · 2019/07/12(金) 12:22:05.68

なぜduでファイル数も調べられるようにしなかったのか？

**デフォルトの名無しさん** · 2019/07/12(金) 12:22:27.56

duの作者に問い詰めたい

**デフォルトの名無しさん** · 2019/07/12(金) 12:24:06.88

やるべきことは最小限の1つ
UNIXの哲学でしょ

小さいから早い
小さいからパイプでつなげていろいろ実現できる
小さいから保守できる

**デフォルトの名無しさん** · 2019/07/12(金) 12:27:18.37

その理屈だと、lsコマンドはファイルの名前だけじゃなくて
ファイルサイズまで表示している。

最小限になってない。findコマンドを見習え
って話になるんだがｗ

**デフォルトの名無しさん** · 2019/07/12(金) 12:28:12.53

>>209
ファイルを数えるのはduの仕事じゃないから

**デフォルトの名無しさん** · 2019/07/12(金) 12:30:19.18

ファイルを数えるのは誰の仕事？

仕事は一番うまくできる人がするべきですよ

**デフォルトの名無しさん** · 2019/07/12(金) 12:32:27.12

そういやファイル名に改行が含まれる場合、
POSIX準拠コマンド＆オプションだけで数えられるの？

**デフォルトの名無しさん** · 2019/07/12(金) 12:35:41.89

やるべきことは最小限っていったら
duコマンドなんていらんよな

findでファイル検索して、lsでファイルの情報出して
awkで加算すれば良い

パイプでつなげていろいろ実現できる

**デフォルトの名無しさん** · 2019/07/12(金) 12:53:26.46

>>205
>>206
long doubleを使っているんだと思う。long doubleは昔のx87 fpuで計算されることになるが、これは精度を設定できて、確かデフォルトがlinuxでは80bit、windowsでは64bitになっていたと思う。

**デフォルトの名無しさん** · 2019/07/12(金) 13:00:19.57

>>217
でもWSL版Ubuntuと通常のUbuntuでバイナリは同じはずでしょ？
FPUモードの設定とかあるってこと？
同じ命令でもモードによって精度が違うとか

**デフォルトの名無しさん** · 2019/07/12(金) 13:39:06.41

元々、浮動小数点は誤差があるから、どっちでも良い

誤差無しなら、プログラミング言語で、Decimal などのライブラリを使わないといけない

**デフォルトの名無しさん** · 2019/07/12(金) 13:49:24.26

>>212
ls 凄いよね
呼びだした端末の表示限界まで調査して
整列してくれる

最小限だけではものたりないから Emacs とかできたんじゃない？

**デフォルトの名無しさん** · 2019/07/12(金) 13:57:13.80

>>207
$ find 〈対象ディレクトリ〉 -type f | wc -l

**デフォルトの名無しさん** · 2019/07/12(金) 13:59:45.00

bcコマンド使いなよ。POSIXで定められたほとんど唯一といっていい任意精度演算ができるコマンドだぜ。
残念ながらなぜかUbuntuには初期状態で入っていない……。

**デフォルトの名無しさん** · 2019/07/12(金) 14:11:11.28

>>207
find ~/web -type f | perl -pe 's{[^/]+$}{\n}m'|uniq -c
27 /home/web/
11 /home/web/elona/
5 /home/web/elona/.git/
9 /home/web/elona/.git/hooks/
1 /home/web/elona/.git/info/
...

**デフォルトの名無しさん** · 2019/07/12(金) 14:17:11.58

やっぱりシェルスクリプトのパイプやばい
たった1行の短いのでそこそこ早いのが書きあがっちゃう

**デフォルトの名無しさん** · 2019/07/12(金) 17:35:59.38

>>220
emacsは出自がUnixじゃないから

**デフォルトの名無しさん** · 2019/07/12(金) 18:42:09.14

ちなみにPlan 9（Unixの後釜）のlsはもっと洗練された体系になってる。
あとPlan 9のEmacsの手引書がおもしろい

**デフォルトの名無しさん** · 2019/07/12(金) 19:16:50.62

Plan 9の今後のプランは！？

**デフォルトの名無しさん** · 2019/07/12(金) 19:39:49.25

Plan 9も最初からGPLで公開していればLinuxと肩を並べてたかもね

**デフォルトの名無しさん** · 2019/07/12(金) 20:39:39.59

>>218
FPU制御レジスタをFLDCW命令で変更すると計算精度や丸め方向が設定でき、同じ命令でも動作が変わる
プログラムが明示的に設定しなければ、当然OSが設定した値になる

**デフォルトの名無しさん** · 2019/07/13(土) 10:28:41.44

>>223
こういうの見るといつも思うんだけど、全部Perl（など）で全部完結して書くのとどっちがいいのかな？
殊に「高速で」条件があるなら。

**デフォルトの名無しさん** · 2019/07/13(土) 10:36:29.63

>>230
パイプ有利でしょ
なぜなら perl は C の 10% 程の速度
シェルスクリプトの基本ツールは C で書かれているから早い
そしてパイプは並列プログラミングだ

**デフォルトの名無しさん** · 2019/07/13(土) 10:51:01.49

並列「プログラミング」ではないな
単に仕組みとしてプロセスが同時並行しているだけで

**デフォルトの名無しさん** · 2019/07/13(土) 13:12:58.10

>>230
どうでもいいけど
>>223は基本的なコマンドで完結してるシェルスクリプトなので
Perlで「全部完結する」というのは対比する表現としてはちょっとおかしく思えるな

**デフォルトの名無しさん** · 2019/07/13(土) 14:39:07.51

単機能のコマンドを組み合わせて処理するのがシェルスクリプトだからな
それで速度が遅いだの言うならシェルスクリプトなんか使わなければいい

**デフォルトの名無しさん** · 2019/07/13(土) 16:01:43.14

>>223
uniq -cの前にsortしなくていいの？

**デフォルトの名無しさん** · 2019/07/13(土) 16:32:06.44

>>235
別のところで動かしたらだめだったよ
sort 必要

**デフォルトの名無しさん** · 2019/07/13(土) 16:34:17.14

ソートはたぶん早くないから
つまりコストが高いから
たぶん定番のあれやったほうがいい

1行ずつ読みこんだそれでハッシュ作ってインクリメントしてくあれ

**デフォルトの名無しさん** · 2019/07/13(土) 18:44:37.37

実はPOSIX sortならsort -uでuniq | sortと同等ことができるのでuniqは実質要らない子

**デフォルトの名無しさん** · 2019/07/13(土) 19:00:08.87

uniqは重複したのを抽出する目的での利用が多いな
純粋にuniqで使う機会の方が極端に少ない

**デフォルトの名無しさん** · 2019/07/13(土) 19:23:10.38

uniq | sortって使い方分かってない奴かよｗ
uniqくらいソース読んでみなよ

**デフォルトの名無しさん** · 2019/07/13(土) 19:38:16.75

>>240
そんな揚げ足取らんでも。。。
sort | uniqの間違いです。

**デフォルトの名無しさん** · 2019/07/13(土) 20:35:19.67

ls .-lのrwxに8進数表記も追加できないかな

**デフォルトの名無しさん** · 2019/07/13(土) 22:25:11.39

こんな感じかな

https://wandbox.org/permlink/O0PwxkOoTDVfsMQ9

# スクリプトを直接書いて投稿すると 403 エラーになるな…

**デフォルトの名無しさん** · 2019/07/13(土) 22:28:56.59

あ、setuid/setgid/sticky bit のこと忘れてたわ

**デフォルトの名無しさん** · 2019/07/13(土) 22:47:31.71

find ~TEST -type f -printf "%h\n" |sort |uniq -c
これは早いわ

**デフォルトの名無しさん** · 2019/07/13(土) 23:30:54.16

duのファイル版は俺も作ったけど未熟なんでこんな出来に
find ./ -type d -printf "%p " -exec bash -c 'ls -b "{}" | wc -l' \; | sed -r 's/(.* )(\w+)/\2\t\1/g'

**デフォルトの名無しさん** · 2019/07/13(土) 23:43:20.86

>>246
見易くていいね！

**デフォルトの名無しさん** · 2019/07/14(日) 00:22:33.01

>>244
https://stackoverflow.com/questions/1795976/can-the-unix-list-command-ls-output-numerical-chmod-permissions
awkで頑張れば4桁表示できるらしい

**デフォルトの名無しさん** · 2019/07/14(日) 02:01:57.73

>>207
Ruby の、1-liner で、特定のディレクトリ以下を再帰的にたどりながら(find)、
ディレクトリ以外(reject)を表示する。
%Q("～") は、" を、Windows のPowerShell に解釈させないために、クォートする

-r で、pathname モジュールを読み込む

ただし、途中で改行しているけど、実際には改行しないで下さい！

ruby -rpathname -e 'Pathname( %Q("C:/Users/Owner/Documents/Ruby/test") ).find
{ |path| if File.directory?( path ) then; puts path, path.children.reject( &:directory? ).length end; }'

出力
C:/Users/Owner/Documents/Ruby/test
11
C:/Users/Owner/Documents/Ruby/test/a
4
C:/Users/Owner/Documents/Ruby/test/a/b
0

**デフォルトの名無しさん** · 2019/07/14(日) 06:45:35.11

stat -c '%A %U %G %z %n' .*
↑こういうのどう？ lsのパーミッション表示を8進数に
まあPOSIXに規定されてないけど

**デフォルトの名無しさん** · 2019/07/14(日) 10:08:35.55

>>245
sort を差し替えた
~/ 対象にしたら倍速

find ~/ -type f -printf "%h\n" | perl -ne '$dirs{$_} += 1; END{for $key (keys %dirs) {printf "%5s %s", $dirs{$key}, $key } }'

**デフォルトの名無しさん** · 2019/07/14(日) 10:11:35.12

途中だった
最後に | sort -k 2,2 入れても入れなくてもあまり変わらない
やはり指数関数的にsort に大量渡すと遅くなる

**デフォルトの名無しさん** · 2019/07/14(日) 12:30:16.97

LANG=Cでやってみ。

**デフォルトの名無しさん** · 2019/07/14(日) 13:29:14.61

POSIX の find って -printf がないのな。
難しいことは -exec でなんとかしろということか。

**デフォルトの名無しさん** · 2019/07/14(日) 13:32:10.29

>>252
perl の中で sort やれば良いのでは？
sort keys %dirs にして。

**デフォルトの名無しさん** · 2019/07/14(日) 14:08:00.15

Perlようわからんけど、findのところもまとめていわゆるVisitorパターンでやると？
シェルだと時間掛かる。
#!/bin/bash
shopt -s dotglob
walk() {
local c=0
for p in "$1"/*; do
if [ -d "$p" ]; then
walk "$p" # recursive call
elif [ -f "$p" ]; then
((c++))
fi
done
echo "$1: $c"
}
start_dir=$(basename "$1")
walk "$start_dir"

**デフォルトの名無しさん** · 2019/07/14(日) 14:15:10.09

>>255
そうだね
さらにちょっと早くなった

**デフォルトの名無しさん** · 2019/07/14(日) 15:14:56.46

どうせPerl使うんならPerlに用意されているfindコマンド的な関数使えばいいのに。
いや正直Perl書けないので外部コマンドのほうが効率いいのかも知れんけど

**デフォルトの名無しさん** · 2019/07/14(日) 15:43:17.08

今回たまたま perl が早かったのは
>237
ということ
つまり C は10倍ぐらい早いけど
何十倍も無駄なことやってたら遅くなってしまう

高速な find の出力を |sort |uniq -c したら一応答えでるけど
そのsort がウルトラ処理多い
だったらperl で1行ずつ読んで正しいアルゴリズムで処理したほうが早いだけ

**デフォルトの名無しさん** · 2019/07/14(日) 16:48:51.97

perlでソートしてないから

**デフォルトの名無しさん** · 2019/07/14(日) 19:10:07.29

なんだperlでソートしたら遅いのか

**デフォルトの名無しさん** · 2019/07/14(日) 19:11:22.06

>>227
Plan無いん

**227** · 2019/07/14(日) 20:00:20.57

>>262
GJ！

**デフォルトの名無しさん** · 2019/07/14(日) 20:02:48.24

awk版。ディレクトリ名でソートするなら sort -k2

find . -type f -exec dirname {} + | awk '{c[$0]++}END{for(i in c){printf"%4d %s\n",c[i],i}}' | sort

**デフォルトの名無しさん** · 2019/07/14(日) 20:08:54.86

xargs使ったほうが良いかな

find . -type f | xargs dirname | awk '{c[$0]++}END{for(i in c){printf"%4d %s\n",c[i],i}}' | sort

**デフォルトの名無しさん** · 2019/07/15(月) 08:12:50.57

どうせなら計測結果も付記してくれよ

**デフォルトの名無しさん** · 2019/07/15(月) 10:56:15.79

やってることが同じなら、Perlとawkは比較するまでもないのでは？

**デフォルトの名無しさん** · 2019/07/15(月) 12:22:56.47

数分で書けるのがシェルスクリプトの良いところなんだし
数百万のファイルを何分以内で処理せよとか性能要件があるなら
そもそもシェルスクリプトなんかで書かないわ

**デフォルトの名無しさん** · 2019/07/15(月) 15:08:49.68

高速化するならC言語使うな。

**デフォルトの名無しさん** · 2019/07/15(月) 16:42:34.21

なんかシェルスクリプトを貶す人間ってシェルスクリプトを本来の目的とは違う方法で使った結果失敗して
その恨みを自分の無能さではなくシェルスクリプトにぶつけてる印象。

**デフォルトの名無しさん** · 2019/07/15(月) 16:46:57.72

このパーツは意外と頻度多いからCで書いておいてもいいかもね
| perl -ne '$dirs{$_} += 1; END{for $key (sort keys %dirs) {printf "%5s %s", $dirs{$key}, $key } }'

**デフォルトの名無しさん** · 2019/07/15(月) 19:25:46.44

端末の応答（例えば$ printf '\e]11;?\e\\'で返ってくる\e]11;rgb:〈赤〉/〈緑〉/〈青〉\e\\っていう文字列）を
sedやらなにやらで加工できるように標準出力に流したいんだど
そのままの状態だと端末そのものに文字列が渡ってしまって加工できない。
$ printf '\e]11;?\e\\' | od
みたいにすると（当然だけど）\e]11;?\e\\という文字列がパイプを通ってしまう。

個人的にはsttyとかをうまくやりくりしたらいけそうな気もするのだけど
そういう文書や記事がないのと俺があまり端末の処理に詳しくないのとで今のところ成功していない。
端末応答を標準出力として処理できる方法知らないですかね。

**デフォルトの名無しさん** · 2019/07/15(月) 19:47:51.35

>>272
色というものが何者かわかってないんじゃね？

色を付けるためのエスケープシーケンスっていうのは、
エスケープ文字、ASCIIコード表でESC（0x1B）の文字8進数だと033
ESC文字から始まる一連の文字列の流れ（シーケンス）ってだけだよ
だから0x1Bで始まるその文字列を加工すりゃ良い。

\e]11;の ]11;は単なる文字だけど、\eは（シェルによりけりだが）
0x1Bの文字に置き換わる。だからsedなんかで\eを見つけようとしてもだめ
そんな文字列は流れてこないんだから

**デフォルトの名無しさん** · 2019/07/15(月) 19:59:18.87

>>273
あー。いやそうじゃなくて端末の応答を取得したいんよ。
試しに
$ printf '\e]11;?\e\\'
ってやってみて。多分端末の上に
^[]11;rgb:0c0c/0c0c/0c0c^[\
みたいな文字列が表われる。
この文字列をtestコマンドの対象にしたりしたい。
でも普通の方法ではこの文字列は標準出力ではなく端末の上に直接出力されてるから
そういう加工ができない。

**デフォルトの名無しさん** · 2019/07/15(月) 20:00:57.13

>>274
話の内容を単純化しよう。
文字の内容は今どうでもいい話だろ？

printf 'hogehoge' ってやってみたら
端末の上に、hogehoge って表示されるな？

それでこの文字列をどうしたいって？

**デフォルトの名無しさん** · 2019/07/15(月) 20:20:16.67

わかってない奴が話に絡んでいくなよ
文字列なんか関係ない
奴はttyの出力（もしくは入力）を横取りしてパスワードを盗みたいという話をしてる

**デフォルトの名無しさん** · 2019/07/15(月) 20:21:36.85

$ printf '\e]11;?\e\\' の話だろ？

**デフォルトの名無しさん** · 2019/07/15(月) 21:13:36.27

ぜんぜん違う

**デフォルトの名無しさん** · 2019/07/15(月) 21:15:41.25

>>278
試しに
$ printf '\e]11;?\e\\'
ってやってみて。

**デフォルトの名無しさん** · 2019/07/15(月) 21:21:51.85

>>276
パスワードだとしたら、出力には返ってこないから横取りもできないんじゃね
パスワード生で出力するようなアレでなければ

**デフォルトの名無しさん** · 2019/07/15(月) 21:35:01.81

>>280
だから入力って書いたじゃん
エコーバックやめるタイミングを捕まえて入力側をだな
まあいいや、俺も答え知らないしｗ

**デフォルトの名無しさん** · 2019/07/15(月) 21:42:13.41

>>274
そういうのが出る Terminalアプリもあるし出ないのもある
Terminalアプリが出しているんでしょ、そのエスケープシーケンスを Terminalの画面制御のために
Terminalアプリの作りによるんじゃないかなあ、また、Terminalアプリで何か提供してなきゃダメなんじゃないかなあ

>281
そもそもは出力をだから出力で入力をは無理だな。エコーバックは今時はローカルではしてないんじゃね、パスワードを生で表示だろしw

**デフォルトの名無しさん** · 2019/07/15(月) 22:20:41.82

なんのエスケープシーケンスなのか知らずにだったが、OSC Operating System Commandつうのね。で、制御ではなくてリポート(情報)なのね
Teminalアプリは、それを相手(シェルプログラム)への入力として出力しているのでできそうか

**デフォルトの名無しさん** · 2019/07/15(月) 22:24:08.87

ls結果をテキストエディタで開いた時[0mだらけで焦った思い出
ANSIカラーコードって正規表現で消せるのかしら

**デフォルトの名無しさん** · 2019/07/15(月) 22:38:58.41

消してみた
ほぼ消えたといって問題ないのでは？
https://i.imgur.com/rV7A7JG.jpg

**デフォルトの名無しさん** · 2019/07/15(月) 22:54:17.82

>>274
#!/bin/bash
result=''
printf '\e]11;?\e\\'
while read -s -N 1 -t 0.2 char
do
result="$result$char"
done
printf "%s" "$result" > hoge

試行錯誤中だけど、こんなんで取れてる

**デフォルトの名無しさん** · 2019/07/15(月) 22:55:24.82

>>275
その文字列はパイプで処理できるじゃん。
例えば
$ printf 'hogehoge' | sed -e 's/hoge/fuga/'
でも端末応答の文字列はそういう処理ができないのよ。
試してみると分かる。

**デフォルトの名無しさん** · 2019/07/15(月) 22:59:10.56

>>286
すげえ！ありがとう！
なるほどなぁ。readコマンドで対処するのか……。
全然文字列が取得できなくて悩んでたからマジで助かったわ。

**デフォルトの名無しさん** · 2019/07/16(火) 01:24:24.20

こんな感じかなぁ

$ stty -echo;printf '\e]11;?\e\\'; IFS=';' read -r -d '\' _ bgcolor;stty echo
$ echo $bgcolor
rgb:3232/3232/3232

**デフォルトの名無しさん** · 2019/07/16(火) 01:27:52.36

あ、尻尾に ESC(0x1b) が付いてるから適当に削ってちょ

**デフォルトの名無しさん** · 2019/07/16(火) 02:07:13.54

>>290
末尾のESC \は端末が返す文字列の仕様だから問題ないと思う。
というか応答の形式が
ESC ] 11;rgb/3232/3232/3232 ESC \
↑こういう感じ。

**デフォルトの名無しさん** · 2019/07/16(火) 16:37:09.91

シェルスクリプトでラムダ計算を実装するとしたらどんなインターフェースがいいんだろう。

lambda -x @ 'echo @ | tr "[A-Z]" "[a-z]"'
でもこれだとこの後に適用したい変数を持って来たときにlambdaコマンドの引数と見分けがつかなくなる…。

**デフォルトの名無しさん** · 2019/07/16(火) 16:40:13.19

パイプつなげるのが普通だから
xargs とか
なんか {} みたいなのでこれまでのパイプの流れてきたのを表現する
コマンドがあったからそれでいいんじゃないか？

**デフォルトの名無しさん** · 2019/07/16(火) 16:55:42.40

>>292
何が問題なのかわからんけど、

1. ラムダ計算だとしてlambdaコマンドに引数なんているの？
2. 'echo なんたら' の前がlambdaコマンド引数、後ろがechoの引数でいいだろ？
3. 'echo なんたら' で区切れない場合、-- で区切るのがよくある実装方法

って言っておくよ

**デフォルトの名無しさん** · 2019/07/16(火) 17:34:51.11

>>293
そうそう。xargsみたいなのを妄想してるw

**デフォルトの名無しさん** · 2019/07/16(火) 19:39:35.56

>>294
例えばPython3のラムダ計算だと
(lambda x: x * x)(3)
みたいな形式じゃん。
キーワードlambdaをコマンド
変数宣言x:を、どんな変数を扱うかというオプション
（xargsで言う-I）
演算本体のx * xは被演算子
としてみた。

**デフォルトの名無しさん** · 2019/07/17(水) 23:26:41.26

このラムダ計算は偽物だ。食べられないよ。
また明日来てください。僕が本当のラムダ計算をお見せしますよ。

**デフォルトの名無しさん** · 2019/07/17(水) 23:47:22.37

このラムダは食べられないよ。ラムダこりゃ～

**デフォルトの名無しさん** · 2019/07/17(水) 23:56:54.05

>>297
楽しみにしております ^ ^;

**デフォルトの名無しさん** · 2019/07/18(木) 11:57:22.02

>>297
本物のラムダ計算はよ。

**デフォルトの名無しさん** · 2019/07/18(木) 11:58:54.05

いくら待ってもムラダ。

シェルスクリプト総合 その30

シェルスクリプト総合その30