シェルスクリプト総合その30

**デフォルトの名無しさん** · 2019/07/01(月) 23:04:27.02

シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。

前スレ:
シェルスクリプト総合その29
https://mevius.5ch.net/test/read.cgi/tech/1537540487/

**デフォルトの名無しさん** · 2019/08/01(木) 12:25:28.77

set -eはshellをexitするから当然の動作じゃない？
foo && : だと最終的なfooの戻り値を判定する必要があるからfalseで止まらずに最後まで行くんじゃないか

関数の中だけなら横着せずに
false || return
しろってことじゃないかな

**デフォルトの名無しさん** · 2019/08/01(木) 13:07:42.24

後処理だけなら、trap '後処理' ERR でやれば
根本的に -e の使い方が違うと思うけど

**デフォルトの名無しさん** · 2019/08/01(木) 13:10:18.98

$ dash
$ trap : ERR
trap: ERR: bad trap

**デフォルトの名無しさん** · 2019/08/01(木) 13:15:37.05

EXIT でもいいぞ

**デフォルトの名無しさん** · 2019/08/01(木) 13:17:58.23

どうやってEXITから終了せずに通常の流れに戻すの？

**デフォルトの名無しさん** · 2019/08/01(木) 13:19:11.98

なんやお前は
「後処理だけなら」って言ってるだろ

**デフォルトの名無しさん** · 2019/08/01(木) 15:30:04.66

SIGHUT とかのシグナル部分を書くとか？

**デフォルトの名無しさん** · 2019/08/01(木) 20:47:35.88

func() {
return 123
}

if ! func; then
echo $?
fi

0って表示されるんだけど、どういうこと！？

**デフォルトの名無しさん** · 2019/08/01(木) 21:31:03.39

>>446
戻り値123を!しているから0になっただけでは

**デフォルトの名無しさん** · 2019/08/01(木) 21:33:30.40

こう書けってことか？
面倒くさいな

if func; then
:
else
echo $?
fi

**デフォルトの名無しさん** · 2019/08/01(木) 22:05:20.92

func || echo $? でいいんじゃね

**デフォルトの名無しさん** · 2019/08/01(木) 22:10:56.38

実際にはecho $?以外にもすることがあるから

**デフォルトの名無しさん** · 2019/08/01(木) 22:27:36.45

んじゃ、

func || { echo $?; ... ; }

とか。

**デフォルトの名無しさん** · 2019/08/02(金) 02:34:53.77

Cじゃないから終了コードをそんな風に使わないほうが良い気がする…
あくまで「気がする」だけだけど

**デフォルトの名無しさん** · 2019/08/02(金) 02:59:49.78

値が 0 とそれ以外だけではなく、
それ以外にも、ある程度数値に意味があるのもあるからいいんじゃないのと思うけど

**デフォルトの名無しさん** · 2019/08/02(金) 03:02:36.73

ああ、そんな風 = 返り値が勝手に暗黙的に変わる変わらないってことかな？
だったらほぼ同意

**デフォルトの名無しさん** · 2019/08/02(金) 03:40:21.45

>>453
あー。例えばあるコマンドで「ファイルが無い」ことを示すのに
exit 32が返ってくるとして
それに応じた最適なエラー処理をするってことかな？

**デフォルトの名無しさん** · 2019/08/02(金) 03:54:22.19

まあ元レスの人がどういう使い方をしたいのかわからんけど、そういう感じ

**デフォルトの名無しさん** · 2019/08/02(金) 07:48:45.01

bcコマンドで階乗計算をしたくてコードを書いてるんだけど↓
n = 2
define f(n) {
f = 1
if (n == 0) { return(f) } /* 0! := 1 */
f = n * f(n - 1)
return(f)
}
"0! = "; f(0)
"1! = "; f(1)
"2! = "; f(2)
"5! = "; f(5)
多分これでいい筈なんだけどreturn式を二度使ってるのがダサく感じる…
もうちょっと賢い方法知らない？

**デフォルトの名無しさん** · 2019/08/02(金) 07:49:38.54

ごめん一行目のn=2は無視って。

**デフォルトの名無しさん** · 2019/08/02(金) 08:02:59.58

define f(n) {
if (n == 0) {
f = 1
} else {
f = n * f(n - 1)
}
return(f)
}

とか( n < 0 の場合、無限ループになるけど）

**デフォルトの名無しさん** · 2019/08/02(金) 08:15:06.73

>>459
ありがとう。
でもelseって使えなくない？ GNU bcだと使えるのかな？
http://pubs.opengroup.org/onlinepubs/9699919799/utilities/bc.html

**デフォルトの名無しさん** · 2019/08/02(金) 08:42:59.37

elseはGNU拡張
else使えないならこうするしかない

define f(n) {
if (n == 0) { f = 1 }
if (n != 0) { f = n * f(n - 1) }
return(f)
}

**デフォルトの名無しさん** · 2019/08/02(金) 09:23:07.90

>>438
それ喩える意味あるぅ？
情報量低すぎるどころか混乱を招いて逆効果だわ。
「グーはチョキに勝つ。そう、斧が槍に強いように」とか言われてる気分。

**デフォルトの名無しさん** · 2019/08/02(金) 11:27:07.42

世の中には例え話を持ち出さないと気が済まない人が一定数存在する。

**デフォルトの名無しさん** · 2019/08/02(金) 12:50:24.63

>>462
知らんけど昔の人が思い付いていいと思ったから書いたんだろう。

**デフォルトの名無しさん** · 2019/08/02(金) 12:51:11.15

>>190 WindowsにJavaが入るかもって話あったの？そもそもそんな話すらなくね？

**デフォルトの名無しさん** · 2019/08/02(金) 13:50:46.03

>>465
昔あったっしょ
Microsoft J++だったっけ？
JDirectとか言うCOMかActiveXコントロールかを直接呼び出せる機能拡張付きで、
それにSunがケチを付けて(確か)裁判沙汰になって、結局廃止になったやつ
TCKにも通らないだろうからJavaは名乗れないはずだけど

**デフォルトの名無しさん** · 2019/08/02(金) 13:54:51.56

>>465
90年代後半にだな・・・

**デフォルトの名無しさん** · 2019/08/02(金) 13:57:46.29

「マイクロソフトが Java に塩を混ぜた！」ってやつか

**デフォルトの名無しさん** · 2019/08/02(金) 20:32:46.34

sedかなにかで↓
<td>
AAAA
</td>
<td>
BBBB
</td>
↑っていうデータのBBBを取り出したい。

残念なことにtdにIDやらなにやらが賦与されてないから手段としては
「1番目に表われた/<td>/<\/td>/は無視って2番目の/<td>/<\/td>/の中身を表示する」
っていうのになると思う。しかし方法が思い付かない……。
できればsed, awkあたりで処理できればいいなと思ってるんだけど，どなたか力を貸してほしい。

上のデータだけど，「実際はもっと複雑でtableが入れ子になってる」とかそういうことはないです。

**デフォルトの名無しさん** · 2019/08/02(金) 20:38:11.21

なら5行目を取り出せばいいじゃん

**デフォルトの名無しさん** · 2019/08/02(金) 20:40:10.25

/^<td>$/{n;/BBB/p}

**デフォルトの名無しさん** · 2019/08/02(金) 20:44:47.38

今までのレスからはそんな質問するはずがないとしか思えないんだけどw
<td>AAA
</td>
<td>
BBB</td>
なんぞリターンがあってもなくてもいいというhtml/xmlらしく、行がちゃんとしているわけではないとか？

**デフォルトの名無しさん** · 2019/08/02(金) 21:06:45.26

>>469
俺ならシェルスクリプト使わずにHTMLパーサに食わせるな
nodejsでcheerio使うとか楽な方法を選ぶね

**デフォルトの名無しさん** · 2019/08/02(金) 21:06:52.97

GNU sed の -z オプションを使って

$ sed -rz 's:.*</td>\n?<td>\n?(.*)</td>.*:\1:' data.html

**デフォルトの名無しさん** · 2019/08/02(金) 21:07:39.38

>>472
そうです。相手はHTMLなんで改行されてない場合が普通にあるんです……。
つくづくUnixツールとマークアップ言語は相性悪いなぁと思いますw

**デフォルトの名無しさん** · 2019/08/02(金) 21:30:15.54

GNU grep ならこんな感じ

$ grep -Pzo '<td>\n?\K(.|\n)*?(?=\n?</td>)' x.xml | tr '\0' '\n' | sed -n 2p

**デフォルトの名無しさん** · 2019/08/02(金) 21:35:20.07

>>476
すげぇ！
ありがとうございます！とりあえず脳死状態でコピペさせていただきます。
正規表現の勉強しないとなぁ……。

**デフォルトの名無しさん** · 2019/08/02(金) 21:38:37.66

正直、CLIツール使って一発でやってしまおう！
なんて考えるから難しくなるんだよ。
一行一データになってないものは、
シェルスクリプトでやったほうが楽

#!/bin/sh
a=$(cat html.txt)
a=${a#*<td>}
a=${a#*<td>}
a=${a%%</td>*}
echo "$a"

**デフォルトの名無しさん** · 2019/08/02(金) 21:38:54.44

>>475
>を>\nにして\n\nを\nにすればいいだけじゃないの？

**デフォルトの名無しさん** · 2019/08/02(金) 21:59:02.93

xmllint使えは禁句なの？

**デフォルトの名無しさん** · 2019/08/02(金) 22:00:05.58

Ruby なら、すべての改行を削除してから、最短マッチ

str = <<"EOT"
<td>
AAAA
</td>
<td>
BBBB
</td>
EOT

str.delete!( "\n" ) # すべての改行を削除する

re = /<td>(.*?)<\/td>/ # ? は最短マッチ

p results = str.scan( re ).flatten
# ["AAAA", "BBBB"]

p results[ 1 ]
# "BBBB"

**デフォルトの名無しさん** · 2019/08/02(金) 22:47:11.19

>>480
残念ながらそのHTMLは整形形式じゃないのでマトモに解析できないんです。

**481** · 2019/08/02(金) 23:15:30.78

Ruby で、nokogiri パーサーなら、

require 'nokogiri'

doc = Nokogiri::HTML( <<EOT.delete( "\n" ) ) # すべての改行を削除する
<td>
AAAA
</td>
<td>
BBBB
</td>
EOT

elements = doc.css( "td" )
p elements.first.content #=> "AAAA"
p elements[ 1 ].content #=> "BBBB"

**デフォルトの名無しさん** · 2019/08/02(金) 23:29:54.36

>>476
\Kじゃなくて(?<=..._)で書いたほうが読みやすくね？とか思ったけど
PerlやPCREじゃlookbehindに可変長になるパターンは指定できないのか
JavaScriptだと通るんだよね....

**デフォルトの名無しさん** · 2019/08/02(金) 23:34:34.72

Ruby遅すぎるんだよ

$ time ruby html.rb
"AAAA"
"BBBB"

real 0m0.079s
user 0m0.079s
sys 0m0.000s

$ time sh html.sh

BBBB

real 0m0.002s
user 0m0.002s
sys 0m0.000s

**デフォルトの名無しさん** · 2019/08/02(金) 23:36:49.26

これも遅いな。やっぱりシェルスクリプトが一番か

$ time grep -Pzo '<td>\n?\K(.|\n)*?(?=\n?</td>)' x.xml | tr '\0' '\n' | sed -n 2p
BBBB

real 0m0.003s
user 0m0.004s
sys 0m0.003s

**デフォルトの名無しさん** · 2019/08/02(金) 23:38:32.60

こうしたらさらに速くなったわｗ
シェルスクリプト最強伝説

#!/bin/sh
a="
<td>
AAAA
</td>
<td>
BBBB
</td>
"

a=${a#*<td>}
a=${a#*<td>}
a=${a%%</td>*}
echo "$a"

$ time sh html.sh

BBBB

real 0m0.001s
user 0m0.001s
sys 0m0.000s

**デフォルトの名無しさん** · 2019/08/02(金) 23:46:41.69

>>487
スクレイピングする時にそんなコード毎回書くわけ？

**デフォルトの名無しさん** · 2019/08/02(金) 23:58:58.92

a#*
a%% あたりがシェルスクリプト独自の難読パーツだが
覚えたら高速なのか...

**デフォルトの名無しさん** · 2019/08/03(土) 00:25:50.69

>>489
どっかの書籍（確かオライリー）に
数字を考えて#は数字の前に，%は数字の後に付ける。
という連想から
#及び##は前から削る，%及び%%は後から削ると覚えるといいと書いてあった。

**デフォルトの名無しさん** · 2019/08/03(土) 00:33:21.53

自分は
キーボードの左側: # -> prefix
キーボードの右側: % -> suffix
で、削るんだっったっけ？残すんだったっけ？
結局毎回調べるという体たらく

**デフォルトの名無しさん** · 2019/08/03(土) 00:40:18.71

>>490
thanks

**デフォルトの名無しさん** · 2019/08/03(土) 00:57:31.70

>>482
ブラウザでF12キーでコンソール開いて、
var q = (xml, query) => new DOMParser().parseFromString(`<xml>${xml}</xml>`, 'application/xml').querySelector(query).innerHTML.trim();

var text = q(`
<td>
AAAA
</td>
<td>
BBBB
</td>
`, 'td:nth-of-type(2)');
console.log(text); //=> BBBB

xmlとしてのパースだから、
q(`<chinko>AAAA</chinko><chinko>BBBB</chinko>`, 'chinko:nth-of-type(2)');
とかでも大丈夫。

一方htmlとしてもパースできるけど少なくともtableタグは補わなきゃならんね↓
var q = (html, query) => new DOMParser().parseFromString(html, 'text/html').querySelector(query).innerHTML.trim();

var text = q(`
<table>
<td>
AAAA
</td>
<td>
BBBB
</td>
</table>
`, 'td:nth-of-type(2)');
console.log(text); //=> BBBB

**デフォルトの名無しさん** · 2019/08/03(土) 03:42:42.10

>>490
> 数字を考えて#は数字の前に，
あー、ナンバーサインか

俺は、コメントだから頭につけるって覚えてたわ
%は同じく100%の%で後ろって覚えてたけど

**デフォルトの名無しさん** · 2019/08/03(土) 04:43:13.91

>>494
俺含め日本人には#42みたいなのは馴染み薄いよね…
まあ「全く知らない概念」ではなかったから
とりあえず#は前，%は後，というように覚えられたけど。
コメントっていうのはいい案だと思う。
シェルスクリプトを書いている全員が把握できる概念だから。

**デフォルトの名無しさん** · 2019/08/03(土) 05:33:16.75

ナンバナィン？

#はスーパーユーザで%はcshだな

**デフォルトの名無しさん** · 2019/08/03(土) 06:07:39.94

シェルスクリプトの#と%はなんとなく使えてるが正規表現の前後読みは未だに無理ポ

**デフォルトの名無しさん** · 2019/08/03(土) 06:23:53.55

正規表現の割と新しめの拡張は
既存のメタ文字と被らないようになってるから類推しにくい記号になってしまってる場合が多い。
…まあ出典とかなくて俺の予想だけどw

最近だと「名前空間」的な概念が登場して\p{Kata}みたいな書き方が増えてきて助かる。
覚えるの簡単！

**デフォルトの名無しさん** · 2019/08/03(土) 08:10:24.89

なんのこっちゃと思ったら.NETか
[:Katakana:]でいいんじゃないか。すでにあるからわかりやすいし
思惑でそうしてないんだろうけど

**デフォルトの名無しさん** · 2019/08/03(土) 09:10:18.89

>>499
いや\p{Kata}っていう正規表現が使えるのはかなり広範な言語よ
少くともICUバインディングがあれば使える筈。

**デフォルトの名無しさん** · 2019/08/03(土) 09:11:02.22

逆に.NETでUnicodeロケールの正規表現が使えるとは思いもよらなんだ

**デフォルトの名無しさん** · 2019/08/03(土) 09:42:41.49

...| perl -pe 's{" [^"]+ "}{ $& =~ s/ /-/gr }xeg'|...
awk でもできるかもしれないけどこの正規表現が便利
"text with blank space" の中だけ空白を-で詰め物するのに使っている

空白があると正常に動作しないコードの前パイプに挟む

**デフォルトの名無しさん** · 2019/08/03(土) 10:30:59.00

>>502
なんかコマンドの引数の仕様とかを利用して
POSIXの範囲で実装できそう。
もちろんperlで十分だけど。

abc def "text with blacket" dee
に対して
abc def "text-with-blacket" dee
ってい出力を返す訳だから
for str in abc def "text-with-blacket" dee; do
printf '%s\n' "$str" | tr ' ' '-'
done | tr '\n' ' '
とか？
あ，駄目だこれだと"が戻ってこねーw

**デフォルトの名無しさん** · 2019/08/03(土) 11:33:18.72

無理やり

echo 'abc def "text with blcket" dee' |
sed -E 's:^(.*)"([^"]*)"(.*)$:printf "%s\\"%s\\"%s\n" "\1" $(echo "\2"|tr " " "-") "\3":e'

**デフォルトの名無しさん** · 2019/08/03(土) 11:35:32.45

$ echo やまだヤマダ山田 | grep -oP "\p{Katakana}"
ヤ
マ
ダ

-o使うと改行されるのね

**デフォルトの名無しさん** · 2019/08/03(土) 12:22:48.42

スペース区切りでよければ

$ echo やまだヤマダ山田 | grep -oP "\p{Katakana}" | xargs
ヤマダ

**デフォルトの名無しさん** · 2019/08/03(土) 13:09:38.57

>>485
何百ページもパースするの?
Ruby でも十分早いと思うけどなあ

**デフォルトの名無しさん** · 2019/08/03(土) 13:55:12.22

40秒で支度しな

**デフォルトの名無しさん** · 2019/08/04(日) 17:11:27.60

俺だったらperl使って全部読んで長い一行として扱って抜き出すか、または XML::Simple モジュール使って変数に展開してから取り出すかするかな。

つまり、シェルスクリプトは使わない。やってやれないことはないと思うが複雑怪奇なものになりそうなので。

**デフォルトの名無しさん** · 2019/08/04(日) 17:12:43.83

あ、リロード忘れて書いたら山盛りで他の書き込みが・・・

俺の書いたことは忘れてくれ。

**デフォルトの名無しさん** · 2019/08/04(日) 17:13:02.34

【小沢が育てた刺客】　山本太郎「政権を仕留める」
http://lavender.5ch.net/test/read.cgi/giin/1564896780/l50

**デフォルトの名無しさん** · 2019/08/04(日) 18:10:11.11

丸くても刺客

**デフォルトの名無しさん** · 2019/08/04(日) 18:11:50.20

40秒で刺客しな

**デフォルトの名無しさん** · 2019/08/04(日) 18:22:43.73

PythonのBeautifulSoupだと、パーサーにCで書かれたlxmlを選べるようになってるんだが、
そういうの使えば、シェルの方が断然速いとはならないんじゃないかな？
PerlとかRubyにも似たようなのはあるでしょ。

**デフォルトの名無しさん** · 2019/08/04(日) 18:40:40.05

ディレクトリに、test01 ～ test99 ファイルがある時に、
test100, test101 と、ファイルを増やしていくと、

表示順が、test20, test21 などよりも、
test100, test101 の方が、先に来るようになった

これらを数字順で表示するには、どういうフィルターを作れば良いでしょう？

まあ、すべてのファイル名を、test001 など、3桁表示に変えれば、解決するけど

**デフォルトの名無しさん** · 2019/08/04(日) 19:18:29.22

>>515
プレフィクスが一緒なら
そのプレフィクスと0パディングを切り取ってsortに掛ければいいんじゃないかな。
で並び換えたものにプレフィクスと%0dを追加する。

ファイル名じゃなくてすまんが↓こんな感じ？
$ <<. sed 's/test0*//1' | sort -n | while read line; do printf 'test%02d\n' $line; done
test99
test100
test21
test01
test20
test101
.

**516** · 2019/08/04(日) 19:38:16.75

改良。あとsort -nって0埋め関係ないんだな。
http://pubs.opengroup.org/onlinepubs/9699919799/utilities/sort.html#tag_20_119_04

ls -1 test* | sed 's/^test//' | sort -n | xargs -I @ printf 'test%02d\n' @

**デフォルトの名無しさん** · 2019/08/04(日) 19:45:40.73

>>515
GNUのsortなら-Vオプションがあるけど...
ls | sort -V
あるいはtest[0-9]*のファイルだけなら
ls | sort -t t -k 3n
とか（汚いけど）

**デフォルトの名無しさん** · 2019/08/04(日) 20:01:45.96

>>515
ls -v

**デフォルトの名無しさん** · 2019/08/04(日) 20:02:42.33

>>515
GNU coreutils の ls コマンドなら -v オプションで version sort してくれる

$ ls -v test*
$ man ls

-v natural sort of (version) numbers within text

**デフォルトの名無しさん** · 2019/08/04(日) 20:05:19.04

となるとMacは切り捨てだな

**デフォルトの名無しさん** · 2019/08/04(日) 20:06:51.77

おお、lsにも-vオプションあったっけ

**515** · 2019/08/04(日) 21:06:16.73

>>518
GNUのsort、-V オプション
ls | sort -V

これは便利！

**デフォルトの名無しさん** · 2019/08/04(日) 21:11:25.12

sort --help には
-V, --version-sort 自然な (バージョン) 数字順でソートする

って書いてあるけどさ、これセマンティクスバージョニングでの
比較にちゃんとなってるの？正確な仕様がわからん

**デフォルトの名無しさん** · 2019/08/04(日) 21:14:26.03

なんにせよ可搬性ないからあまり使わんほうがいい

**デフォルトの名無しさん** · 2019/08/04(日) 23:41:22.05

シェルスクリプトに可搬性期待するなって結論出たろ

**デフォルトの名無しさん** · 2019/08/05(月) 00:49:19.74

bashごと持って行けばいいんじゃね？
他のインタプリタ系の言語ってみんなそうしてるっしょ？

**デフォルトの名無しさん** · 2019/08/05(月) 00:58:52.07

>>526
馬鹿だなぁ。sortはシェルスクリプトじゃないよ。
sortコマンドだよ。可搬性がないのはsortコマンドだよ。
シェルスクリプトで実装すれば可搬性があるよ

**デフォルトの名無しさん** · 2019/08/05(月) 01:59:22.26

sortは-hもよく使うな
du -hc * | sort -hみたいに

**デフォルトの名無しさん** · 2019/08/05(月) 02:53:17.73

>>527
sortコマンドはBash組込みコマンドじゃないから関係ないんじゃ…

**デフォルトの名無しさん** · 2019/08/05(月) 04:07:47.17

busyboxをスクリプトに同梱して、
全部これに解釈させればいいじゃん
ashに加えて、よく使うコマンドも一緒についてくる

**デフォルトの名無しさん** · 2019/08/05(月) 04:23:15.10

いいじゃんと言われても…いいね。としか答えようがないw

**デフォルトの名無しさん** · 2019/08/05(月) 06:43:25.45

exitコマンドってexit $?とやってやらなくても前に実行したコマンドの終了コードを見てくれるんだな。
ずっとexit $?ってやってたわw

**デフォルトの名無しさん** · 2019/08/05(月) 07:20:51.08

if $? でやるより
&& || で分岐したほうがらしい感じにならないか？

**デフォルトの名無しさん** · 2019/08/05(月) 08:03:05.75

>>534
ああいや。
埋め込みシェルスクリプト（←なんて呼べばいいのか知らんけど
実行形式のファイルで冒頭に書かれてることがある
そのファイル自身を伸長するシェルスクリプトのこと）
で使ってたのよ。
#!/bin/sh

< "$0" sed -n '5,$p' | unar -
exit $?
こっからZIP
↑みたいに。

**デフォルトの名無しさん** · 2019/08/05(月) 11:46:23.87

tputの存在理由はわかるが
現実的な問題として、どういう場合にtput使ってよかったって思える？
もうエスケープシーケンス決め打ちでよくね？

**デフォルトの名無しさん** · 2019/08/05(月) 12:52:22.28

clearコマンドがPOSIXで定められていないのをいいことに実装されていない環境がある。
そのときにtput clear。

**デフォルトの名無しさん** · 2019/08/05(月) 13:19:56.72

> 実装されていない環境がある。

「現実的な問題」っていうのはその実装されてない環境なんて、
今どきあるの？って話なんだよ。

シェルスクリプト総合 その30

シェルスクリプト総合その30