X
シェルスクリプト総合 その27
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠お腹いっぱい。
垢版 |
2018/05/03(木) 17:54:23.25
シェルスクリプトの総合スレです。
□お約束
・特記なき場合はBourne Shell(/bin/sh)もしくはPOSIX準拠の互換シェルがデフォルトです。
　bash/zsh/ksh/ash/dash/yash/poshなどの専用機能に依存する場合は明示しましょう。
　Linuxユーザは/bin/shの正体がbashまたはdashなので特に注意。
　FreeBSDユーザは/bin/shの正体がashなので注意。
・POSIXについてのリンクは https://en.wikipedia.org/wiki/POSIX にまとめられています
　最新の仕様はこちらへ http://pubs.opengroup.org/onlinepubs/9699919799/
　（左上の「Shell & Utilities」 から参照することができます。）
・v7 shに一番近くて、現役（？）のshは、OpenSolaris由来のheirloom sh。
　 http://src.illumos.org/source/xref/illumos-gate/usr/src/cmd/sh/
　 http://heirloom.sourceforge.net/sh.html
・csh/tcshのシェルスクリプトは推奨されません。
　(理由は「csh-whynot」でググれ)
・UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。
　manや参考リンクを見ましょう。
　aproposないしはman -kでそれらしい単語による簡単な検索もできます。
・シェルで使えるワイルドカード等は正規表現ではありません。
　正規表現の話題はスレ違い(正規表現スレへ)
・シェルスクリプトのことをシェルってゆうな
□初心者へのアドバイス:
・適した道具を判断するのも頭の重要な使い方。シェルスクリプトよりも
　awkまたはperlの方が適した処理にはそちらを使いましょう。
・知らないコマンドが出てきたらmanを引きましょう。
・思い通りに動かないときは、まずは sh -x でトレースしましょう。
□回答者への注意事項:
・シェルスクリプトでの処理方法を質問しているのに、よくわからずに
　「そういうのはperl使いましょう」と回答するのはやめましょう。
　安易にperlに逃げずにシェルスクリプトで処理するのが頭のいいやり方。
　質問に対して問題が間違ってるといちゃもんをつけるのもやめましょう
前スレ シェルスクリプト総合 その26
https://mevius.5ch.net/test/read.cgi/unix/1489979246/
0079名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 10:25:03.40
>>77
>>78
もの凄く高度ですね…
自分には理解できるかわかりませんがじっくり読ませてください
ありがとうございます
008172
垢版 |
2018/05/21(月) 10:39:59.27
自分はfindを使うやり方を考えていました
0083名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 10:50:09.46
>>77
[ ! -f "$filehoge" ] && exit 1
の間違いもあった。&&抜けてた、すまん。

>>79
ん？まあ、for(forはアレでアレの回避があったような気がするがすぐ忘れる。 | while read hoge しか使わないので) と if(明示するだけだけど)で書けばいいよ

...
for hogedir in $(seq -f 'hoge%02g' 1 99)
...
if [ -d "$hogedir" ] && [ ! -f "$hogedir/$filehoge" ]; then
cp "$filehoge" "$hogedir"
...
fi
0085名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 11:19:28.01
やっぱりダメなのかな？？
touch 'hoge 01';touch 'hoge$02'
for name in "$(/bin/ls -1)"
/bin/ls -1 | while read name
やっぱforはメンドクサイから、安心簡単な while でいいやっ
008672
垢版 |
2018/05/21(月) 12:04:38.46
>>82
考えるのに役立つアドバイスありがとうございます

>>83>>84>>85
更新してくださりありがとうございますm(_ _)m
読ませていただきます
008772
垢版 |
2018/05/21(月) 12:08:42.09
初心者ですが面白くなってきました
今日中に仕上げられるよう頑張ります
0089名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 15:08:37.35
>>82
それはexecの中でやればいいんじゃ

お題とは別に、存在しないことの確認だけだったら、
検索条件に入れればいいだけだし
0090名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 18:16:23.91
質問です。
シェルスクリプトファイルを実行する方法として
1. 利用者に応じた実行権限を賦与する
　　$ chmod +x scriptfile.sh
　　$ ./scriptfile.sh
2. sh(1)コマンドの引数として実行する
　　$ sh scriptfile.sh
という方法がありますが，どちらがより良いか教えてください（というかスクリプトの実行結果自体にはたして違いはあるのでしょうか）。
今まで一つ目の方法しか知りませんでしたが，もし二つ目になんら欠点がなければよりコマンドの数が少ない
（極端に言えばchmod(1)コマンドがなくてもできる）後者の方法を使っていきたいです。
どうかよろしくおねがいします。
0091名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 18:37:27.68
psで見てみ。1 でも、そのシェルスクリプトファイルのシバン(*1)で指定したインタプリタ(シェル)を、引数としてそのシェルスクリプトファイルをで起動してるから

1はコマンド、2はスクリプトファイルっていう違い。/usr/binなどの中のコマンドでも実態はシェルスクリプトやPerlスクリプト等なのがあるけど、そんなの気にしてない気づいてなくコマンドとして使ってたりするだろ？
まあ、コマンドとして必要じゃない(コマンドの数が少ないって意味がわからんが一時的とかか？)んだったら、別にスクリプトファイルとしてで全然普通

1) お約束事項のような
#!/bin/sh
もう俺は気にしてなくて
#!/bin/bash
だけど
0093名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 19:18:46.42
>>82
hogefile="test"
find . -maxdepth 1 -type d -name 'hoge[0-9][0-9]' -exec bash -c "test -f {}/$hogefile || cp $hogefile {}" \;

こんな感じとか？俺は、俺も、そうはしないけど。-exec は使ったことないのでどこまでできるのかよくわからんな。なのでbashスクリプトにした／逃げた
0094名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 19:23:57.41
>>91
ありがとうございます。
ps(1)コマンドで確認したところ，たしかに両方ともにシェルが始めに起動されていました。
（素朴な疑問なんですが，PIDが連続しているのは偶然ですか？ 原理的に必然ですか？）
1の方法だと一見シェルは起動されていないように見えるけれども，シバンに書かれたシェルがまず起動するということですね。
ということは全く違いはないという理解でよいでしょうか。
>>92
なるほど。1の方法は永続的，2の方法は試験目的で一時的に作ったファイルなどに対し用いるということですね。
0095名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 19:38:22.80
シェルプロセスが勝手に起動されるか明示的に起動するかで、なんかあった(rcやprofileを読まないとか起動時の環境設定の動作)が今回のようなのは関係ないだろう、気にすんなw
PIDはだいたい普通にインクリメント。なにかプロセスが起動するごとにそれの新しいPIDはインクリメントされた値かな
0096名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 22:42:20.13
OSによってはセキュリティ的な理由でPIDをある程度ランダムに割り当てるので連続にはならない。
BSD系はどれもデフォルトだとランダムじゃないかな。
0097名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 23:07:13.46
PIDが若いから特権があるわけでもないしPIDが推測しやすいからっていうセキュリティ懸念ってなんだろ？
0098名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 23:36:33.95
cat >/tmp/tmpfile.$$
みたいに手抜きな一時ファイル作成してると
シンボリックリンク攻撃くらうからそのリスクを減らせたりする。
ちゃんと攻撃避ける正しい書き方してれば関係ない話だけど、
世の中にテキトーなスクリプトは尽きないから。
0100名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 23:43:34.05
ん？PIDを知ることができる(当然知ることは普通にできる)ってとこがキモで推測しやすいのとは別のような。まあ、いいや、ナニかあるなってことで
0101名無しさん＠お腹いっぱい。
垢版 |
2018/05/21(月) 23:47:30.91
ああ、シンボリックリンク攻撃を誤解してた。事前に(大量に)シンボリックリンク作ってしまうわけね。なるほど
0102名無しさん＠お腹いっぱい。
垢版 |
2018/05/22(火) 02:34:29.36
知り合いから教えてもらったパソコン一台でお金持ちになれるやり方
時間がある方はみてもいいかもしれません
グーグルで検索するといいかも『ネットで稼ぐ方法　モニアレフヌノ』

GXGZT
0103名無しさん＠お腹いっぱい。
垢版 |
2018/05/22(火) 12:13:09.28
シンボリック攻撃ってシンボリックリンクを作成する時にパーミッション関連の隙を突いて本来保護されているコマンドを改竄することだよね。
大量に作成する必要なないんじゃないかしらん。もちろんある種の陽動にはなるだろうけど。
010472
垢版 |
2018/05/22(火) 19:13:09.08
>>77>>78
これで一発で成功しました
驚いています
このコードをもっと理解すると共に、自分も先輩のようなプログラマーになれるよう勉強を続けていきたいです
マジで助かり、勉強になりました
本当にありがとうございました
010572
垢版 |
2018/05/22(火) 23:19:32.73
もちろん>>83の修正も加えさせていただきました
コードをくだすった方と同じ方かはわかりませんがそもそも>>75でこちらの仕様を把握してくださったのがすごい
要求仕様、要件定義の大切さも少しわかりました
そしてコードはこちらの望む通りの結果を出して一発で動きましたよと
010772
垢版 |
2018/05/22(火) 23:57:04.16
>>106
そうでしたかm(_ _)m

いずれにせよスレの複数の先輩方にお世話になりました
しかも勉強になります
0108名無しさん＠お腹いっぱい。
垢版 |
2018/05/23(水) 03:10:49.54
あのなぁ、お前さんここをどこの板だと思っているんだい？
歴史あんだぜ
まあその話はもうほんとに一昔前の出来事になっちまったけどな
0111名無しさん＠お腹いっぱい。
垢版 |
2018/05/23(水) 10:49:34.46
なんだったか、2chの鯖に関する貢献があったような
当時からいたわけじゃないからどっかのサイトで知った話だが
Flash黄金期にその話がFlash化されてたから見て知ったな
0112名無しさん＠お腹いっぱい。
垢版 |
2018/05/23(水) 12:29:35.00
read.cgiの改良作業だよね。
直接関わってはいないけど、当時はリアルタイムで見ていたし、手元の
どこかに運営から住民に開示されたread.cgiも残ってると思う。

アクセスが増えて通信量が増加して、当時借りてたホスティング業者から
追い出されそうになってたんだけど、HTTPの通信をgzipで圧縮して通信量を
削減しようという話だったかと思う。

ただ、UNIX板でも話をして作業には参加していたものの、プログラム板と
かの方でもガリガリやっていたような記憶がある。
0113名無しさん＠お腹いっぱい。
垢版 |
2018/05/23(水) 14:05:37.49
それとは別に SYN flood 攻撃に対し SYN cookie 有効化で対抗した時はUNIX板で主に議論してた気がする。
リアルタイムで見てたというか発言してたけど(SYN cacheと比較した得失とか書いた気が)、
こういうのはあくまで個人としての行動なので板自慢に繋げるのは好きじゃないな。
むしろ統一とかとれてなくてカオスなのが5chの良いところだと思うので。
0115名無しさん＠お腹いっぱい。
垢版 |
2018/05/23(水) 21:48:48.59
他の顧客がいるからミドルウェアで圧縮できない、というホスティング屋を使っていたんじゃなかったのかな(後から知った話だから、違うかもしれない)
0116名無しさん＠お腹いっぱい。
垢版 |
2018/05/23(水) 23:46:31.17
オイスター作戦ね
もう15年は前でしょ
0132130
垢版 |
2018/05/25(金) 16:54:14.54
>>131
ありがとうございます
0133名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 04:09:24.19
お知恵お借りしたいです。

awk '($3 !~ /ここにパイプ区切りで記述したい/) && ($4 ~ /01/)' output.txt

上記のawkで条件に当てはまるファイルを絞り込みたいのですが
その１　別ファイルからのawkの結果を $aaa に設定してある
その2　$aaa は複数列の出力なので set コマンドにて位置パラメータに分けてある
その3　各変数を展開して文字列としてパイプで区切ってawkを使いたい。

以上のようなことをやってみたのですがどうもうまく行きません。
また、違うやり方もあるようでしたらご教示いただけるとありがたいです。
よろしくお願いします。
0134名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 04:35:42.94
> $aaa は複数列の出力なので set コマンドにて位置パラメータに分けてある
これはどういう意味？ set はシェル自身の設定だと思うんだけども
0135名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 05:07:26.79
cat ZZZ.txt |grep XXX
hoge
fuga

と複数行でしたので
aaa=$(cat ZZZ.txt |grep XXX)　としてみました。
そして set $aaa と設定して
$1 $2 $3 ...と変数が自動で割り振られるなら増減しても対応できるのでは考えました。
（本来は0個のときもあるのでそれも考慮しなければならないんですが）
そして $1 等に入っている変数(hogeやfuga) を展開してパイプで区切れれば動くと思うんです。
0136名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 07:13:03.91
ごめん俺の理解が悪いと思うのだがあなたのやりたいことが見えない。
他の人にまかせるわ。
もしくはZZZ.txtの内容をプライバシーに障らない程度に具体的に教えてほしい。
「ZZZ.txtからgrepで取り出した値をパイプで連結して処理する」という文言からは
ZZZ.txtには命令が一行ずつ書かれているように受け取れるのだが、そうじゃないよね。
それとも「パイプで繋ぐ」というのはシェルのパイプ実行ではなく単に文字列としてパイプを区切りとして使うという意味？
もしそうなら
$ cat ZZZ.txt | grep XXX | tr '\n' '|' | sed 's/|$//1'
↑こういうので行けるけど。違うでしょ？
0137名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 07:35:37.60
説明がヘタですみません。ZZZ.txtの中身はyoutube等の
URL タイトル 日付 がタブ区切りで複数行書かれているファイルです。
123.com hoge 02
456.com fuga 05
789.com peke 08
のような感じです。
それらから条件から当てはまる行や列を抜き出してパイプ区切りにしたいのです。
パイプの解釈は hoge|fuga で hoge or fuga と展開して awkのパターン入れて読ませたい訳です。
0138名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 08:23:21.90
>>137
なるほどね。こういうこと？ (ZZZ.txtの代わりにヒアドキュメント使ってる）
$ cat <<. | awk '($2 ~ /(hoge|fuga)/) && ($3 ~ /02/) {print}'
example111.com hoge 02
example222.com hoge 03
456.com fuga 05
456example.com fuga 02
789.com peke 08
.
example111.com hoge 02
456example.com fuga 02
0139名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 09:09:37.27
勉強不足でヒアドキュメントの知識が浅くて申し訳ないのですが
多分合ってると思います。
うまくいかないのは hoge|fuga の部分が一定でなく
peke|hoge|miso だったり fuga のみだったりするので悩ましいのです。
0140名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 09:53:14.80
条件をコマンドの結果から作りたい＆その条件をawkの条件に埋め込みたいってだけ？

hogehuga=( $(cat ZZZ.txt |grep XXX) )
SAVEIFS=$IFS
IFS=$'|'
hogehuga="${hogehuga[*]}"
IFS=$SAVEIFS
[ "$hogehuga" = "" ] && hogehuga="0個の条件"
awk '($3 !~ /'"$hogehuga"'/) && ($4 ~ /01/)' output.txt

って感じとか
0145133
垢版 |
2018/05/26(土) 11:49:32.72
そういう場合はパイプって言わないんですか。失礼しました。
正規表現でつかう or の役割を hoge fuga の間には挟みたいのです。
0146名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 12:01:23.51
>>145

>>136
>$ cat ZZZ.txt | grep XXX | tr '\n' '|' | sed 's/|$//1'
>↑こういうので行けるけど。違うでしょ？
って教えてくれてるやん。「違わない」「それです」でいいんじゃないの？それが違うならどう違うって言うべきかと(どうみても違わないとしか思えないけど)
質問自体がアレだが自分の言いたいことをうまく説明できないのはいいとして、応えてくれてる人の言ってることがわからない／それに応えないのはアレだな
0147名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 12:03:34.81
awkの手前で別途 fgrep -f か egrep -f を使った方が、改行→｢|｣変換をサボれて楽な気がする。
fgrep/egrep -f を使うときは bashないし zsh 依存になるけど
fgrep -f <(grep XXX ZZZ.txt)
と書くともっと楽だね。
0149133
垢版 |
2018/05/26(土) 12:32:36.46
シェルスクリプト内で自動で行いたい旨を
書き損じておりました。
cat ZZZ.txt |grep XXX
hoge
fuga

から
awk '($3 !~ /hoge|fuga|neko/) && ($4 ~ /01/)' output.txt
としたいのです。

>>146
>$ cat ZZZ.txt | grep XXX | tr '\n' '|' | sed 's/|$//1'
でまさしく狙い通りの出力がされるのですが>>133のawkのパターン部にどうかけば同じ文字列が出せるかわかりません
0150名無しさん＠お腹いっぱい。
垢版 |
2018/05/26(土) 12:38:10.49
awk の文はただの文字列でしかない
awk '($3 !~ /'"$aaa"'/) && ($4 ~ /01/)' output.txt
でも、
awk "(\$3 !~ /${aaa}/) && (\$4 ~ /01/)" output.txt
でも(他にエスケープ必要なのあるかな？)、
普通にシェル変数を(文字列内に)展開するのと変わらんぞ
0153133
垢版 |
2018/05/26(土) 13:37:00.34
みなさん申し訳ありません
>>150のレスを見てクォートをよ&#12316;く見なおしたら動きました。
初心者のたわごとに付きあわせてしまい申し訳ありませんでした。
0156名無しさん＠お腹いっぱい。
垢版 |
2018/05/30(水) 20:03:13.31
sedコマンドでSGRを扱いたいんですがどうすればいいですか。
$ echo abc | sed 's/^a/\033[1m&\033[0m/1'
などとしてaを太字にしたりしたいです。
0158名無しさん＠お腹いっぱい。
垢版 |
2018/05/30(水) 21:08:39.87
横からだが、
なんのこっちゃと思ったら $'' はエスケープ文字処理してくれんのね。なるほど
最初のだけでいいのでは？もしくは最初に付ける。もしくは逐一付けて閉じる
echo abc | sed -e 's/^a/'$'\033[1m&\033[0m/1'
echo abc | sed -e $'s/^a/\033[1m&\033[0m/1'
echo abc | sed -e 's/^a/'$'\033''[1m&'$'\033''[0m/1'
と思いました
0159156
垢版 |
2018/05/31(木) 06:51:45.12
ありがとうございます。解決しました。
これは後出しになってしまいますが、POSIXの範囲でやりたかったので
$''ではなく$(printf)を使いました。
0160名無しさん＠お腹いっぱい。
垢版 |
2018/06/02(土) 23:56:12.94
英語圏の序数詞を適切に処理するシェルスクリプト（というかワンライナー）を考えたのですが添削してください
$ for i in $(seq 15); do echo $i$(case $i in *1) echo st;; *2) echo nd;; *3) echo rd;; *) echo th;; esac); done
出力は一応望み通りでまたPOSIX utils+seq(1)のみで実行可能です。
0162名無しさん＠お腹いっぱい。
垢版 |
2018/06/03(日) 00:38:58.53
なにいっとるんやこいつw
0163名無しさん＠お腹いっぱい。
垢版 |
2018/06/03(日) 01:12:42.26
なにいっとるんやってなにいっとるんやww
0164160
垢版 |
2018/06/03(日) 01:46:34.86
すいません。>>161 さまのおっしゃる通りです。
$ for i in $(seq 30); do echo $i$(case $i in *1?) echo th;; *1) echo st;; *2) echo nd;; *3) echo rd;; *) echo th;; esac); done
これでどうでしょうか
0170名無しさん＠お腹いっぱい。
垢版 |
2018/06/04(月) 20:52:08.98
エラるのはbashのバージョンのせいかな？3.2.57ではエラる／4.3.48では問題ない
だとしたらPOSIX utils云々はちょっと違うんじゃねと思わなくもない。POSIX utils云々って書いている意図がよくわからんけど
0173名無しさん＠お腹いっぱい。
垢版 |
2018/06/04(月) 22:26:45.14
$() 内では、case の ) を case の ) と認識してないで、$( の終わりと見てまうってのか。それで普通は使わない ( をか。いちおう ( はつけてもいいのね。つけてもつけなくてもいい存在みたいだけど
0174名無しさん＠お腹いっぱい。
垢版 |
2018/06/04(月) 22:42:04.72
え……
>>164 のやつ、GNU bash 4.4.12，zsh 5.3.1，dash全てで動いたんだけど（Debian GNU/Linux）。
もちろん$()判定の不具合を回避したcase ()版でも動いたけれども。
0177名無しさん＠お腹いっぱい。
垢版 |
2018/06/05(火) 00:18:12.94
sedなどで
1. 「%」以降改行までを削除
2. ただし「%」の直前に「\」があれば削除しない
（要するにTeXシステムのコメント除去）
をしたいです。また、できればなのですがPOSIXの範疇で行いたいです。
しかし2.を表わす正規表現が分かりません。教えていただけないでしょうか。
sedでsed -e '/%/{}'のようにして{}の内部で「\」が前置されているか判定するのが一番一般的かとは思うのですが
それさえ……。
どうかよろしくおねがいします。
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況