シェルスクリプト総合 その27

■ このスレッドは過去ログ倉庫に格納されています
2018/05/03(木) 17:54:23.25
シェルスクリプトの総合スレです。
□お約束
・特記なき場合はBourne Shell(/bin/sh)もしくはPOSIX準拠の互換シェルがデフォルトです。
　bash/zsh/ksh/ash/dash/yash/poshなどの専用機能に依存する場合は明示しましょう。
　Linuxユーザは/bin/shの正体がbashまたはdashなので特に注意。
　FreeBSDユーザは/bin/shの正体がashなので注意。
・POSIXについてのリンクは https://en.wikipedia.org/wiki/POSIX にまとめられています
　最新の仕様はこちらへ http://pubs.opengroup.org/onlinepubs/9699919799/
　（左上の「Shell & Utilities」 から参照することができます。）
・v7 shに一番近くて、現役（？）のshは、OpenSolaris由来のheirloom sh。
　 http://src.illumos.org/source/xref/illumos-gate/usr/src/cmd/sh/
　 http://heirloom.sourceforge.net/sh.html
・csh/tcshのシェルスクリプトは推奨されません。
　(理由は「csh-whynot」でググれ)
・UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。
　manや参考リンクを見ましょう。
　aproposないしはman -kでそれらしい単語による簡単な検索もできます。
・シェルで使えるワイルドカード等は正規表現ではありません。
　正規表現の話題はスレ違い(正規表現スレへ)
・シェルスクリプトのことをシェルってゆうな
□初心者へのアドバイス:
・適した道具を判断するのも頭の重要な使い方。シェルスクリプトよりも
　awkまたはperlの方が適した処理にはそちらを使いましょう。
・知らないコマンドが出てきたらmanを引きましょう。
・思い通りに動かないときは、まずは sh -x でトレースしましょう。
□回答者への注意事項:
・シェルスクリプトでの処理方法を質問しているのに、よくわからずに
　「そういうのはperl使いましょう」と回答するのはやめましょう。
　安易にperlに逃げずにシェルスクリプトで処理するのが頭のいいやり方。
　質問に対して問題が間違ってるといちゃもんをつけるのもやめましょう
前スレ シェルスクリプト総合 その26
https://mevius.5ch.net/test/read.cgi/unix/1489979246/
2018/06/07(木) 16:52:21.73
つまり配列そのままで渡せないってことですね
2018/06/07(木) 17:07:52.55
そのままでできると思う方が全くわかってないなという。まあ全くわかってないんだろうけど
2018/06/07(木) 17:16:31.55
ここ数日で盛り上がりすぎやろ
2018/06/07(木) 21:43:15.08
あかんか？
2018/06/07(木) 21:46:19.66
ええで
2018/06/07(木) 22:15:48.04
>>255
xmlなりjsonなり独自形式なりで渡せよ
2018/06/07(木) 22:39:09.40
言語のオブジェクト(配列)を他のプロセスにそのまんま渡せるスクリプト言語ってなんかあったっけ？
間にはシリアラズ／デシリアライズなどの仕組みがあるのは当然だが、そんなの全く意識させない言語でサポートしている言語って。フレームワークなど使えばは抜きで。スクリプト言語でなくてもいいけどとりあえずこのスレなのでスクリプト言語で
2018/06/07(木) 23:15:52.17
>>257
あ、
>分解時のセパレータとしてはタブもデフォルトIFSに入っているので分解時には特に設定する必要はない
何言ってんだか。せっかくスペースをセパレータとされるのを避けているのに、設定しなきゃダメだろう

sub-script.sh:
ORIGINAL_IFS="$IFS"
IFS=$'\t'
array1=($1)
array2=($2)
array3=($3)
IFS="$ORIGINAL_IFS"
2018/06/07(木) 23:26:19.86
>>265
じぇーそんとかそういうためにあるんじゃないの？
2018/06/08(金) 00:05:04.96
>>267
シリアライズ／デシリアライズの手法／フォーマットのひとつとしてね
そゆんじゃなくて、そんな変換が見えなーい言語ってなんかあったっけ。仮にJSONを使っていたとしてもそんなの見えない
2018/06/08(金) 00:07:58.91
見えないってのがどういう意味なのか。
PowerShellみたいのなら見えないに入るのかな？
2018/06/08(金) 00:18:14.42
分散オブジェクトに近い...つうても実装／言語により全然見えないにはならんけど
process.TheFunc(anObject)
と、呼んだら、別プロセスの
TheFunc(anObject) {
}
に、まんまオブジェクト(ただの配列でもいいけど)が入ってるくるような

PowerShellはそんなんなん？分散オブジェクトかな？
2018/06/08(金) 00:53:32.27
スレチ
2018/06/08(金) 01:16:08.95
いや、>>259なんて思うのはどういう根拠からかなあと。他のスクリプト言語でそんなんあるんかと
また現れるかもしれんだろw まあ、スレチではある
2018/06/08(金) 01:20:44.78
>>257,258,254 全部、シリアライズ／デシリアライズのことで、どういうシリアライズ／デシリアライズを使うかでしかなく、まあ、普通はそれしかないわなで終わってることなんだけどね
ちょっとなんか他のスクリプト言語であるのかと気になったので
2018/06/08(金) 03:20:33.75
最近他板でも意味も分からず答える輩が増えていますね。何ででしょう。
2018/06/08(金) 03:21:57.82
新入社員が先輩よりプログラミング知識あることを知って俺結構世間の中でも出来る方なんじゃね？って勘違いする時期だな
2018/06/08(金) 03:49:58.80
解答のクオリティまで下がってるな
パソコンの大先生混ざっとるやろ
2018/06/08(金) 05:43:51.14
>>270
同一プロセス（要するにPowerShell内で閉じてる）ならそんな感じの記述でオブジェクトを渡せる
ちなみにパイプでも渡せる
他のプロセスへコマンドラインとなると無理だろうね
そもそもOSレベルでもたいていのOSはコマンドラインとして文字列の配列しか渡せないし
2018/06/08(金) 05:51:30.48
JSONは不気味な拡張子なので使ってはいけません
2018/06/08(金) 07:18:25.50
パソコンの大先生なら使いこなせよ
2018/06/08(金) 22:06:27.92
POSIXで定義されているどの環境でも利用できる環境変数ってあります？
$PWDとか。
2018/06/08(金) 22:54:13.95
>>280
環境変数で決まってるのは
http://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap08.html

ただしOS起動中まで含めると、必ず定義されてる環境変数はない。
PWDも昔のシェルだと定義してくれなかったりする。
まあ一般ユーザー権限で動いてるならPATH、HOMEあたりの存在は期待してもいいけど。
282名無しさん＠お腹いっぱい。
垢版 |
2018/06/08(金) 23:18:13.62
Excelから出力したCSVのように一行（？）の中に改行が含まれた
データを扱うにはどうしたら良いでしょうか？

もう少し具体的に書きます。

カンマ区切りのCSVデータだと仮定して、
シェルスクリプトの中に関数を一行ごとに呼び出し、
列を引数に対応させたいです。

例えば以下のような内容のファイルがあったとして
a1,a2,a3,a4
b1,b2,b3,b4
c1,c2,c3,c4

syori "a1" "a2" "a3" "a4"
syori "b1" "b2" "b3" "b4"
syori "c1" "c2" "c3" "c4"

という風にsyori関数を呼び出したいのです。

ただし実際には各項目（a1等の部分）にExcelから出力したデータのように
改行やカンマやダブルクォートやシングルクォートや空白が入ることがあるのです
2018/06/08(金) 23:18:34.79
各項目には \ が入ることもあります。

今回はCSVではありませんが、RFC4180（＝ExcelのCSVの仕様）では
改行が\nのようにエスケープされません

https://ja.wikipedia.org/wiki/Comma-Separated_Values

> フィールドがコンマ、ダブルクォート、改行を含む場合は、かならずダブルクォートで囲む。
> また、フィールドに含まれるダブルクォートは2つ並べてエスケープする。
>
> "日本 CRLF
> 国","""東京""","127,767,944" CRLF

↑「日本国」の国の前に改行が入っている場合
2018/06/08(金) 23:19:28.84
>>282-283は、ここから移動してきました

【Bash】Windows Subsystem for Linux【WSL】3
https://mao.5ch.net/test/read.cgi/linux/1528141781/
2018/06/08(金) 23:23:17.66
>>283
rubyとかpythonでCSV処理用のライブラリを使うとか、
CSV処理用の専用ツール使うとか。
落とし穴が一杯あるので、シェルだけでやるのは危険。
286名無しさん＠お腹いっぱい。
垢版 |
2018/06/08(金) 23:24:41.88
http://copiezzare.info/
2018/06/08(金) 23:31:03.89
>>285
危険は承知で環境依存させたくないので、
シェルスクリプト（POSIX）だけでやりたいのです
2018/06/08(金) 23:35:52.21
>>287
じゃあ
ttp://wwr2.ucom.ne.jp/tomoo/japana/csv.html
とかどう?
2018/06/08(金) 23:57:15.15
邪道としては、改行コードとか\を絶対に使われない文字に置換して最後にまた戻すとかやったな
アルメニア文字とかに置換するんやで
2018/06/09(土) 00:06:32.51
今時、シェルスクリプトが使える環境でperlやpythonがデフォルトで入ってないOSの方が稀だろう。なんかここ最近のPOSIXと言えばいいというようなのはなんかアレだな
2018/06/09(土) 00:12:49.10
>>290
busybox、alpine
2018/06/09(土) 00:14:40.86
>>291
そういう環境で、CSVファイルの扱いが必要かあ？
2018/06/09(土) 00:17:26.20
そんな変わりもんを出されても
>>287がそんなの想定してるとでも思ったの？そんなの想定しているヤツは自力でできるだろうし、そんなの使うやつは必要なら自分で入れるだろう
知識自慢はいらんよw
2018/06/09(土) 00:21:35.51
てゆうか問題に適した言語を組み合わせて問題を解くってのが
もともとのUNIXの思想だと思うので、
CSV扱うならCSVに向いた言語使う方がUNIX的だと思うのよね。
まあケースバイケースなんだけど。
295名無しさん＠お腹いっぱい。
垢版 |
2018/06/09(土) 00:23:20.54
つまりC++ってことか。
2018/06/09(土) 00:25:28.50
https://codezine.jp/article/detail/8323
>gawkの開発は「完全を目指すのではなく9割をサクサクこなし、フィールドに改行を含むようなCSVファイルは専用のツールで処理すれば良い」
ですらだからなあ
Linuxはawk=gawkだが、BSDは巣の(？)awkでgawkは別に入れなければならなく、gawkの機能を使うかどうかっていう話ならわかるけど、そんなんだったらperlやpython使った方がLinuxとBSDの違いも無いだろしな
2018/06/09(土) 00:34:57.73
>>287は単に他の言語／知識までは自分の手に余るっていう逃げだろうとしか見えんな
そこに山があるから登るっていうあえてメンドくさいことをしたいってのなら、のらないでもないけどw
2018/06/09(土) 00:45:11.89
CSVじゃないって書いてるのに
読めない人多いね
2018/06/09(土) 00:50:25.58
とは言ってるけど、CSVとはどう違うとかは全くだな。てか、延々とCSVのここがってしかないやん
CSVと似た何か特殊なものなら、普通にストリームの一文字一文字処理できるスクリプト使ったほうがいいだろう、てかそれしかないだろう
2018/06/09(土) 01:21:51.27
> シェルスクリプト（POSIX）

（；＾ω＾）
2018/06/09(土) 01:40:22.57
POSIXはまあいいとしてPOSIXという単語が出る度アレルギーのごとく反発する人はなんなの？
OpenGroupに親でも殺されたのか？
2018/06/09(土) 01:46:42.05
>>290
だって課題がそうなってるんだもん
2018/06/09(土) 01:53:39.41
>>301
本当に自身がわかって言っているのかってとこだな。その必要性とか
>>302のような冗談なら笑えるけど
2018/06/09(土) 02:06:03.67
nkfとかiconvで 改行コードを調べたらええんちゃう？
busybox, alpineぐらいのコンテナに nkf を足したぐらいで大してでかくならんやろうに。
2018/06/09(土) 02:11:54.28
>>287でposix shellだけで言うてるからダメだよ
2018/06/09(土) 03:14:25.32
ぽ…POSIX
2018/06/09(土) 03:39:18.86
今日はみなさん夜更かしですね
まるで自えn(ry
2018/06/09(土) 06:55:43.82
>>293
お前さんこの間から痛いぞ
2018/06/09(土) 09:19:07.59
はいはい
2018/06/09(土) 12:31:39.35
はい、は一回
2018/06/09(土) 13:35:30.76
はいは一回　と
はいぱー回 ってにてるな
2018/06/09(土) 13:36:18.92
そうか？
2018/06/09(土) 16:10:28.91
ぽしっくすなの？
ぽじっくすなの？
ぽずぃっぐずなの？
なんなの？
2018/06/09(土) 18:01:39.57
トマトとか言ってる日本人が気にすんな。特定のそういう発音違いをめっちゃ馬鹿にしたりするのも日本人だけど
2018/06/09(土) 18:02:59.74
相対するをあいたいするって読んだら漫画の読みすぎだろって馬鹿にされたこと思い出したわ
2018/06/09(土) 18:45:27.81
なんのスレやねん
2018/06/09(土) 19:40:22.27
ぽちっとな
2018/06/09(土) 23:38:49.68
質問です。一データの中に改行が含まれた
データを扱うにはどうしたら良いでしょうか？
2018/06/09(土) 23:39:51.65
改行を置換して読み取る
2018/06/10(日) 00:19:36.87
1データとは
2018/06/10(日) 00:30:51.68
>>318
そういうものはシェルスクリプトでは扱わない
適材適所

バカは同じものをなんにでも押し付けようとするから無駄に機能が肥大化する
2018/06/10(日) 01:40:53.84
シェルスクリプトだって適切に扱える(場合はある)
例えば1データがファイル単位に分かれてるとか1データの処理が1プロセスの寿命と同じでいいとか
2018/06/10(日) 02:20:54.22
U+001EやU+001Fを区切り文字として利用してる方いらっしゃいますか？
結構便利（絶対に他の文字と衝突しない）だと思うんですが、そういうシェルスクリプトを見たことがありません。
2018/06/10(日) 02:29:16.89
はっはっは。一データの中に改行が含まれてる
ものすら扱えないここの連中にそんな発想ができるやつはいない
その程度の陳腐なアイデアであったとしてもな
2018/06/10(日) 02:38:52.56
ここだけのシェルスクリプトだけを言っているわけではないと思うけど
2018/06/10(日) 08:14:53.42
>>323
正直、そういう解答を出してほしかったね。だせるかなーって思っていたけど
シェルスクリプトでそういうデータを扱うなんておかしいとかのたまうばかり
\x1c（ファイル分離）、\x1d（グループ分離）、\x1e（レコード分離）、\x1f（ユニット分離）は
まさにそういう用途で使うもの。ここの連中の技術力の低下を感じる。
2018/06/10(日) 09:06:40.68
見たことがないって言ってんのに、
このスレ住人の話に限定してどうすんだ
2018/06/10(日) 09:26:13.67
いや>289で答えとるやん
>318ってようは>282の質問し直しでしょ
2018/06/10(日) 11:02:49.39
>>327
住民に限定し、しかも馬鹿にしたい欲求を生んだ過去があったのだろう。馬鹿にされたとか、単になにか否定されたとか
2018/06/10(日) 12:04:18.14
>>328
それは改行コードを置換するって話
置換することで遅くなってしまう悪いパターン
置換なんかしません
2018/06/10(日) 12:18:36.59
イミフ
2018/06/10(日) 12:42:33.56
改行コード含んだデータ扱いたいという前提の質問かと思ったら
改行コード含んだデータなどナンセンスであるという主張だった
2018/06/10(日) 13:18:33.58
イミフ

データの中に改行コードがあるってだけだろ
2018/06/10(日) 13:18:58.61
データの中に改行コードがあっても置換する必要はありませんよねぇ
2018/06/10(日) 13:19:57.33
>>289はデータの中に改行コードがあるのはナンセンスだから置換しろという主張
そんなことをする必要はない
2018/06/10(日) 13:40:18.16
なんかただ否定している感じにしか見えんけど
シェルスクリプトで扱うまでも考えて否定してんのかな？
2018/06/10(日) 13:41:43.48
>>289はナンセンス云々でなくて、現実的なだろと思うけど
2018/06/10(日) 14:38:11.53
>>337
動くかどうかだったら動くけど
速度が遅過ぎで現実的じゃないよ
なにせ一行一行forkとプロセス起動が必要になるしね
2018/06/10(日) 15:07:33.90
速度が問題になるかは条件次第で
現実的じゃないと言いきれる根拠は今のところ無い
2018/06/10(日) 15:18:07.55
>>338
> なにせ一行一行forkとプロセス起動が必要になるしね
イミフ
2018/06/10(日) 15:18:34.26
>>326
だってどうせCSVの話だろ？区切り文字を換える話をすると
後出しじゃんけんでソレは違うって言い出すのが常套手段
2018/06/10(日) 15:46:39.73
一度全部置換してから読み取ればいいんじゃないですか（名推理
2018/06/10(日) 15:59:54.35
因みにCSVはRFCで「内部改行はCRLF」と定まっているので
ここから攻めるというのもアリ。
「\r\n」という組はフィールド区切りとしては無効にすればよろし
え？ CSV出力すると内部改行がLFになるLibreOffice Calc？
知らない子ですね…
2018/06/10(日) 16:03:53.76
>>340
まったく
どういう処理を想定しているのか全くみえんな。そのなアホなという処理方法は
2018/06/10(日) 16:07:14.39
> "Excelから出力したCSVのように" 一行（？）の中に改行が含まれた
> データを扱うにはどうしたら良いでしょうか？

> カンマ区切りのCSVデータだと "仮定して" 、

> 今回はCSVではありませんが、


こう書いてあるのに、CSV形式だって思い込むのは
頭が悪いと思います。
2018/06/10(日) 16:07:56.46
>>343
> 因みにCSVはRFCで「内部改行はCRLF」と定まっているので

なるほど、\n のようにエスケープしてはいけないんですね
2018/06/10(日) 16:10:01.41
だったらお前がそのわけわからんCVS形式でない答えを応えれtばええんちゃんですかね？具体的に何も言ってないのに対する汎用的な
自称賢いらしいから時間かけずになんでもござれの汎用的的なのかけるだろ？
2018/06/10(日) 16:10:06.96
>>345
だったら好きにすれば？
2018/06/10(日) 16:10:50.12
>>343
> 一度全部置換してから読み取ればいいんじゃないですか（名推理

そして一行ずつ読み取るわけですねｗ

そりゃそうでしょう。\nを全部改行コードに戻してしてしまったら、
区別できないですからね
2018/06/10(日) 16:11:08.39
>>345
既にCSVをどうするのかという話題に変わってるんですよ。
空気読んでくださいよ。
2018/06/10(日) 16:11:30.84
>>346は>>345っぽいけど、そうなら他人を頭が悪いとは言えんだろうw
2018/06/10(日) 16:12:08.78
>>347
> だったらお前がそのわけわからんCVS形式でない答えを応えれtばええんちゃんですかね

データの中に改行コードがあるってだけで、
フォーマットは最初から指定してないよ？

その場合どういうやり方があるでしょうって話なんだが、
CSVだと思いこんで効率の悪い方法しか思いつかず
指摘したら逆ギレするのやめなよ？ダサいから
2018/06/10(日) 16:12:51.65
>>338
MINIX でも使ってるの？
2018/06/10(日) 16:13:10.06
>>351
なにが言いたいのかわからんが、RFCのCSVの仕様に改行コードを
エスケープするという仕様はない。ダブルクォートでくくればいいだけ
2018/06/10(日) 16:13:34.23
>>353
へー、MINIXも遅いんですねー
2018/06/10(日) 16:14:28.24
えっ、一行づつ fork + exec してるって本気で思い込んでるんだ…
2018/06/10(日) 16:16:58.31
>>352,354
...はあ...
マジで言ってるの？
2018/06/10(日) 16:22:35.88
>>356
外部コマンドを呼び出すならそうだね
まさか外部コマンドを呼び出さないで置換できるとでも思ってのかい？ｗ
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況