シェルスクリプト総合 その27
■ このスレッドは過去ログ倉庫に格納されています
シェルスクリプトの総合スレです。
□お約束
・特記なき場合はBourne Shell(/bin/sh)もしくはPOSIX準拠の互換シェルがデフォルトです。
bash/zsh/ksh/ash/dash/yash/poshなどの専用機能に依存する場合は明示しましょう。
Linuxユーザは/bin/shの正体がbashまたはdashなので特に注意。
FreeBSDユーザは/bin/shの正体がashなので注意。
・POSIXについてのリンクは https://en.wikipedia.org/wiki/POSIX にまとめられています
最新の仕様はこちらへ http://pubs.opengroup.org/onlinepubs/9699919799/
（左上の「Shell & Utilities」 から参照することができます。）
・v7 shに一番近くて、現役（？）のshは、OpenSolaris由来のheirloom sh。
http://src.illumos.org/source/xref/illumos-gate/usr/src/cmd/sh/
http://heirloom.sourceforge.net/sh.html
・csh/tcshのシェルスクリプトは推奨されません。
(理由は「csh-whynot」でググれ)
・UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。
manや参考リンクを見ましょう。
aproposないしはman -kでそれらしい単語による簡単な検索もできます。
・シェルで使えるワイルドカード等は正規表現ではありません。
正規表現の話題はスレ違い(正規表現スレへ)
・シェルスクリプトのことをシェルってゆうな
□初心者へのアドバイス:
・適した道具を判断するのも頭の重要な使い方。シェルスクリプトよりも
awkまたはperlの方が適した処理にはそちらを使いましょう。
・知らないコマンドが出てきたらmanを引きましょう。
・思い通りに動かないときは、まずは sh -x でトレースしましょう。
□回答者への注意事項:
・シェルスクリプトでの処理方法を質問しているのに、よくわからずに
「そういうのはperl使いましょう」と回答するのはやめましょう。
安易にperlに逃げずにシェルスクリプトで処理するのが頭のいいやり方。
質問に対して問題が間違ってるといちゃもんをつけるのもやめましょう
前スレ シェルスクリプト総合 その26
https://mevius.5ch.net/test/read.cgi/unix/1489979246/ いや、>>259なんて思うのはどういう根拠からかなあと。他のスクリプト言語でそんなんあるんかと
また現れるかもしれんだろw まあ、スレチではある >>257,258,254 全部、シリアライズ／デシリアライズのことで、どういうシリアライズ／デシリアライズを使うかでしかなく、まあ、普通はそれしかないわなで終わってることなんだけどね
ちょっとなんか他のスクリプト言語であるのかと気になったので 最近他板でも意味も分からず答える輩が増えていますね。何ででしょう。 新入社員が先輩よりプログラミング知識あることを知って俺結構世間の中でも出来る方なんじゃね？って勘違いする時期だな 解答のクオリティまで下がってるな
パソコンの大先生混ざっとるやろ >>270
同一プロセス（要するにPowerShell内で閉じてる）ならそんな感じの記述でオブジェクトを渡せる
ちなみにパイプでも渡せる
他のプロセスへコマンドラインとなると無理だろうね
そもそもOSレベルでもたいていのOSはコマンドラインとして文字列の配列しか渡せないし POSIXで定義されているどの環境でも利用できる環境変数ってあります？
$PWDとか。 >>280
環境変数で決まってるのは
http://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap08.html
ただしOS起動中まで含めると、必ず定義されてる環境変数はない。
PWDも昔のシェルだと定義してくれなかったりする。
まあ一般ユーザー権限で動いてるならPATH、HOMEあたりの存在は期待してもいいけど。 Excelから出力したCSVのように一行（？）の中に改行が含まれた
データを扱うにはどうしたら良いでしょうか？
もう少し具体的に書きます。
カンマ区切りのCSVデータだと仮定して、
シェルスクリプトの中に関数を一行ごとに呼び出し、
列を引数に対応させたいです。
例えば以下のような内容のファイルがあったとして
a1,a2,a3,a4
b1,b2,b3,b4
c1,c2,c3,c4
syori "a1" "a2" "a3" "a4"
syori "b1" "b2" "b3" "b4"
syori "c1" "c2" "c3" "c4"
という風にsyori関数を呼び出したいのです。
ただし実際には各項目（a1等の部分）にExcelから出力したデータのように
改行やカンマやダブルクォートやシングルクォートや空白が入ることがあるのです 各項目には \ が入ることもあります。
今回はCSVではありませんが、RFC4180（＝ExcelのCSVの仕様）では
改行が\nのようにエスケープされません
https://ja.wikipedia.org/wiki/Comma-Separated_Values
> フィールドがコンマ、ダブルクォート、改行を含む場合は、かならずダブルクォートで囲む。
> また、フィールドに含まれるダブルクォートは2つ並べてエスケープする。
>
> "日本 CRLF
> 国","""東京""","127,767,944" CRLF
↑「日本国」の国の前に改行が入っている場合 >>283
rubyとかpythonでCSV処理用のライブラリを使うとか、
CSV処理用の専用ツール使うとか。
落とし穴が一杯あるので、シェルだけでやるのは危険。 >>285
危険は承知で環境依存させたくないので、
シェルスクリプト（POSIX）だけでやりたいのです >>287
じゃあ
ttp://wwr2.ucom.ne.jp/tomoo/japana/csv.html
とかどう? 邪道としては、改行コードとか\を絶対に使われない文字に置換して最後にまた戻すとかやったな
アルメニア文字とかに置換するんやで 今時、シェルスクリプトが使える環境でperlやpythonがデフォルトで入ってないOSの方が稀だろう。なんかここ最近のPOSIXと言えばいいというようなのはなんかアレだな >>291
そういう環境で、CSVファイルの扱いが必要かあ？ そんな変わりもんを出されても
>>287がそんなの想定してるとでも思ったの？そんなの想定しているヤツは自力でできるだろうし、そんなの使うやつは必要なら自分で入れるだろう
知識自慢はいらんよw てゆうか問題に適した言語を組み合わせて問題を解くってのが
もともとのUNIXの思想だと思うので、
CSV扱うならCSVに向いた言語使う方がUNIX的だと思うのよね。
まあケースバイケースなんだけど。 https://codezine.jp/article/detail/8323
>gawkの開発は「完全を目指すのではなく9割をサクサクこなし、フィールドに改行を含むようなCSVファイルは専用のツールで処理すれば良い」
ですらだからなあ
Linuxはawk=gawkだが、BSDは巣の(？)awkでgawkは別に入れなければならなく、gawkの機能を使うかどうかっていう話ならわかるけど、そんなんだったらperlやpython使った方がLinuxとBSDの違いも無いだろしな >>287は単に他の言語／知識までは自分の手に余るっていう逃げだろうとしか見えんな
そこに山があるから登るっていうあえてメンドくさいことをしたいってのなら、のらないでもないけどw とは言ってるけど、CSVとはどう違うとかは全くだな。てか、延々とCSVのここがってしかないやん
CSVと似た何か特殊なものなら、普通にストリームの一文字一文字処理できるスクリプト使ったほうがいいだろう、てかそれしかないだろう POSIXはまあいいとしてPOSIXという単語が出る度アレルギーのごとく反発する人はなんなの？
OpenGroupに親でも殺されたのか？ >>301
本当に自身がわかって言っているのかってとこだな。その必要性とか
>>302のような冗談なら笑えるけど nkfとかiconvで 改行コードを調べたらええんちゃう？
busybox, alpineぐらいのコンテナに nkf を足したぐらいで大してでかくならんやろうに。 >>287でposix shellだけで言うてるからダメだよ ぽしっくすなの？
ぽじっくすなの？
ぽずぃっぐずなの？
なんなの？ トマトとか言ってる日本人が気にすんな。特定のそういう発音違いをめっちゃ馬鹿にしたりするのも日本人だけど 相対するをあいたいするって読んだら漫画の読みすぎだろって馬鹿にされたこと思い出したわ 質問です。一データの中に改行が含まれた
データを扱うにはどうしたら良いでしょうか？ >>318
そういうものはシェルスクリプトでは扱わない
適材適所
バカは同じものをなんにでも押し付けようとするから無駄に機能が肥大化する シェルスクリプトだって適切に扱える(場合はある)
例えば1データがファイル単位に分かれてるとか1データの処理が1プロセスの寿命と同じでいいとか U+001EやU+001Fを区切り文字として利用してる方いらっしゃいますか？
結構便利（絶対に他の文字と衝突しない）だと思うんですが、そういうシェルスクリプトを見たことがありません。 はっはっは。一データの中に改行が含まれてる
ものすら扱えないここの連中にそんな発想ができるやつはいない
その程度の陳腐なアイデアであったとしてもな ここだけのシェルスクリプトだけを言っているわけではないと思うけど >>323
正直、そういう解答を出してほしかったね。だせるかなーって思っていたけど
シェルスクリプトでそういうデータを扱うなんておかしいとかのたまうばかり
\x1c（ファイル分離）、\x1d（グループ分離）、\x1e（レコード分離）、\x1f（ユニット分離）は
まさにそういう用途で使うもの。ここの連中の技術力の低下を感じる。 見たことがないって言ってんのに、
このスレ住人の話に限定してどうすんだ いや>289で答えとるやん
>318ってようは>282の質問し直しでしょ >>327
住民に限定し、しかも馬鹿にしたい欲求を生んだ過去があったのだろう。馬鹿にされたとか、単になにか否定されたとか >>328
それは改行コードを置換するって話
置換することで遅くなってしまう悪いパターン
置換なんかしません 改行コード含んだデータ扱いたいという前提の質問かと思ったら
改行コード含んだデータなどナンセンスであるという主張だった データの中に改行コードがあっても置換する必要はありませんよねぇ >>289はデータの中に改行コードがあるのはナンセンスだから置換しろという主張
そんなことをする必要はない なんかただ否定している感じにしか見えんけど
シェルスクリプトで扱うまでも考えて否定してんのかな？ >>289はナンセンス云々でなくて、現実的なだろと思うけど >>337
動くかどうかだったら動くけど
速度が遅過ぎで現実的じゃないよ
なにせ一行一行forkとプロセス起動が必要になるしね 速度が問題になるかは条件次第で
現実的じゃないと言いきれる根拠は今のところ無い >>338
> なにせ一行一行forkとプロセス起動が必要になるしね
イミフ >>326
だってどうせCSVの話だろ？区切り文字を換える話をすると
後出しじゃんけんでソレは違うって言い出すのが常套手段 一度全部置換してから読み取ればいいんじゃないですか（名推理 因みにCSVはRFCで「内部改行はCRLF」と定まっているので
ここから攻めるというのもアリ。
「\r\n」という組はフィールド区切りとしては無効にすればよろし
え？ CSV出力すると内部改行がLFになるLibreOffice Calc？
知らない子ですね… >>340
まったく
どういう処理を想定しているのか全くみえんな。そのなアホなという処理方法は > "Excelから出力したCSVのように" 一行（？）の中に改行が含まれた
> データを扱うにはどうしたら良いでしょうか？
> カンマ区切りのCSVデータだと "仮定して" 、
> 今回はCSVではありませんが、
こう書いてあるのに、CSV形式だって思い込むのは
頭が悪いと思います。 >>343
> 因みにCSVはRFCで「内部改行はCRLF」と定まっているので
なるほど、\n のようにエスケープしてはいけないんですね だったらお前がそのわけわからんCVS形式でない答えを応えれtばええんちゃんですかね？具体的に何も言ってないのに対する汎用的な
自称賢いらしいから時間かけずになんでもござれの汎用的的なのかけるだろ？ >>343
> 一度全部置換してから読み取ればいいんじゃないですか（名推理
そして一行ずつ読み取るわけですねｗ
そりゃそうでしょう。\nを全部改行コードに戻してしてしまったら、
区別できないですからね >>345
既にCSVをどうするのかという話題に変わってるんですよ。
空気読んでくださいよ。 >>346は>>345っぽいけど、そうなら他人を頭が悪いとは言えんだろうw >>347
> だったらお前がそのわけわからんCVS形式でない答えを応えれtばええんちゃんですかね
データの中に改行コードがあるってだけで、
フォーマットは最初から指定してないよ？
その場合どういうやり方があるでしょうって話なんだが、
CSVだと思いこんで効率の悪い方法しか思いつかず
指摘したら逆ギレするのやめなよ？ダサいから >>351
なにが言いたいのかわからんが、RFCのCSVの仕様に改行コードを
エスケープするという仕様はない。ダブルクォートでくくればいいだけ えっ、一行づつ fork + exec してるって本気で思い込んでるんだ… >>352,354
...はあ...
マジで言ってるの？ >>356
外部コマンドを呼び出すならそうだね
まさか外部コマンドを呼び出さないで置換できるとでも思ってのかい？ｗ データ | フィルタ | シェルスクリプト(関数なり) | フィルタ > データ
フィルタをどう作るかは具体的じゃないとでCVSしか例にあげてないからCVSなだけなんだが
っていういたって普通のことなのに。そうじゃないナニかを想定しているらしけど、そのナニかの具体的なことは全く言わずに指摘wという否定なだけだもんな
その指摘もトンチンカンなこともあり、ただただ無闇に偉ぶりたいだけにしか見えんなあ >>357
仕様よんでこい
http://www.kasai.fm/wiki/rfc4180jp
CSVの仕様においてエスケープとは
ダブルクォート " を "" と二つ連続させるものだ
\記号でエスケープする仕様はない >>360
それは最初＆最終形態だよ。途中で処理の都合のよいようにするのに仕様もなんもないわっ
マジあほとしか思えない もう一つ解説記事
https://codezine.jp/article/detail/2364
> 改行コードはプラットフォームによって異なります。一般的にWindowsは
> <CR><LF>、UNIXは<LF>です。
> ※2008/04/16追記：RFCでは末尾(レコードの区切りとして)の改行は
> <CR><LF>を推奨しています。CSVを解釈するプログラムではどちらの
> 改行コードでも読めるように作ることをお勧めします
> ダブルクォートで囲む場合
> "山田","太郎","値に
> 改行や,カンマや""ダブルクォートが含まれても問題ありません。"
> まれにCSVの方言で\エスケープを行うことがあります。
>
>\エスケープを行う特殊な例
>"山田","太郎","値に改行\nや\,カンマや\"ダブルクォートが含まれても問題ありません。"
> この方言はあまり普及していませんので、利用するのは避けましょう。
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ >>361
最終形態とか何いってんだ？
RFCの仕様の話をしている >>363
シェルスクリプトでどう扱うかだぞ？処理をどうするかだぞ？なに言ってるの？プログラミング知らないの？ CSVスレになってんのはなぜなんだ
勉強にはなるけど もう一つｗ
https://www.upken.jp/kb/csv.html
> RFC4180準拠
> 基本
> ヘッダーはあってもなくてもよい
> 空データフィールドがある
> 前後にスペースがあっても無視しない
> ダブルクォーテーションで囲む場合は同じレコードのすべてのフィールドをダブルクォーテーションで囲む
> 改行、ダブルクォーテーション、カンマを含むフィールドは、ダブルクォーテーションで囲むべき
> ダブルクォーテーションで囲まれているフィールドでダブルクォーテーションを使用する場合は、ダブルクォーテーションでエスケープする
> 非常に長い文字列を考慮
> 複合パターン >>364
> シェルスクリプトでどう扱うかだぞ？
CSVを扱うという話はしてない
\ でエスケープするのは遅くて無駄という話ならしたがね >>367
お前はどうかしてる。ここにきてCVSの仕様を得意げにあげてるのと同じヤツってことはないよな？ >>358
左手でつり革に捕まっていても、左手で痴漢できるそうですよ
日本の裁判所は素晴らしいです >>368
どうかしてるって言うなら、答えを書きなよ
なんど言われれば分かるんだ？ ■ このスレッドは過去ログ倉庫に格納されています
