シェルスクリプト総合その28

**デフォルトの名無しさん** · 2018/07/24(火) 11:01:16.36

シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。

前スレ: シェルスクリプト総合その27（https://mevius.5ch.net/test/read.cgi/unix/1525337663/）

**デフォルトの名無しさん** · 2018/09/16(日) 23:27:44.88

もう書いてるよw

**デフォルトの名無しさん** · 2018/09/17(月) 09:30:58.79

二人いるんじゃなくて、同一人物なんじゃ？
例の人、プロバイダー2つ契約してて自演に使ってるんだし。

**デフォルトの名無しさん** · 2018/09/19(水) 03:32:21.41

引用符を除去するいい方法ってないかな。
個人的には変数の仕様（"abc"はabcとみなされる）とかを利用してエレガントに解決できるんじゃないかと思ってるんだけどうまくいかん。
いまのところsed -e 's/"$[^"]+$"/\1'で問題はないけれど「\"」の形のエスケープに対応したりするのが面倒になってくるんだよねこの形だと。

**デフォルトの名無しさん** · 2018/09/19(水) 04:43:37.82

a='"aa\"a"'
eval echo "$a" とか eval "b=$a"
じゃだめ？

おまけ、最近のbashには以下のような変数展開が
増えているけど今回は関係なさそう
${parameter@A}
${parameter@E}
${parameter@P}
${parameter@Q}

**デフォルトの名無しさん** · 2018/09/19(水) 07:25:21.58

>>916
なるほどevalは思いつかんかったわ。
ただそれだと "aa\""→aa" になってしまうんだがこれは正常な動作なんだろうか。

**デフォルトの名無しさん** · 2018/09/19(水) 07:59:33.05

>>917
さあね。「引用符を除去するいい方法」の正確な意味がよくわからないので
もしかして単に前後の引用符を除去するだけだった？
ならこれだけで行けるけど

a='"aa\"a"'
a=${a#\"}
a=${a%\"}

エレガントに解決っていうから、なんかもっと複雑な話かと思った

**デフォルトの名無しさん** · 2018/09/19(水) 08:36:50.27

>>918
いや別に文句を言ったつもりはない
先に挙げてもらった方法で解決してるしあれはすごくエレガントだと思う。

エレガントっていうのは数学畑の言葉のつもりで使った。
つまりまわりくどいやりかたではなく本質をつらぬいた方法。
今回は，
「シェルに対してトークンの区切りを示すための引用符をシェルに読み込ませることによって除去する」
という非常に直感的で素晴しい方法を学べた。
俺のやりかたはわざわざsedを使ってる点で，シェルが解釈するという本質から外れてしまっている。

**デフォルトの名無しさん** · 2018/09/19(水) 08:38:35.76

ちなみにやりたかったことは単純に
VAR="value with space"
↑こういうことが書かれたファイルから
value with space
という語句を取り出すというもの。

$ cat /etc/os-release | grep '^PRETTY_NAME' | cut -f 2 -d '=' | eval echo "$(cat)"
↑こういう感じ。

**デフォルトの名無しさん** · 2018/09/19(水) 09:31:58.31

$ cat /etc/os-release | grep '^PRETTY_NAME' | cut -d'"' -f2

というのはどうだろう

**デフォルトの名無しさん** · 2018/09/19(水) 09:41:44.85

>>919
単に文字列の途中にどういう意味かわからなかっただけだよ。
>「\"」の形のエスケープに対応したりするのが面倒
とか書いてあったから、何がしたいんだろうと

前後の""を取るだけなら>>918のやり方が最短で最速

>>920
> VAR="value with space"
> ↑こういうことが書かれたファイルから
> value with space
> という語句を取り出すというもの。

それだとまた話が変わってくるな
(. /etc/os-release; echo $PRETTY_NAME)

()でくくってるのは、単に変数のスコープをサブシェルに閉じ込めてるだけ
カレントシェルにばらまいていいなら()はいらない

シェル互換の文法としてみなせるファイルならこれでいけるよ
コードが入っていたら実行されるから、安全なファイルと断定できるものにしか使えないけど

**デフォルトの名無しさん** · 2018/09/19(水) 22:30:20.23

"a" → a

こういう変換は、CSV でも苦労してる。
" が偶数個なら良いけど、奇数個なら形式エラーにするとか

CSV は、様々なバグが考えられるから、TSV が良い

"a""b" → a""b

ただし、" " 内で、" を使う場合、"" と連続させる。
この場合も、奇数個なら形式エラーにするとか、ややこしい

**デフォルトの名無しさん** · 2018/09/19(水) 22:42:07.01

>>923
別々の言語で3回ぐらいCSVのパーサーを書いたことありますよ
ダブルクォートがない場合、あって改行が入ってる場合など
Excelの仕様に完全対応したCSVライブラリがその言語になかったので

Perlの変態正規表現レベルにまでなれば可能かもしれないですが、
そういうネスト構造のあるものは単純な正規表現では解決不可能な問題です。

**デフォルトの名無しさん** · 2018/09/19(水) 22:46:07.55

ﾀﾌﾞ区切りでも
当然ﾀﾞﾌﾞﾙｸｫｰﾄがいる

頭悪いこといってるわ。。。

**デフォルトの名無しさん** · 2018/09/20(木) 09:41:46.66

ダブルクォートを特別扱いするかどうは仕様によるのでは？

**デフォルトの名無しさん** · 2018/09/20(木) 10:46:25.87

CSVの仕様といったらRFC4180やろ

**デフォルトの名無しさん** · 2018/09/20(木) 12:24:25.01

>>927
それって区切り文字がタブの場合も書かれてるの？

**デフォルトの名無しさん** · 2018/09/20(木) 12:57:43.85

それくらい読めよw

RFCにはないけど、MIMEタイプ定義してる
https://www.iana.org/assignments/media-types/text/tab-separated-values
によると、
Note that fields that contain tabs are not allowable in this encoding.
となっているし、たぶんEOLも含んじゃだめそうなので、ダブルクオートいらねえよ。

**デフォルトの名無しさん** · 2018/09/20(木) 20:07:29.45

まあいくらRFCで規定してもディファクトスタンダードのExcel読めるフォーマットでないと意味ないしな w

**デフォルトの名無しさん** · 2018/09/20(木) 20:41:14.92

>>930
RFC4180とExcelのCSVはほとんど同じ

違いはデータの中に改行が含まれてる場合
Excelデータの中の改行はLF。（一行の最後はCRLF）
RFC4180はデータの中の改行はCRLF（一行の最後は同じくCRLF）

これだけしか違いはないよ

**デフォルトの名無しさん** · 2018/09/20(木) 20:45:03.75

CSVもTSVデータとしてキーボードから入力可能な文字を
区切り記号としているわけで、なんで
RS (0x1e Record Separator) とか
US (0x1f Unit Separator) とかいう
便利な文字を使わなかったのか？って思うな

**デフォルトの名無しさん** · 2018/09/20(木) 21:32:37.16

頭悪いこといってるわ
そんなｺｰﾄﾞなｷｰﾎﾞｰﾄﾞからどうやって入力すんの

viならできるが
こんなｱﾎが、vi使えるとは考えらればいしな

**デフォルトの名無しさん** · 2018/09/20(木) 21:37:28.28

いつまでトリップはずしてんねんお前

**デフォルトの名無しさん** · 2018/09/20(木) 21:38:06.55

>>931
ほとんど同じとか言うプログラマーは信用できない

**デフォルトの名無しさん** · 2018/09/20(木) 21:38:41.53

そもそもCSVは数値の表のためのデータ形式だからね

**デフォルトの名無しさん** · 2018/09/20(木) 21:39:06.57

ほとんど病気

**デフォルトの名無しさん** · 2018/09/20(木) 21:42:44.26

ｶﾝﾏのｷｰとﾀﾌﾞのｷｰと改行のｷｰは
どのｷｰﾎﾞｰﾄﾞについてる

低学歴知恵遅れにはｺﾚが分からない

**デフォルトの名無しさん** · 2018/09/20(木) 21:51:32.09

>>933
CSVエディタを使えばいいだけでは？

**デフォルトの名無しさん** · 2018/09/20(木) 21:51:35.97

CSVネタで久しぶりにアノヒトが嬉々として現れたなってことかな？w

**デフォルトの名無しさん** · 2018/09/20(木) 21:53:59.48

つーかCSVファイルをテキストエディタなんかで閲覧、編集する人なんていないでしょう？
可能か不可能かで言えば、可能だけどバイナリエディタでテキスト編集するような感じで
効率が悪いから、みんなエクセルつかってCSVファイルの読み書きするんだけど

**デフォルトの名無しさん** · 2018/09/20(木) 22:13:21.07

国によっては、カンマとピリオドの意味が逆転してるのあるけど
そんな国でも割り切って、セパレータはカンマにしてるんだろか

小数点がカンマ、どーしてそうなったか興味あるが

**デフォルトの名無しさん** · 2018/09/20(木) 22:16:57.13

引用符でくくられてたらどんな記号でも問題起きないからな
textを普通のｴﾃﾞｨﾀで開いてなんのｺｰﾄﾞが混入してるか分からないほうが
普通の感覚でｲﾔだから

低学歴知恵遅れなら細かいことは気にしないかもしれない

**デフォルトの名無しさん** · 2018/09/20(木) 22:18:05.52

>>941
編集はExcelだけど差分が容易に取れるからバージョン管理の為にcsvしてる

**デフォルトの名無しさん** · 2018/09/20(木) 22:24:15.47

たとえばhttpもsmtpもｺﾝﾃﾝﾂ以外は
crlfを除いて普通にぜんぶ0x20以上0x7e以下のﾃｷｽﾄでやりとりしてるからな
低学歴知恵遅れなら、自分はそんなの意識しないUA使ってるからなんでもいいというﾜｹ

**デフォルトの名無しさん** · 2018/09/20(木) 22:28:11.99

低学歴知恵遅れは
まずcsvがﾃﾞｰﾀ交換用のﾌｫｰﾏｯﾄであることが分かってない

**デフォルトの名無しさん** · 2018/09/20(木) 22:33:55.28

>>925
半角また間違えたんか。何度目だよ

**デフォルトの名無しさん** · 2018/09/20(木) 22:39:27.57

ﾃﾞﾌｧｸﾄｽﾀﾝﾀﾞｰﾄﾞのｴｸｾﾙで
ﾀﾌﾞ区切りで保存すると
ふつうにこうやって保存されるからな

aho<HT>"boo""foo"<HT>baka
aho<HT>"boo""foo"<HT>baka

**デフォルトの名無しさん** · 2018/09/20(木) 23:21:58.71

>>948
そうだねそうだね

**デフォルトの名無しさん** · 2018/09/21(金) 00:46:25.95

>>931
TSV にして、データ中に、タブ・改行を使わないのが良さそう

>Excelデータの中の改行はLF。（一行の最後はCRLF）
Linux・Windows 間で、テキスト転送しても、改行コードが変わるから、ヤバイ

**デフォルトの名無しさん** · 2018/09/21(金) 01:24:23.69

Excelで直接開くと勝手にフォーマット変換されるのが気に入らないからテキストエディタで開いてからExcelにコピーとかやってるわ

**デフォルトの名無しさん** · 2018/09/21(金) 02:43:02.52

>>950
タブはともかく改行は無理
Excel使ってると改行は絶対入れる

**デフォルトの名無しさん** · 2018/09/21(金) 02:43:36.28

>>950
> Linux・Windows 間で、テキスト転送しても、改行コードが変わるから、ヤバイ
バイナリ扱いすればいいだけ

**デフォルトの名無しさん** · 2018/09/21(金) 04:04:34.44

>>951
拡張子を txt にしてから開いてウィザード動かすか、または 0 で始まる数字だけの文字列は ="0123" のようにして最初から作っておくとうまく行く。

**デフォルトの名無しさん** · 2018/09/21(金) 04:48:00.63

ちょっと荒れたのであまり話題にはしたくないものの
Unicodeの区切り文字を使うのはいい手段だと思う。
ただし思い切り独自規格なので既存の製品には対応できないけどね。もちろん

**デフォルトの名無しさん** · 2018/09/21(金) 05:30:02.46

RS、USってのはUnicodeじゃなくてASCIIの制御文字だよ

**デフォルトの名無しさん** · 2018/09/21(金) 05:37:53.78

もちろんUnicodeでも使えるけどね

**デフォルトの名無しさん** · 2018/09/21(金) 06:06:23.57

一般人はCSVファイルをExcelで編集する
となると別にテキスト形式ベースじゃなくても良いわけだ
だとすると誰がCSVファイルを望んでいるのだろうか？
おそらくプログラマなんだろうね。

考えてみればテーブル型データに限っていれば
CSVはJSONよりも効率よくデータを記述できる
JSONだったらこんな感じだしね

[
{"field1": 1, "field2": 2, "field3": 3},
{"field1": 1, "field2": 2, "field3": 3},
]

これがCSVだとここまでコンパクトに纏められる

field1,field2,field3
1,2,3
1,2,3

一般人のことを考えないくていいという前提のものと、もっと良い形式が考えてみよう
それもシェルスクリプトで扱うのが容易な形式

一行ずつ読み取るのだから、一データの終わりはLFであるべきだろう
そしてデータの中には改行は含まず、カンマや制御コードはprintfコマンドで
簡単に解釈ができるよう8進数にエスケープを行う。どうかね？
エスケープの処理を除けば既存のツールでも扱えるだろう

ただ問題があるとすれば、printfで変数に代入する時forkを行う必要があるということだな
これだと時間がかかってしまう。かといって1文字ずつパースするのも時間がかかる

一行ずつ処理するのが可能で、1カラムずつ処理するのも可能で処理に時間がかからない方法はないだろうか

**950** · 2018/09/21(金) 07:09:48.97

>>931
>Excelデータの中の改行はLF。（一行の最後はCRLF）

もし、このCSV を、Linux で扱う場合には、やばくない？
行区切りをCRLF に設定すれば、データ中に、LF があっても問題ないのかな？

**デフォルトの名無しさん** · 2018/09/21(金) 08:12:42.97

>>959
別にLinuxでも行区切りがCRLFで行内の改行がLFのアプリは作れるでしょ
標準のアプリと動作が違うけどそういう特殊フォーマットだと思えばいいだけ

**デフォルトの名無しさん** · 2018/09/21(金) 09:34:09.19

>>958
fork？どういう処理を想定してるのか？

**デフォルトの名無しさん** · 2018/09/21(金) 09:47:27.07

みんなで輪になって踊る処理やろ

**デフォルトの名無しさん** · 2018/09/21(金) 09:56:30.62

【審議中】
　　　 ∧,,∧　 ∧,,∧
　∧ (´・ω・) (・ω・｀) ∧∧
(　´・ω)　Ｕ) ( つとﾉ(ω・｀ )
｜　Ｕ (　　´・) (・｀　　)　とﾉ
　ｕ-ｕ（l 　　 ) (　　　ﾉu-ｕ
　　　　 `ｕ-ｕ'.　`ｕ-u'

**デフォルトの名無しさん** · 2018/09/21(金) 10:10:07.17

>>961
a=$(printf 'test')

ビルトインコマンドであってもforkが行われる

**デフォルトの名無しさん** · 2018/09/21(金) 10:49:46.73

なんか次から次へと変なテクニックが編み出されていくｗ

**デフォルトの名無しさん** · 2018/09/21(金) 12:41:08.14

構内放送「直ちに中庭に集合してください」
従業員 (また誰かforkコマンド実行したな…)

**デフォルトの名無しさん** · 2018/09/21(金) 12:48:09.10

>>960
> 別にLinuxでも行区切りがCRLFで行内の改行がLFのアプリは作れるでしょ

よく考えたら、シェルスクリプトでもそれなりに使いやすいかもしれない。
readで１行（LFがくるまで）読んで、読み込んだ最後がCRだったら行区切りあつかい
そうでなければ同一行としてあつかえば良いわけだし

**デフォルトの名無しさん** · 2018/09/21(金) 12:50:18.79

8進数エスケープってbashの機能で文字に直せなかったっけ？

**デフォルトの名無しさん** · 2018/09/21(金) 12:53:33.36

printf以外でってこと？

**デフォルトの名無しさん** · 2018/09/21(金) 12:56:03.96

たとえばエスケープをするのは
US，RS，エスケープ文字自体
↑これでどうだろうか各種エスケープは
\#，\%，\\
これ。

ちなみにあたり前だが端末の画面に「分かりやすく」表示するときは
\#→水平タブ，\%→改行（LF）
に置換するのがいいだろう。

**デフォルトの名無しさん** · 2018/09/21(金) 12:57:07.23

>>968
echo $'\030'
↑こういう感じやね。

**デフォルトの名無しさん** · 2018/09/21(金) 13:28:31.46

>>971
あー、dashで使えないから頭から抜け落ちてたわｗ

**デフォルトの名無しさん** · 2018/09/21(金) 18:20:35.40

>>970
これはだめだ。
\<US> \<RS> \\
↑これで十分だった。

**デフォルトの名無しさん** · 2018/09/21(金) 20:25:16.42

思いつきだけど、エスケープ文字自体を表すときは別の文字をエスケープして表現するほうが何かと都合がよくないか？

**デフォルトの名無しさん** · 2018/09/21(金) 21:30:40.16

>>974
くわしく。
具体例でたのむわ（アホで申し訳ない）

**デフォルトの名無しさん** · 2018/09/21(金) 23:27:59.03

例えば\rsを検索したいときに、\が\\でなければ\rsを検索するだけでよいけど、\が\\のときは見つけたあとに\の数をたどってそれが本当に\rsなのか調べないといけない、とか、
とある場所までシークしたときに、その場所の文字が何なのか、\を繰り返し数えないといけない、とか、
\?はすぐエラーとわかるとか。

**デフォルトの名無しさん** · 2018/09/22(土) 00:50:25.74

>>974
その別のエスケープ文字をエスケープするには
どうすればいいの？

**デフォルトの名無しさん** · 2018/09/22(土) 01:10:24.01

>>977
エスケープ文字はあくまで\だけ。
例えば%を使うとして、
rsを表すなら\rs、
usを表すなら\us、
\を表すなら\%、
%を表すなら%、
と記す。とかね

**デフォルトの名無しさん** · 2018/09/22(土) 03:37:20.07

>>978
よくわからん。そのルールだと

\rsを表すときは、\%rs
\usを表す時は、\%us
\%を表す時は、\%%
%を表す時は、%
ってことか？

%を検索した時、それが本当の%であるかは
一文字前が\であるかどうかを調べないといけなくて、
\rsを検索したい時は、\%rsで検索しないといけないってことか？

**デフォルトの名無しさん** · 2018/09/22(土) 04:10:01.34

>>979
あってるよ。

\が\\の場合は、
\を検索するときは\\を見つけるだけじゃ不十分だけど、
\が\%の場合は、
%を検索するときは一文字前が\でない%を見つけるだけで十分だし、
\を検索するときも\%を見つけるだけで十分なんだ。

同様に、
\が\\の場合は、
\rsを検索するときは\\rsを見つけるだけじゃ不十分だけど、
\が\%の場合は、
\rsを検索するときは\%rsを見つけるだけで十分になる。

**デフォルトの名無しさん** · 2018/09/22(土) 06:13:58.91

どうせRS，USとかの非文字を使うんなら
エスケープ文字もESCでいいんじゃないだろうか。

**デフォルトの名無しさん** · 2018/09/22(土) 06:46:52.90

bashでさ、typesetで関数の中身を出力できるじゃん？
それをevalで評価したら同じ関数が出来上がるじゃん？
これってどれくらい信用できるんだろう？

作成した関数のコードそのままの形で出力されるなら
evalで評価して同じものができるだろうけど、
ぱっとみtypesetで出力するされたものをみると、
改行の位置とか変わって整形された状態になって
関数にはfunctionが頭に追加されてる。

元のコードをどれくらい書き換えるんだろうか？
これ以外になにか変わる事知ってたりする人いない？

**デフォルトの名無しさん** · 2018/09/22(土) 11:47:57.86

次スレたてるわ

**デフォルトの名無しさん** · 2018/09/22(土) 11:56:38.68

次スレ
ﾜｯﾁｮｲつけたぞ

シェルスクリプト総合その29
http://mevius.5ch.net/test/read.cgi/tech/1537584801/

**デフォルトの名無しさん** · 2018/09/22(土) 12:03:50.02

今まで人気ないスレだったから全く不要だったわけだが、今後は次スレ立てる安価指定しといたほうがいいか
次回の勢い次第でテンプレ編集で

**デフォルトの名無しさん** · 2018/09/22(土) 21:25:51.74

埋めろって言っても反発されて埋まらん気もするし自分でやるわ

**デフォルトの名無しさん** · 2018/09/22(土) 21:26:12.71

埋め

**デフォルトの名無しさん** · 2018/09/22(土) 21:26:36.85

埋め

**デフォルトの名無しさん** · 2018/09/22(土) 21:26:59.15

埋め

**デフォルトの名無しさん** · 2018/09/22(土) 21:27:22.40

埋め

**デフォルトの名無しさん** · 2018/09/22(土) 21:27:46.75

埋め

**デフォルトの名無しさん** · 2018/09/22(土) 21:27:56.78

埋めない！

**デフォルトの名無しさん** · 2018/09/22(土) 21:27:56.90

荒らすなよﾊｹﾞ

**デフォルトの名無しさん** · 2018/09/22(土) 21:28:09.05

埋め

**デフォルトの名無しさん** · 2018/09/22(土) 21:28:36.50

ID:SEEeyc/q　←　ｱﾗｼ

**デフォルトの名無しさん** · 2018/09/22(土) 21:28:55.88

埋めも理解できない阿呆がいるのか…

**デフォルトの名無しさん** · 2018/09/22(土) 21:30:18.74

このスレも埋まらんうちにすでにCSV荒らしと半角荒らしが次スレ移動してるからな
前スレ使え言っても子供が言うこと聞くわけないから自分でやることにしただけよ

**デフォルトの名無しさん** · 2018/09/22(土) 21:31:28.53

梅屋敷！

**デフォルトの名無しさん** · 2018/09/22(土) 21:31:44.51

埋め

**デフォルトの名無しさん** · 2018/09/22(土) 21:32:32.82

終わり。質問はなし

**1001** · Over 1000

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 60日 10時間 31分 16秒

シェルスクリプト総合 その28

シェルスクリプト総合その28