文字コード総合スレ part13

**デフォルトの名無しさん** · 2020/07/03(金) 20:53:47.08

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/

**デフォルトの名無しさん** · 2023/02/19(日) 13:36:16.30

そう言えば eucjp-open と Unicode にはあるのに windows--31j に無い文字って結構沢山あるのな。

**デフォルトの名無しさん** · 2023/02/19(日) 13:38:43.70

Windows では環境依存文字扱いになってメモ帳に入力できるが UTF-8 にしないと保存出来ない。

**デフォルトの名無しさん** · 2023/02/19(日) 15:08:09.17

>>724
Windowsは表面がSJIS、内部がUTF-16だ。

これをUTF-8にすべて置き換えるには、あと数十年はかかる。

**デフォルトの名無しさん** · 2023/02/19(日) 15:10:04.88

>>727
メモ帳を進化させて、環境依存文字がないようにUTF-8の文字を使うようにしたから、自動的にUTF-8になる。

**デフォルトの名無しさん** · 2023/02/20(月) 14:20:15.29

これから先Windows上でテキストファイル作る時には
文字コード何にするのが一番いいの？BOM無しUTF-8？

**デフォルトの名無しさん** · 2023/02/20(月) 14:31:01.70

今のところSJISかBOM付きUTF8のどっちかだと思う

**デフォルトの名無しさん** · 2023/02/20(月) 14:38:38.30

これから先って言うならBOM無しUTF-8だろうな
メモ帳も前はUTF-8にするとBOMを強制的に付けてきたけど、今はBOM無しUTF-8が標準になったし

**デフォルトの名無しさん** · 2023/02/20(月) 14:42:08.01

SJISが生き残ってるうちはBOM付きの方が自動判別が確実で便利だけど

**デフォルトの名無しさん** · 2023/02/20(月) 15:57:49.57

SJISでしか動かないツールをメインに使ってるんじゃなければUTF-8に全面移行するのが正解。
当然BOMとかも不要。

**デフォルトの名無しさん** · 2023/02/20(月) 18:35:55.10

Windows環境でBOMを付けて困ることなんてないんだから、付けられるなら付けておいた方がいいでしょ
むしろBOMなしのメリットが思いつかない
ExcelとかBOMつけないとcsvが文字化けしたりするし

**デフォルトの名無しさん** · 2023/02/20(月) 19:00:28.39

UTF-8 にBOMとか最悪だな

**デフォルトの名無しさん** · 2023/02/20(月) 19:42:17.34

令和になってもう5年になるのにいまだにsjisなんてありえない
あとbomつきutfも2010年代ならともかくWin81もIE11も死に絶えてる現代で許されるわけがない

結論:BOMなしUTF8以外の選択肢はありえない

**デフォルトの名無しさん** · 2023/02/20(月) 19:44:40.63

UTF16も内部処理コードとしての賞味期限は切れてるしな
2030年位には世の中すべてUTF8で統一されるだろう

**デフォルトの名無しさん** · 2023/02/20(月) 20:07:00.66

>>737
日本語や中国語はUTF-8だと処理が面倒なんだよな

UTF-8は将来、UTF-32に置き換わるだろう。

**デフォルトの名無しさん** · 2023/02/20(月) 21:29:57.22

日本語とか中国語が特にめんどうという話は聞いたことがない。どういうこと？

**デフォルトの名無しさん** · 2023/02/20(月) 22:49:24.50

UTF-16が持て囃されたのももはや4半世紀以上前なんだが

日本語も中国語もUTF-16の範疇で何ら問題なく処理できるはずなのに
どんな処理系でいまだに扱いが面倒なのか教えてほしいな
まあ具体例を聞いたら「そんなゴミとっとと廃棄処分しろ」という乾燥にしかならない気もするけど

**デフォルトの名無しさん** · 2023/02/20(月) 23:56:20.10

UTF32にはUTF16同様にエンディアンの問題があるから入出力形式には向かない
まぁ、UTF8にはUTF8で冗長コードの問題があるわけだが……UTF8をコードポイント単位で読み込んで処理するのが一番確実と思う

**デフォルトの名無しさん** · 2023/02/21(火) 19:33:57.30

>>740
UTF-8は文字によって1バイトで済むなら1バイトで表現する。

これはアルファベットを使用している欧米人には都合がいいが、漢字を使っている日本人、中国人などでは、その漢字は何バイトなのか常に意識しなくてはならなくなる。

近い将来、4バイトで統一した方が楽という話になる。
特に中国が世界の中心になると、中華人民共和国が推奨しているキャラクタセット GB2312は2バイトで一文字をあらわすキャラクタセット。

日本語のように1～2バイトで表現するから、UTF-8のように1バイト文字、2バイト文字、3バイト文字、4バイト文字、5バイト文字と何バイト使うのかわからないキャラクタセットは嫌う。

中国語EUCとUTF-8は相性が悪い。

**デフォルトの名無しさん** · 2023/02/21(火) 19:35:15.90

GB2312をUTF-8に置き換えようとしても、面倒くせえだけだと思うは中華人民共和国も同じ。

**730** · 2023/02/21(火) 20:03:36.31

みんな言うことバラバラｗ　結局なにが良いんだよう？

**デフォルトの名無しさん** · 2023/02/21(火) 20:04:41.27

>>743
寝ぼけるな。
欧米でもアクセント付きの文字やちゃんとしたクォートとか使えばバイト数増える。
さらに合成アクセント、合成文字、異体字セレクタ、絵文字合成、国旗とかもろもろあって固定長にはならない。UTF32使っても可変長。

**デフォルトの名無しさん** · 2023/02/21(火) 20:09:54.26

文字をいろいろ表そうとリガチャ導入したのは失敗だと思う

**デフォルトの名無しさん** · 2023/02/21(火) 20:11:40.47

>>746
UTF-32は一文字が32ビットで、4バイト単位で文字を表現するから、漢字一文字を4バイトで表現している中国のキャラクタセットと相性がいい。

UTF-8は一文字が何バイトなのかわからないから困るんだぞ？

日本語や中国語は、UTF-8だと2バイト文字というものがほぼ存在しない。

1バイト文字か3～4バイト文字の混合だったから、UTF-8よりUTF-32の方がシンプルになる。

さすがに32ビットではなく、64ビットにしようというのは、かなり未来の話だろう。

**デフォルトの名無しさん** · 2023/02/21(火) 20:13:32.50

>>746
話が矛盾しているぞ。UTF-8もUTF-32も同じ批判ができるなら、UTF-32の方がシンプルだろ？

**デフォルトの名無しさん** · 2023/02/21(火) 20:59:48.85

うわあ「GB2312」ときたかあ
2000年以前の知識からアップデートできてないゴミ以下の化石の認識なら、
まあ>743みたいなことを言い出すのも納得だわ
当の中国政府すら「GB2312までしか対応できないようなソフトウェア製品は流通禁止」なんて言い出してから
すでに15年以上経過してるのにいったいお前はどれだけぼーっと生きてきたんだ？

>>745 繰り返すけどBOMなしUTF8以外もはやありえない

**デフォルトの名無しさん** · 2023/02/21(火) 22:10:48.02

おそらくだけど>743は知識が古すぎて
>>746が挙げてる用語がそれぞれどういう意味を持ってるのか何一つ理解できていないだろう
これでは会話が成立しない
もしくは知識があるうえで>748や>749みたいなことを言い出してる可能性もないわけではないが
仮にそうであったとすれば頭が悪すぎてなおのこと会話が成立しないと思われる

**デフォルトの名無しさん** · 2023/02/22(水) 07:57:15.15

正直、UTF-8にBOMつけるんなら
ISO2022 でいいやんと思う

**730** · 2023/02/22(水) 09:59:50.26

>>750
わかった、あなたとマイクロソフトのメモ帳を信じることにするｗ

**デフォルトの名無しさん** · 2023/02/22(水) 20:25:50.37

BOMはほしい

**デフォルトの名無しさん** · 2023/02/22(水) 21:44:23.38

>>754
そのこころは？

**デフォルトの名無しさん** · 2023/02/23(木) 02:06:56.75

あって損はない

**デフォルトの名無しさん** · 2023/02/23(木) 03:19:42.48

これからは UTF－8 に統一されるんだから BOM は不要
過去の遺物になることが確定してるんだがら、可能な限り早く BOM 無しに移行せよ

**デフォルトの名無しさん** · 2023/02/23(木) 08:50:00.45

>>757
わかった、俺もあなたとマイクロソフトのメモ帳を信じることにするｗ

**デフォルトの名無しさん** · 2023/02/23(木) 10:27:37.47

UTF-8にBOMは要らんし付けてはいけない
未だにBOM言うてるのは老害ゴミ
異体字セレクタとか観たら卒倒して死んじゃうんじゃないか

**デフォルトの名無しさん** · 2023/02/23(木) 10:39:46.94

いまだにBOM言ってるのはたしかに老害だな。signatureって言え。

**デフォルトの名無しさん** · 2023/02/23(木) 11:04:10.21

Excelにutf8食わすときに必要だし、Windows Searchもutf-8はBOM付き前提で、この状況は未だにかわってない
BOMなし教の人はWindow使ってないんじゃないの？w

**デフォルトの名無しさん** · 2023/02/23(木) 12:50:39.71

最終的にはBOM無しUTF-8に統一されるべきだと思うけど
移行期の今はまだBOM付きの方が現実的で無難
まずはWindowsやOffice等主要ツールがBOM無しUTF-8前提になってくれないと

**デフォルトの名無しさん** · 2023/02/23(木) 13:56:15.28

>>762
天下のMicrosoft様がメモ帳の初期値をBOM無しUTF-8になさっておられる
ExcelとかWindows Searchとかもいずれ追随するんじゃねーの？

**デフォルトの名無しさん** · 2023/02/23(木) 14:40:49.03

>>763
世の中から既存のものを含めた全てのSJISテキストファイルが消えてなくなればBOMなし対応になるだろうが、果たして何年かかるかな

**デフォルトの名無しさん** · 2023/02/23(木) 14:42:16.10

レジストリスクリプトなど、windowsのユニコードが未だutf16leという現状で
utf8w/obomに統一とか時期尚早でしょ

**デフォルトの名無しさん** · 2023/02/23(木) 16:34:16.53

BOMはSJISと関係なく作られたとおもうが?

**デフォルトの名無しさん** · 2023/02/23(木) 17:00:14.57

Windows のシステムロケールをUTF8に設定すればExcellとかOffice系もBOM無しでいけるんじゃないの？

**デフォルトの名無しさん** · 2023/02/23(木) 17:55:58.87

Excel の先頭BOMとかいう愚かな仕様も早く無くなってほしい
テキスト開くときにエンコーディングを指定できればいいだけだよね

**デフォルトの名無しさん** · 2023/02/23(木) 19:31:24.94

>>768
だからシステム・ロケール UTF8 に変更すれば BOM いらない。
お前らがシステム・ローケルをSJISに設定してSJIS優先にしてるから、それに従ってBOM無しをSJISとみなしてるだけ。
単に設定の問題。エクセルは悪くない

**デフォルトの名無しさん** · 2023/02/23(木) 22:06:54.24

BOMがあって困った経験はJavaしかないなあ
BOM付きを標準していいくらいじゃないかな

**デフォルトの名無しさん** · 2023/02/23(木) 22:09:58.66

Windowsの古い資源と共存するためにもUTF-8/16/32はBOM付きを必須にしたほうがいい
BOMを廃止して良いことなど何もないのが現実。今どきにBOMに対応してないほうがおかしい

**デフォルトの名無しさん** · 2023/02/23(木) 22:30:34.98

そもそもネットの通信でも、MacでもLinuxでもUTF-8にBOMつけたりしない。
UTF-8にBOMつけたのは過去のWindowsだけって時点でゴミなのわかるだろ。そのWindowsだってデフォルトでは付けない方向に舵を切った。
今時BOM必要って言ってるのは時代の変化についてこれなくて、過去の環境に生き続けたいロートルだけ。

**デフォルトの名無しさん** · 2023/02/23(木) 22:59:31.84

>>772
BOMがついているファイルを扱えないと機会損失にしかならない。
これは純粋なビジネス上の問題。LinuxとMacが少数派であることの理由のひとつにもなってる

**デフォルトの名無しさん** · 2023/02/23(木) 23:04:51.37

>>772
UTF-8なんて使っているのが過去の環境に生き続けたい（ASCIIが素通しになる）ロートルだけだろ。

**デフォルトの名無しさん** · 2023/02/23(木) 23:09:41.34

エンジン開発での競争に敗れた国がこぞってEV化を推進しようとするのと似た構図。
シェアを持っているWindowsには業務アプリケーション遺産に対する責任がある。負け組のLinuxとMacにはそれがない。

**デフォルトの名無しさん** · 2023/02/23(木) 23:55:53.12

うわあ頭がおかしいのが複数湧いてる（ひょっとして同一人物の別IDだったりして）
意図的に間違ったことをあえて逆張りで言ってるのか本気で信じてるのかどっちなんだろう

UTF8を使うのがロートルって、こいつの言ってる「過去」ってまさかWindows以前のMS-DOSの時代のことか

あとUTF-16やUTF-32のテキストファイルなんて
規格上定義されてることは知ってるけど現物にお目にかかったことなんかないし
そもそもUTF-16やUTF-32なんて元々BOM必須だろうよ
過去の負の遺産がある以上アプリケーションとしてはBOMありファイルの読み込みには対応しなきゃダメだろうけどさ
今後作成するファイルでUTF-16/32を選ぶのは論外だし、UTF-8で保存するならBOMをつける必要などどこにもないだろうよ

**デフォルトの名無しさん** · 2023/02/24(金) 00:16:53.98

>>700
Windowsは内部的にはUTF16で統一されてるよ
そこはLinuxよりも優れた設計

**デフォルトの名無しさん** · 2023/02/24(金) 00:17:46.23

> UTF-8で保存するならBOMをつける必要などどこにもないだろうよ
BOMをつけないと他の文字コードとの区別ができなくて
文字化けしてしまう

**デフォルトの名無しさん** · 2023/02/24(金) 00:19:03.22

だいたいUTF-8のBOMはUnicodeの正式な仕様なのだから
対応してないほうが悪い

**デフォルトの名無しさん** · 2023/02/24(金) 00:22:30.88

LinuxとかmacOSとかUnixはUnicodeの対応が遅れていて
LANG=C.UTF-8でさえPOSIXで標準化されていない
Unicodeを正しく扱えないコマンドがある

**デフォルトの名無しさん** · 2023/02/24(金) 00:50:08.17

>>780
いったいいつの時代の話をしてるんだ
具体的なコマンド名とディストリビューションを挙げてみろや

**デフォルトの名無しさん** · 2023/02/24(金) 01:46:20.35

>>768 >>769
Mac上のExcelは、どうするのが正解?
以前「CSVで日本語が化けるぞ」と言われて、よくわからなかったからググったら「UTF-16なら
大丈夫」とあったので、そうしたら文句を言われなくなったのでよかったらしいw
Excel以外でCSVを使うとき、例えばpandasとかUTF-16でも大丈夫なんだっけ?

**デフォルトの名無しさん** · 2023/02/24(金) 03:29:22.76

今後はファイルや外部通信はUTF-8がデフォルトになる
逆にいうとBOMついてないのは全てUTF-8とみなされる
よってUTF-8にBOMは不要
この単純なロジックが理解できないやつはかわいそう

**デフォルトの名無しさん** · 2023/02/24(金) 06:23:20.57

>>783
> 今後はファイルや外部通信はUTF-8がデフォルトになる

ならないよ。
誤った認識を前提に議論するのは意味がない。
スレのレベルが低下して無駄な書き込みが増えるだけなので、この話題はもうやめてくれ。

**デフォルトの名無しさん** · 2023/02/24(金) 08:06:25.11

文字コードを自動判別するためにBOMを使うってのがダメだな
BOMと思ったコードが違うエンコーディングの可能性があるんだから
Windows だけで閉じておいてほしいから、通信回線には流さないで

**デフォルトの名無しさん** · 2023/02/24(金) 08:34:34.48

>>777
> Windowsは内部的にはUTF16で統一されてるよ
ワイドキャラクタがUTF-16で統一されているという意味なら
Linuxも20年以上前のglibc-2.0からUTF-32で統一されているよ

ワイドキャラクタ以外アプリ等が独自に他の符号化方式を
採用している場合があるのも同じ

**デフォルトの名無しさん** · 2023/02/24(金) 08:58:55.21

>>785
そもそも誰も自動判別の正確性を担保できないからBOMがあるんだろ
Windowsを除外したビジネスで成り立つならそれでいいが、現実はそうじゃない。
他人が対応するのを待つのは無能な人のすることだよ。

**デフォルトの名無しさん** · 2023/02/24(金) 09:04:15.26

過去にプログラミングやったことない人が急にスマホ開発に配属されて、自分が対応するのではなく他人が対応するのを待ってるあたりに頭悪いのが伝わってくる。
プログラミングの才能ないし、むいてないからプログラミングから離れたほうがいいと思う。

**デフォルトの名無しさん** · 2023/02/24(金) 12:43:37.42

逆だね。BOMなんかじゃ判別できない
だって，FEってソーンのコードだもの

**デフォルトの名無しさん** · 2023/02/24(金) 12:49:37.23

Windows プログラマってほんとどうしてこんなに喧嘩を売るの？
世の中の文字コードがCP932 とUTF-16しかないと思っているよね

**デフォルトの名無しさん** · 2023/02/24(金) 13:06:47.37

もう少し正確にいうと，テキストファイルから
文字のエンコーディングを推測することはほとんど不可能
文字のエンコーディングはアウトオブバンドで送る必要がある
ISO2022 はエスケープシーケンスというアウトオブバンド転送を定義していた
ちゃんと定義するなら，UTF-8も Byte order mark ではなく
エンコーディングを指定するアウトオブバンドシーケンスを定義すべきという話
なんか議論が噛み合ってなかったので

**デフォルトの名無しさん** · 2023/02/24(金) 13:10:51.59

それで，Windows は先頭にBOM を入れるというのをアウトオブバンドで決めてる訳
だから，Windows で勝手にしてね。Windows 以外には送らないでって話

**デフォルトの名無しさん** · 2023/02/24(金) 13:23:55.49

「べき」論はよそでやってくれ。

**デフォルトの名無しさん** · 2023/02/24(金) 13:24:26.82

もうさ、結論出ないからこうしたら？

今後新たに作成するテキストファイルはBOM無しUTF-8で書く
今後のソフトはBOM有りBOM無し両方のUTF-8を読めるように作る

**デフォルトの名無しさん** · 2023/02/24(金) 13:53:37.06

急にスレのレベルが下がった感じ。同じ人がID変えて書き込んでるんだろうか。
このスレに独り善がりな理想論を書き込む人は、プログラマ適性がないから転職しなさい。

**デフォルトの名無しさん** · 2023/02/24(金) 13:59:12.56

>>792
Windowsではとか言ってる時点で国際化とか文字コードのこと全く知らない無知だろ。単に「日本語Windows」で使われてたCP932がUTF-8のBOMとかぶってなかっただけ。
英語Windowsで使われてたCP1252とかは EF BB BF にもそれぞれ文字が割当れらてるのでBOMとかあっても区別できばない。他の多くの文字コードもそうだし、CP932/SJIS なんかより断然現有の資産も多い。
おま国事情でたまたまうまくいってるだけなんて、一般化や標準化されるわけないだろ

**デフォルトの名無しさん** · 2023/02/24(金) 14:02:43.91

>>796
792の返信にしたけど、792を批判したいわけではなくて、WindowsではBOMが便利という一般論を否定したかっただけ。
それは単なる日本しか知らない蛙仕草。

**デフォルトの名無しさん** · 2023/02/24(金) 14:02:58.25

「ぼくのかんがえたさいきょうの文字コード処理パッチ適用」を自腹で開発して、自腹ですべての顧客のデバイスに入れればいいだけ。
すべてはカネ次第。カネを出す人が仕様を決めればいい。それだけ。

**デフォルトの名無しさん** · 2023/02/24(金) 14:42:29.80

海外ではこうとか、本来こうあるべきとか、どうでも良いんだよ
日本語のテキストファイルを読み込むプログラムの仕様としてSJIS/UTF8自動判別にした場合、
確実に文字化けしないのはBOM付きUTF-8だけという事実は考慮すべき

**デフォルトの名無しさん** · 2023/02/24(金) 15:02:03.28

>>796
CP1252でEF BB BFって文字はあっても意味を成さない謎の文字列だし、極稀なパターン
完璧ではなくとも、実用上ほぼ問題ない精度で判別出来るでしょ
とうのWindowsがそういう風に利用してるのだし

**デフォルトの名無しさん** · 2023/02/24(金) 15:30:37.37

ïÿ¿を有意な先頭文字列とする利点と欠点を考えて決断すればいいだけのこと

**デフォルトの名無しさん** · 2023/02/24(金) 16:49:11.30

WindowsやエクセルとBOMは関係ないとおもうんだが
とくにマイクロソフトが開発したり、始めたわけではなく
採用前からBOMありのユニコードがあってたまたまBOMありフォーマットを使っただけでは?
ちがうのか?

**デフォルトの名無しさん** · 2023/02/24(金) 18:05:09.63

>>799
そもそも自動判別は悪という流れになってることすら知らないんだな。
セキュリティホールやバグの温床になるので文字コードの自動判別はなくすのが世界の流れ。特に確実性のない自動判別は害悪でしかない。

**デフォルトの名無しさん** · 2023/02/24(金) 18:22:32.64

BOMを信じた時点でもはや自動判別ではないだろ。

**デフォルトの名無しさん** · 2023/02/24(金) 19:12:21.37

>>786
> Linuxも20年以上前のglibc-2.0からUTF-32で統一されているよ
それでマウントとったつもりだろうが
Windows NTがUnicodeに対応したのは30年前だ

**デフォルトの名無しさん** · 2023/02/24(金) 19:13:09.21

>>804
世界には多数の文字コードがあるわけで
完全な自動判別は不可能だって知らないの？

**デフォルトの名無しさん** · 2023/02/24(金) 19:20:45.75

>>783
> 逆にいうとBOMついてないのは全てUTF-8とみなされる
> よってUTF-8にBOMは不要
あのー、Unicode以外の全ての文字コードにはBOMがついてないんですけど？

**デフォルトの名無しさん** · 2023/02/24(金) 19:22:18.48

>>781
> 具体的なコマンド名とディストリビューションを挙げてみろや

echo あいうえお | mawk '{ print length($0) }'
15

**デフォルトの名無しさん** · 2023/02/24(金) 19:23:31.95

まだunicode以外の文字コードを使う気かよ
化石なん？

**デフォルトの名無しさん** · 2023/02/24(金) 19:23:32.40

>>781
echo あいうえお | dash -c 'read line; echo ${#line}'
15

**デフォルトの名無しさん** · 2023/02/24(金) 19:24:26.90

>>809
今すぐこれまでの資産をUnicodeに変換してみせろよｗ

**デフォルトの名無しさん** · 2023/02/24(金) 19:28:28.37

UTF-8はPlan 9かららしい

Linuxに勝てなかったPlan 9　2009/02/09
「Plan 9」はUNIXが生まれたベル研究所で、次世代UNIXとして開発されていた分散OSだ。
UNIXやC言語を生み出したケン・トンプソン、デニス・リッチー、ロブ・パイクらのチームが、当時UNIXが抱えていた限界を打ち破るために、ネットワークやGUIを最初からUNIXの設計思想に基づいて取り入れた先進的なOSだった。

UNIXの大きな特徴として、デバイスをファイルにマッピングして抽象化するというものがある。ところが、こうした初期設計時の抽象化から漏れるAPIが増えた。
そうして漏れつつあった各種リソースを、再びUNIX的なファイルシステムのツリーにマップし、抽象度と統一性の高いインターフェイスを用意したのがPlan 9だった。

ファイルとして扱えるのは一般に想像するようなハードウェアデバイスだけではなく、あらゆるリソースが対象となった。
TCP/IPなどのネットワーク関連の操作も「/net」というディレクトリを使って行うなど徹底していた。

Plan 9はなぜ失敗したのか？
マーケティングに熱心でなかったからとか、さまざまな理由付けが可能だが、Plan 9が普及しなかった理由は結局のところ、旧来のUNIXを置き換えるほどには先進的ではなかったからだ、というのがレイモンド氏の答えだ。
Plan 9に比べれば、確かにUNIXはきしみ音が聞こえてガタピシいうし、明らかにさび付いたところもあるのだが、そのポジションを維持するために必要な仕事はちゃんとこなせていた、という。

LinuxやBSD系UNIXには、Plan 9由来の機能がいくつか取り込まれている。
稼働中のプロセスをモニタしたり操作するための「/proc」と呼ばれるファイルシステムは、Plan 9のものだし、
Linuxでスレッドを生成するシステムコール「clone」は、レイモンド氏によればPlan 9の「rfork」をモデルにしているという。
すべてをファイルのように扱うという意味でいえば、LinuxのFUSEもPlan 9の影響下にある。
現在、FUSEを使ったファイルシステムには、ftpfsはもちろん、flickrfsやBloggerFS、TracFSなどさまざまな実装がある。
今やOSばかりかインターネット全体にも利用範囲を広げた感があるUTF-8も、Plan 9のために考案されたエンコーディングだという。
https://atmarkit.itmedia.co.jp/news/analysis/200902/09/future.html

**デフォルトの名無しさん** · 2023/02/24(金) 19:28:34.50

>>781
echo あいうえお | cut -b 4-
いうえお

**デフォルトの名無しさん** · 2023/02/24(金) 19:30:00.43

間違えた

echo あいうえお | cut -c 4-
いうえお

**デフォルトの名無しさん** · 2023/02/24(金) 19:36:38.85

業界人ですら認識ちがいのある文字コード。素人に説明するの超絶に面倒。

**デフォルトの名無しさん** · 2023/02/24(金) 19:46:01.57

エンコーディングの話をしているのに Unicode とは？

**デフォルトの名無しさん** · 2023/02/24(金) 21:08:47.90

誰も>>794はスルーするんだな？ｗ

**デフォルトの名無しさん** · 2023/02/24(金) 21:53:46.51

流れからしてピントのずれたレスに反応するほどのことでもないかなって

**デフォルトの名無しさん** · 2023/02/24(金) 22:24:35.19

>>814
そもそも -c オプションは現在 -b （バイト指定）と同じ動きというのが仕様なので文字コードもくそもない。
マニュアル嫁。

**デフォルトの名無しさん** · 2023/02/24(金) 22:30:50.23

>>815
いや、このスレは素人が跋扈してるだけに過ぎないと思うが。
文字コードやネット・プロトコルの専門家で、「今後は外部は UTF-8 がデフォルト」って以外の意見は聞いたことがない。

**デフォルトの名無しさん** · 2023/02/24(金) 23:16:35.23

>>817
スルーしてないだろ
ちゃんと読めよ
わざとか？

**デフォルトの名無しさん** · 2023/02/24(金) 23:18:05.18

>>819
どこにも同じ動きとは書いていない

https://pubs.opengroup.org/onlinepubs/9699919799/utilities/cut.html

-b list
Cut based on a list of bytes. Each selected byte shall be output unless the -n option is also specified.
It shall not be an error to select bytes not present in the input line.

-c list
Cut based on a list of characters. Each selected character shall be output.
It shall not be an error to select characters not present in the input line.

**デフォルトの名無しさん** · 2023/02/24(金) 23:31:32.12

>>822
linux なら linux のマニュアル嫁。

**デフォルトの名無しさん** · 2023/02/25(土) 00:00:07.97

>>823
お前か誰かしらんが、どのディストリでUnicodeに
対応してないって聞かれたから
Linuxは全て対応してないと答えたんだが？

Linuxは対応してないといった俺の指摘に対して
Linuxは対応してないのが仕様だと答えるアホ

macOSのcutはちゃんとUnicodeに対応してる
対応してないディストリを聞かれたから答えただけだ

**デフォルトの名無しさん** · 2023/02/25(土) 00:01:38.57

それにmawkやdashが対応してないという話からも逃げてるな
Unicodeに完全対応してねーんだよ