文字コード総合スレ part13

■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん
垢版 |
2020/07/03(金) 20:53:47.08ID:elbfDzqw
Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/
721デフォルトの名無しさん
垢版 |
2023/02/18(土) 12:24:41.58ID:ExpzrYMf
>>717
UTF-8以前の話なら
UNIXとWindows混在ならEUCが正解
722デフォルトの名無しさん
垢版 |
2023/02/18(土) 12:26:20.12ID:ExpzrYMf
>>720
IBMは昔からわざとちょっと変な仕様追加するのが好きで
M$と不仲になってさらにその傾向が増長したのでは
723デフォルトの名無しさん
垢版 |
2023/02/18(土) 13:59:14.80ID:g6xF0Ha1
>>721
それは逆だ。Windowsを使っていると無意識にSJISになるので、UNIX側をSJISにすればポンコツがいても問題は発生しにくい。
2023/02/18(土) 16:21:02.46ID:PB2jCVVO
UTF8出来てから30年、RFCになってから20年にもなるのに未だにSJISとかアホか
お前らもう20世紀に帰れ。今の時代に不要な人材
2023/02/19(日) 00:00:17.41ID:13adp8Nx
この話の流れはともかくとして、SJIS人材は、必要。
726デフォルトの名無しさん
垢版 |
2023/02/19(日) 13:36:16.30ID:F5EkyCpB
そう言えば eucjp-open と Unicode にはあるのに windows--31j に無い文字って結構沢山あるのな。
727デフォルトの名無しさん
垢版 |
2023/02/19(日) 13:38:43.70ID:F5EkyCpB
Windows では環境依存文字扱いになってメモ帳に入力できるが UTF-8 にしないと保存出来ない。
728デフォルトの名無しさん
垢版 |
2023/02/19(日) 15:08:09.17ID:mdwW7xFX
>>724
Windowsは表面がSJIS、内部がUTF-16だ。

これをUTF-8にすべて置き換えるには、あと数十年はかかる。
729デフォルトの名無しさん
垢版 |
2023/02/19(日) 15:10:04.88ID:mdwW7xFX
>>727
メモ帳を進化させて、環境依存文字がないようにUTF-8の文字を使うようにしたから、自動的にUTF-8になる。
2023/02/20(月) 14:20:15.29ID:gWCCmRg9
これから先Windows上でテキストファイル作る時には
文字コード何にするのが一番いいの？BOM無しUTF-8？
2023/02/20(月) 14:31:01.70ID:ssy6UqTn
今のところSJISかBOM付きUTF8のどっちかだと思う
2023/02/20(月) 14:38:38.30ID:yWl6H2Py
これから先って言うならBOM無しUTF-8だろうな
メモ帳も前はUTF-8にするとBOMを強制的に付けてきたけど、今はBOM無しUTF-8が標準になったし
2023/02/20(月) 14:42:08.01ID:yWl6H2Py
SJISが生き残ってるうちはBOM付きの方が自動判別が確実で便利だけど
2023/02/20(月) 15:57:49.57ID:iLGtEctg
SJISでしか動かないツールをメインに使ってるんじゃなければUTF-8に全面移行するのが正解。
当然BOMとかも不要。
2023/02/20(月) 18:35:55.10ID:ssy6UqTn
Windows環境でBOMを付けて困ることなんてないんだから、付けられるなら付けておいた方がいいでしょ
むしろBOMなしのメリットが思いつかない
ExcelとかBOMつけないとcsvが文字化けしたりするし
2023/02/20(月) 19:00:28.39ID:OG9zY4WL
UTF-8 にBOMとか最悪だな
2023/02/20(月) 19:42:17.34ID:XGJQq71T
令和になってもう5年になるのにいまだにsjisなんてありえない
あとbomつきutfも2010年代ならともかくWin81もIE11も死に絶えてる現代で許されるわけがない

結論:BOMなしUTF8以外の選択肢はありえない
2023/02/20(月) 19:44:40.63ID:XGJQq71T
UTF16も内部処理コードとしての賞味期限は切れてるしな
2030年位には世の中すべてUTF8で統一されるだろう
739デフォルトの名無しさん
垢版 |
2023/02/20(月) 20:07:00.66ID:HgTGLFxo
>>737
日本語や中国語はUTF-8だと処理が面倒なんだよな

UTF-8は将来、UTF-32に置き換わるだろう。
2023/02/20(月) 21:29:57.22ID:iLGtEctg
日本語とか中国語が特にめんどうという話は聞いたことがない。どういうこと？
2023/02/20(月) 22:49:24.50ID:eS5XTp7S
UTF-16が持て囃されたのももはや4半世紀以上前なんだが

日本語も中国語もUTF-16の範疇で何ら問題なく処理できるはずなのに
どんな処理系でいまだに扱いが面倒なのか教えてほしいな
まあ具体例を聞いたら「そんなゴミとっとと廃棄処分しろ」という乾燥にしかならない気もするけど
2023/02/20(月) 23:56:20.10ID:ssy6UqTn
UTF32にはUTF16同様にエンディアンの問題があるから入出力形式には向かない
まぁ、UTF8にはUTF8で冗長コードの問題があるわけだが……UTF8をコードポイント単位で読み込んで処理するのが一番確実と思う
743デフォルトの名無しさん
垢版 |
2023/02/21(火) 19:33:57.30ID:VTx8hARX
>>740
UTF-8は文字によって1バイトで済むなら1バイトで表現する。

これはアルファベットを使用している欧米人には都合がいいが、漢字を使っている日本人、中国人などでは、その漢字は何バイトなのか常に意識しなくてはならなくなる。

近い将来、4バイトで統一した方が楽という話になる。
特に中国が世界の中心になると、中華人民共和国が推奨しているキャラクタセット GB2312は2バイトで一文字をあらわすキャラクタセット。

日本語のように1～2バイトで表現するから、UTF-8のように1バイト文字、2バイト文字、3バイト文字、4バイト文字、5バイト文字と何バイト使うのかわからないキャラクタセットは嫌う。

中国語EUCとUTF-8は相性が悪い。
744デフォルトの名無しさん
垢版 |
2023/02/21(火) 19:35:15.90ID:VTx8hARX
GB2312をUTF-8に置き換えようとしても、面倒くせえだけだと思うは中華人民共和国も同じ。
745730
垢版 |
2023/02/21(火) 20:03:36.31ID:bx2YVvOk
みんな言うことバラバラｗ　結局なにが良いんだよう？
2023/02/21(火) 20:04:41.27ID:NFhPk2T2
>>743
寝ぼけるな。
欧米でもアクセント付きの文字やちゃんとしたクォートとか使えばバイト数増える。
さらに合成アクセント、合成文字、異体字セレクタ、絵文字合成、国旗とかもろもろあって固定長にはならない。UTF32使っても可変長。
2023/02/21(火) 20:09:54.26ID:gmc1mmvr
文字をいろいろ表そうとリガチャ導入したのは失敗だと思う
748デフォルトの名無しさん
垢版 |
2023/02/21(火) 20:11:40.47ID:KCRD8vTD
>>746
UTF-32は一文字が32ビットで、4バイト単位で文字を表現するから、漢字一文字を4バイトで表現している中国のキャラクタセットと相性がいい。

UTF-8は一文字が何バイトなのかわからないから困るんだぞ？

日本語や中国語は、UTF-8だと2バイト文字というものがほぼ存在しない。

1バイト文字か3～4バイト文字の混合だったから、UTF-8よりUTF-32の方がシンプルになる。

さすがに32ビットではなく、64ビットにしようというのは、かなり未来の話だろう。
749デフォルトの名無しさん
垢版 |
2023/02/21(火) 20:13:32.50ID:KCRD8vTD
>>746
話が矛盾しているぞ。UTF-8もUTF-32も同じ批判ができるなら、UTF-32の方がシンプルだろ？
2023/02/21(火) 20:59:48.85ID:6Lh94JJt
うわあ「GB2312」ときたかあ
2000年以前の知識からアップデートできてないゴミ以下の化石の認識なら、
まあ>743みたいなことを言い出すのも納得だわ
当の中国政府すら「GB2312までしか対応できないようなソフトウェア製品は流通禁止」なんて言い出してから
すでに15年以上経過してるのにいったいお前はどれだけぼーっと生きてきたんだ？

>>745 繰り返すけどBOMなしUTF8以外もはやありえない
2023/02/21(火) 22:10:48.02ID:6Lh94JJt
おそらくだけど>743は知識が古すぎて
>>746が挙げてる用語がそれぞれどういう意味を持ってるのか何一つ理解できていないだろう
これでは会話が成立しない
もしくは知識があるうえで>748や>749みたいなことを言い出してる可能性もないわけではないが
仮にそうであったとすれば頭が悪すぎてなおのこと会話が成立しないと思われる
2023/02/22(水) 07:57:15.15ID:NZkCD/9S
正直、UTF-8にBOMつけるんなら
ISO2022 でいいやんと思う
753730
垢版 |
2023/02/22(水) 09:59:50.26ID:xbNdqyen
>>750
わかった、あなたとマイクロソフトのメモ帳を信じることにするｗ
2023/02/22(水) 20:25:50.37ID:yP74xxqg
BOMはほしい
2023/02/22(水) 21:44:23.38ID:Z5Yb2D9Z
>>754
そのこころは？
2023/02/23(木) 02:06:56.75ID:CN6TeDKs
あって損はない
2023/02/23(木) 03:19:42.48ID:sj7+9G1y
これからは UTF−8 に統一されるんだから BOM は不要
過去の遺物になることが確定してるんだがら、可能な限り早く BOM 無しに移行せよ
2023/02/23(木) 08:50:00.45ID:2/POnIZR
>>757
わかった、俺もあなたとマイクロソフトのメモ帳を信じることにするｗ
759デフォルトの名無しさん
垢版 |
2023/02/23(木) 10:27:37.47ID:4H8fy78d
UTF-8にBOMは要らんし付けてはいけない
未だにBOM言うてるのは老害ゴミ
異体字セレクタとか観たら卒倒して死んじゃうんじゃないか
2023/02/23(木) 10:39:46.94ID:A0wb20Dk
いまだにBOM言ってるのはたしかに老害だな。signatureって言え。
2023/02/23(木) 11:04:10.21ID:9YiKsc0f
Excelにutf8食わすときに必要だし、Windows Searchもutf-8はBOM付き前提で、この状況は未だにかわってない
BOMなし教の人はWindow使ってないんじゃないの？w
2023/02/23(木) 12:50:39.71ID:WqT6xFqM
最終的にはBOM無しUTF-8に統一されるべきだと思うけど
移行期の今はまだBOM付きの方が現実的で無難
まずはWindowsやOffice等主要ツールがBOM無しUTF-8前提になってくれないと
2023/02/23(木) 13:56:15.28ID:QgGws+lN
>>762
天下のMicrosoft様がメモ帳の初期値をBOM無しUTF-8になさっておられる
ExcelとかWindows Searchとかもいずれ追随するんじゃねーの？
2023/02/23(木) 14:40:49.03ID:9YiKsc0f
>>763
世の中から既存のものを含めた全てのSJISテキストファイルが消えてなくなればBOMなし対応になるだろうが、果たして何年かかるかな
2023/02/23(木) 14:42:16.10ID:TD+FtAmO
レジストリスクリプトなど、windowsのユニコードが未だutf16leという現状で
utf8w/obomに統一とか時期尚早でしょ
2023/02/23(木) 16:34:16.53ID:GQ/uFi0l
BOMはSJISと関係なく作られたとおもうが?
2023/02/23(木) 17:00:14.57ID:sj7+9G1y
Windows のシステムロケールをUTF8に設定すればExcellとかOffice系もBOM無しでいけるんじゃないの？
2023/02/23(木) 17:55:58.87ID:PPu7W9/5
Excel の先頭BOMとかいう愚かな仕様も早く無くなってほしい
テキスト開くときにエンコーディングを指定できればいいだけだよね
2023/02/23(木) 19:31:24.94ID:sj7+9G1y
>>768
だからシステム・ロケール UTF8 に変更すれば BOM いらない。
お前らがシステム・ローケルをSJISに設定してSJIS優先にしてるから、それに従ってBOM無しをSJISとみなしてるだけ。
単に設定の問題。エクセルは悪くない
770デフォルトの名無しさん
垢版 |
2023/02/23(木) 22:06:54.24ID:lGgWFFZW
BOMがあって困った経験はJavaしかないなあ
BOM付きを標準していいくらいじゃないかな
771デフォルトの名無しさん
垢版 |
2023/02/23(木) 22:09:58.66ID:lGgWFFZW
Windowsの古い資源と共存するためにもUTF-8/16/32はBOM付きを必須にしたほうがいい
BOMを廃止して良いことなど何もないのが現実。今どきにBOMに対応してないほうがおかしい
2023/02/23(木) 22:30:34.98ID:sj7+9G1y
そもそもネットの通信でも、MacでもLinuxでもUTF-8にBOMつけたりしない。
UTF-8にBOMつけたのは過去のWindowsだけって時点でゴミなのわかるだろ。そのWindowsだってデフォルトでは付けない方向に舵を切った。
今時BOM必要って言ってるのは時代の変化についてこれなくて、過去の環境に生き続けたいロートルだけ。
773デフォルトの名無しさん
垢版 |
2023/02/23(木) 22:59:31.84ID:lGgWFFZW
>>772
BOMがついているファイルを扱えないと機会損失にしかならない。
これは純粋なビジネス上の問題。LinuxとMacが少数派であることの理由のひとつにもなってる
774デフォルトの名無しさん
垢版 |
2023/02/23(木) 23:04:51.37ID:SB4P+kzn
>>772
UTF-8なんて使っているのが過去の環境に生き続けたい（ASCIIが素通しになる）ロートルだけだろ。
775デフォルトの名無しさん
垢版 |
2023/02/23(木) 23:09:41.34ID:lGgWFFZW
エンジン開発での競争に敗れた国がこぞってEV化を推進しようとするのと似た構図。
シェアを持っているWindowsには業務アプリケーション遺産に対する責任がある。負け組のLinuxとMacにはそれがない。
2023/02/23(木) 23:55:53.12ID:DZ2N6cRC
うわあ頭がおかしいのが複数湧いてる（ひょっとして同一人物の別IDだったりして）
意図的に間違ったことをあえて逆張りで言ってるのか本気で信じてるのかどっちなんだろう

UTF8を使うのがロートルって、こいつの言ってる「過去」ってまさかWindows以前のMS-DOSの時代のことか

あとUTF-16やUTF-32のテキストファイルなんて
規格上定義されてることは知ってるけど現物にお目にかかったことなんかないし
そもそもUTF-16やUTF-32なんて元々BOM必須だろうよ
過去の負の遺産がある以上アプリケーションとしてはBOMありファイルの読み込みには対応しなきゃダメだろうけどさ
今後作成するファイルでUTF-16/32を選ぶのは論外だし、UTF-8で保存するならBOMをつける必要などどこにもないだろうよ
2023/02/24(金) 00:16:53.98ID:/JDec9CR
>>700
Windowsは内部的にはUTF16で統一されてるよ
そこはLinuxよりも優れた設計
2023/02/24(金) 00:17:46.23ID:/JDec9CR
> UTF-8で保存するならBOMをつける必要などどこにもないだろうよ
BOMをつけないと他の文字コードとの区別ができなくて
文字化けしてしまう
2023/02/24(金) 00:19:03.22ID:/JDec9CR
だいたいUTF-8のBOMはUnicodeの正式な仕様なのだから
対応してないほうが悪い
2023/02/24(金) 00:22:30.88ID:/JDec9CR
LinuxとかmacOSとかUnixはUnicodeの対応が遅れていて
LANG=C.UTF-8でさえPOSIXで標準化されていない
Unicodeを正しく扱えないコマンドがある
2023/02/24(金) 00:50:08.17ID:rqUoHIRk
>>780
いったいいつの時代の話をしてるんだ
具体的なコマンド名とディストリビューションを挙げてみろや
2023/02/24(金) 01:46:20.35ID:MU0HtYsa
>>768 >>769
Mac上のExcelは、どうするのが正解?
以前「CSVで日本語が化けるぞ」と言われて、よくわからなかったからググったら「UTF-16なら
大丈夫」とあったので、そうしたら文句を言われなくなったのでよかったらしいw
Excel以外でCSVを使うとき、例えばpandasとかUTF-16でも大丈夫なんだっけ?
2023/02/24(金) 03:29:22.76ID:zsYMclLz
今後はファイルや外部通信はUTF-8がデフォルトになる
逆にいうとBOMついてないのは全てUTF-8とみなされる
よってUTF-8にBOMは不要
この単純なロジックが理解できないやつはかわいそう
2023/02/24(金) 06:23:20.57ID:BmT/WJ86
>>783
> 今後はファイルや外部通信はUTF-8がデフォルトになる

ならないよ。
誤った認識を前提に議論するのは意味がない。
スレのレベルが低下して無駄な書き込みが増えるだけなので、この話題はもうやめてくれ。
2023/02/24(金) 08:06:25.11ID:liuYehNm
文字コードを自動判別するためにBOMを使うってのがダメだな
BOMと思ったコードが違うエンコーディングの可能性があるんだから
Windows だけで閉じておいてほしいから、通信回線には流さないで
2023/02/24(金) 08:34:34.48ID:b+y25Gbd
>>777
> Windowsは内部的にはUTF16で統一されてるよ
ワイドキャラクタがUTF-16で統一されているという意味なら
Linuxも20年以上前のglibc-2.0からUTF-32で統一されているよ

ワイドキャラクタ以外アプリ等が独自に他の符号化方式を
採用している場合があるのも同じ
2023/02/24(金) 08:58:55.21ID:BmT/WJ86
>>785
そもそも誰も自動判別の正確性を担保できないからBOMがあるんだろ
Windowsを除外したビジネスで成り立つならそれでいいが、現実はそうじゃない。
他人が対応するのを待つのは無能な人のすることだよ。
2023/02/24(金) 09:04:15.26ID:BmT/WJ86
過去にプログラミングやったことない人が急にスマホ開発に配属されて、自分が対応するのではなく他人が対応するのを待ってるあたりに頭悪いのが伝わってくる。
プログラミングの才能ないし、むいてないからプログラミングから離れたほうがいいと思う。
2023/02/24(金) 12:43:37.42ID:8I4EMiY9
逆だね。BOMなんかじゃ判別できない
だって，FEってソーンのコードだもの
2023/02/24(金) 12:49:37.23ID:8I4EMiY9
Windows プログラマってほんとどうしてこんなに喧嘩を売るの？
世の中の文字コードがCP932 とUTF-16しかないと思っているよね
2023/02/24(金) 13:06:47.37ID:8I4EMiY9
もう少し正確にいうと，テキストファイルから
文字のエンコーディングを推測することはほとんど不可能
文字のエンコーディングはアウトオブバンドで送る必要がある
ISO2022 はエスケープシーケンスというアウトオブバンド転送を定義していた
ちゃんと定義するなら，UTF-8も Byte order mark ではなく
エンコーディングを指定するアウトオブバンドシーケンスを定義すべきという話
なんか議論が噛み合ってなかったので
2023/02/24(金) 13:10:51.59ID:8I4EMiY9
それで，Windows は先頭にBOM を入れるというのをアウトオブバンドで決めてる訳
だから，Windows で勝手にしてね。Windows 以外には送らないでって話
2023/02/24(金) 13:23:55.49ID:BmT/WJ86
「べき」論はよそでやってくれ。
2023/02/24(金) 13:24:26.82ID:5Y5XlszR
もうさ、結論出ないからこうしたら？

今後新たに作成するテキストファイルはBOM無しUTF-8で書く
今後のソフトはBOM有りBOM無し両方のUTF-8を読めるように作る
795デフォルトの名無しさん
垢版 |
2023/02/24(金) 13:53:37.06ID:BmT/WJ86
急にスレのレベルが下がった感じ。同じ人がID変えて書き込んでるんだろうか。
このスレに独り善がりな理想論を書き込む人は、プログラマ適性がないから転職しなさい。
2023/02/24(金) 13:59:12.56ID:zsYMclLz
>>792
Windowsではとか言ってる時点で国際化とか文字コードのこと全く知らない無知だろ。単に「日本語Windows」で使われてたCP932がUTF-8のBOMとかぶってなかっただけ。
英語Windowsで使われてたCP1252とかは EF BB BF にもそれぞれ文字が割当れらてるのでBOMとかあっても区別できばない。他の多くの文字コードもそうだし、CP932/SJIS なんかより断然現有の資産も多い。
おま国事情でたまたまうまくいってるだけなんて、一般化や標準化されるわけないだろ
2023/02/24(金) 14:02:43.91ID:zsYMclLz
>>796
792の返信にしたけど、792を批判したいわけではなくて、WindowsではBOMが便利という一般論を否定したかっただけ。
それは単なる日本しか知らない蛙仕草。
798デフォルトの名無しさん
垢版 |
2023/02/24(金) 14:02:58.25ID:BmT/WJ86
「ぼくのかんがえたさいきょうの文字コード処理パッチ適用」を自腹で開発して、自腹ですべての顧客のデバイスに入れればいいだけ。
すべてはカネ次第。カネを出す人が仕様を決めればいい。それだけ。
2023/02/24(金) 14:42:29.80ID:dKpgt1DZ
海外ではこうとか、本来こうあるべきとか、どうでも良いんだよ
日本語のテキストファイルを読み込むプログラムの仕様としてSJIS/UTF8自動判別にした場合、
確実に文字化けしないのはBOM付きUTF-8だけという事実は考慮すべき
2023/02/24(金) 15:02:03.28ID:xSIwGcb9
>>796
CP1252でEF BB BFって文字はあっても意味を成さない謎の文字列だし、極稀なパターン
完璧ではなくとも、実用上ほぼ問題ない精度で判別出来るでしょ
とうのWindowsがそういう風に利用してるのだし
2023/02/24(金) 15:30:37.37ID:BmT/WJ86
ïÿ¿を有意な先頭文字列とする利点と欠点を考えて決断すればいいだけのこと
2023/02/24(金) 16:49:11.30ID:3Zj7Ci+m
WindowsやエクセルとBOMは関係ないとおもうんだが
とくにマイクロソフトが開発したり、始めたわけではなく
採用前からBOMありのユニコードがあってたまたまBOMありフォーマットを使っただけでは?
ちがうのか?
2023/02/24(金) 18:05:09.63ID:zsYMclLz
>>799
そもそも自動判別は悪という流れになってることすら知らないんだな。
セキュリティホールやバグの温床になるので文字コードの自動判別はなくすのが世界の流れ。特に確実性のない自動判別は害悪でしかない。
2023/02/24(金) 18:22:32.64ID:BmT/WJ86
BOMを信じた時点でもはや自動判別ではないだろ。
2023/02/24(金) 19:12:21.37ID:/JDec9CR
>>786
> Linuxも20年以上前のglibc-2.0からUTF-32で統一されているよ
それでマウントとったつもりだろうが
Windows NTがUnicodeに対応したのは30年前だ
2023/02/24(金) 19:13:09.21ID:/JDec9CR
>>804
世界には多数の文字コードがあるわけで
完全な自動判別は不可能だって知らないの？
2023/02/24(金) 19:20:45.75ID:/JDec9CR
>>783
> 逆にいうとBOMついてないのは全てUTF-8とみなされる
> よってUTF-8にBOMは不要
あのー、Unicode以外の全ての文字コードにはBOMがついてないんですけど？
2023/02/24(金) 19:22:18.48ID:/JDec9CR
>>781
> 具体的なコマンド名とディストリビューションを挙げてみろや

echo あいうえお | mawk '{ print length($0) }'
15
2023/02/24(金) 19:23:31.95ID:vCNNlHyw
まだunicode以外の文字コードを使う気かよ
化石なん？
2023/02/24(金) 19:23:32.40ID:/JDec9CR
>>781
echo あいうえお | dash -c 'read line; echo ${#line}'
15
2023/02/24(金) 19:24:26.90ID:/JDec9CR
>>809
今すぐこれまでの資産をUnicodeに変換してみせろよｗ
2023/02/24(金) 19:28:28.37ID:3Zj7Ci+m
UTF-8はPlan 9かららしい

Linuxに勝てなかったPlan 9　2009/02/09
「Plan 9」はUNIXが生まれたベル研究所で、次世代UNIXとして開発されていた分散OSだ。
UNIXやC言語を生み出したケン・トンプソン、デニス・リッチー、ロブ・パイクらのチームが、当時UNIXが抱えていた限界を打ち破るために、ネットワークやGUIを最初からUNIXの設計思想に基づいて取り入れた先進的なOSだった。

UNIXの大きな特徴として、デバイスをファイルにマッピングして抽象化するというものがある。ところが、こうした初期設計時の抽象化から漏れるAPIが増えた。
そうして漏れつつあった各種リソースを、再びUNIX的なファイルシステムのツリーにマップし、抽象度と統一性の高いインターフェイスを用意したのがPlan 9だった。

ファイルとして扱えるのは一般に想像するようなハードウェアデバイスだけではなく、あらゆるリソースが対象となった。
TCP/IPなどのネットワーク関連の操作も「/net」というディレクトリを使って行うなど徹底していた。

Plan 9はなぜ失敗したのか？
マーケティングに熱心でなかったからとか、さまざまな理由付けが可能だが、Plan 9が普及しなかった理由は結局のところ、旧来のUNIXを置き換えるほどには先進的ではなかったからだ、というのがレイモンド氏の答えだ。
Plan 9に比べれば、確かにUNIXはきしみ音が聞こえてガタピシいうし、明らかにさび付いたところもあるのだが、そのポジションを維持するために必要な仕事はちゃんとこなせていた、という。

LinuxやBSD系UNIXには、Plan 9由来の機能がいくつか取り込まれている。
稼働中のプロセスをモニタしたり操作するための「/proc」と呼ばれるファイルシステムは、Plan 9のものだし、
Linuxでスレッドを生成するシステムコール「clone」は、レイモンド氏によればPlan 9の「rfork」をモデルにしているという。
すべてをファイルのように扱うという意味でいえば、LinuxのFUSEもPlan 9の影響下にある。
現在、FUSEを使ったファイルシステムには、ftpfsはもちろん、flickrfsやBloggerFS、TracFSなどさまざまな実装がある。
今やOSばかりかインターネット全体にも利用範囲を広げた感があるUTF-8も、Plan 9のために考案されたエンコーディングだという。
https://atmarkit.itmedia.co.jp/news/analysis/200902/09/future.html
2023/02/24(金) 19:28:34.50ID:/JDec9CR
>>781
echo あいうえお | cut -b 4-
いうえお
2023/02/24(金) 19:30:00.43ID:/JDec9CR
間違えた

echo あいうえお | cut -c 4-
いうえお
2023/02/24(金) 19:36:38.85ID:EbaJyZ/f
業界人ですら認識ちがいのある文字コード。素人に説明するの超絶に面倒。
2023/02/24(金) 19:46:01.57ID:liuYehNm
エンコーディングの話をしているのに Unicode とは？
2023/02/24(金) 21:08:47.90ID:Ww2YDdfR
誰も>>794はスルーするんだな？ｗ
2023/02/24(金) 21:53:46.51ID:h0ZFyNU2
流れからしてピントのずれたレスに反応するほどのことでもないかなって
2023/02/24(金) 22:24:35.19ID:zsYMclLz
>>814
そもそも -c オプションは現在 -b （バイト指定）と同じ動きというのが仕様なので文字コードもくそもない。
マニュアル嫁。
2023/02/24(金) 22:30:50.23ID:zsYMclLz
>>815
いや、このスレは素人が跋扈してるだけに過ぎないと思うが。
文字コードやネット・プロトコルの専門家で、「今後は外部は UTF-8 がデフォルト」って以外の意見は聞いたことがない。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況