文字コード総合スレ part14

**デフォルトの名無しさん** · 2023/03/03(金) 15:46:58.08

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/
文字コード総合スレ part13
https://mevius.5ch.net/test/read.cgi/tech/1593777227/

**デフォルトの名無しさん** · 2024/07/19(金) 15:44:59.79

地球人たちよ。オレの霊感では、
shift jis code ≧0x7427 となる
文字は、地球には、shift jis にも
utf8 にも存在は、するが
天からのウチュ〰ジンの祟により
とにかくヤバイ。そんなの霊感がある。
by 👤ウチュ〰人の成り済まし

てゆぅか、shift jis code ≧0x7427
の漢字って何なんだろ。てかウチュ〰ジンクレージー
by 🤡

表示するぐらいなら祟られないよ。
なんか、イロイロとテストすると変だけど
by 🥳

**デフォルトの名無しさん** · 2024/07/19(金) 15:51:30.12

>>917
MS信者の悲しい「現実」は世間の現実ではない

**デフォルトの名無しさん** · 2024/07/19(金) 21:01:43.28

て、youか、windowsのファイル名って
半角spaceとか、,とか文字ぢゃないのも使える
ような気がする。まったく、ダメな仕様だ
複数のファイル名を　,区切りで
ファイルなりエクセルに保存しようとすると
ヘンになっちゃうぢゃーーーん。
これだから、Micr○S゜ftはダメなんだよな。

ファイル名は、ASCii文字(制御コードは除く)
だけ使えるようにしなさーーい。てゆうか
ファイル名に絵文字とか使えるにはしないでね。

ファイル名を格納するアプリとかバグりそうぢゃーーん。
てか、JIS X0213ってSJISだと思ってたが
どうも勘違いしてた。m(__)m　たぶん
単なるJISかも知れん。てかヨクわからん。
ブツブツ・・・

**デフォルトの名無しさん** · 2024/07/19(金) 23:55:58.28

ファイル名の先頭に「-」

**デフォルトの名無しさん** · 2024/07/19(金) 23:56:41.47

>>916

**デフォルトの名無しさん** · 2024/07/20(土) 05:41:48.89

ここで質問しても知ってる人はいなさそうな気もするけどダメモトで (長文失礼)。

Win10 以降のコンソールでは (conhost でも WindowsTerminal でも) "chcp 20932" で表示を EUC-JP にすることが出来ます。

この 20932 というコードページ、補助漢字 (JIS X0212) に一応は対応してるものの、切り替えに SS3 を使わない、という MS らしいなんちゃって仕様で、
これを知ったときそのド変態ぶりに愕然としたものです。

それはまぁいいとして、今回の質問は 20932 ではなく、MS のもう一つの EUC-JP (であるらしい) 51932 についてです。

いくつかのサイトで MS の EUC-JP は 51932 である、という記述が見られるのですが、Win10 や Win11 で "chcp 51932" としてもエラーになります。
10 年以上前と思われる記事にも書かれていて、どうやら 51932 は補助漢字には対応してなかったらしいので、昔は 51932 が使われていたのだけど現在は廃止して、20932 に変更したのかと思ってました。

ところが最近、自宅のマシンに Win95 以降 (WinNT は 3.51 以降) の全ての Windows バージョンを仮想環境に載せたので (このために載せたわけじゃないけど)、
それらのコンソールで片っ端から "chcp 51932" を試して見たのですが、全てエラーになり CP-51932 が使える Win バージョンは一つもありませんでした。
年のため Win-API の MultiByteToWideChar() なども試しましたが結果は同じでした。

とすると、51932 という CP はどこで使われていたのでしょうか?
IE だけで使われていたのか、とも思われるのですが、この辺の経緯をご存知の方いらっしゃいませんか?

**デフォルトの名無しさん** · 2024/07/20(土) 10:31:23.66

>>923
過去に IE とか一部アプリで文字コードを EUC-JP に設定した時に使用されていた文字コードが CodePage 51932 だった
EUC-JP といっても正確には文字の種類が CP 932 と同じ（補助漢字がないかわりにNEC拡張漢字とIBM互換NEC拡張漢字がある。要はCP 932を機械的 SJIS → EUC-JP 変換しただけの）ものだった

**デフォルトの名無しさん** · 2024/07/20(土) 12:04:16.22

>>924
こんなに速くレスもらえるとは! 早速の回答ありがとうございます。

やはり IE で使ってましたか。「一部アプリ」とは C# とか VB などの .net 系言語ということですかね。

前記したように Win-API の MultiByteToWideChar() には 51932 を指定出来なかったのですが、
書かれているように CP932 からの機械的な変換であれば大した処理ではないので、WinAPI を通さずに .net ローカルに実装していたのかも知れませんね。

**デフォルトの名無しさん** · 2024/07/20(土) 14:12:02.51

CP65001とは何だったのか

**デフォルトの名無しさん** · 2024/07/20(土) 17:37:17.64

>>916
使えるから使うではMacを使っているメリットを失う。

Linux・UNIXと共通のものがCUIで使えるというメリットをつぶすのは狂っている。

**デフォルトの名無しさん** · 2024/07/20(土) 17:40:52.19

>>920
それはWindowsの特徴ではない

自然言語をそのまま使えないかという発想の歴史は古い

エスケープシーケンスの実装というまた別の問題を引き起こしているが

**デフォルトの名無しさん** · 2024/07/20(土) 17:47:23.09

最近はJISの話題に触れない人間が多いけど、EメールはJIS。

JISのものを日本語環境で開くとSJISに変換されていたりして気づかないだけ。

**デフォルトの名無しさん** · 2024/07/20(土) 17:50:24.13

>>925
CP51932はマイクロソフトがWindows用に用意したEUC-JPで大昔から使えるものだぞ？

**デフォルトの名無しさん** · 2024/07/20(土) 17:51:47.77

日本マイクロソフトと日本IBMはいまだに自社が拡張したキャラクタセットを使ってくるから面倒なんだよない

**デフォルトの名無しさん** · 2024/07/20(土) 18:05:46.39

日本語は絶対に ISO-2022-JP でなければならない、ってこともないはず。
今時のメーラーならたいてい UTF-8 も使える。

**デフォルトの名無しさん** · 2024/07/20(土) 18:37:14.92

>>932
Eメールソフトの世界はUTF-8が標準にはなっていない

**デフォルトの名無しさん** · 2024/07/20(土) 18:38:27.52

EメールをHTMLにしたがるIT大手はキャラクタセット問題を気にしてHTMLメールに誘導している。

Google社なんてモロにそう。

**デフォルトの名無しさん** · 2024/07/20(土) 18:48:31.05

あとはSMTPUTF8を使ってメールヘッダーや本文のUTF8を
Base64などにエンコードしないで送るのが当たり前になったらいいんだけどね
こんな実装になっているメーラーはあるのかな

**デフォルトの名無しさん** · 2024/07/20(土) 18:51:01.47

通信プロトコルまでUTF-8でやっていると思うレベルの低下は怖ろしいな

**デフォルトの名無しさん** · 2024/07/20(土) 19:14:20.90

>>933
一つに限定されてはいないってことだ。なんのためにMIMEやなんかの規格でいろいろ定めてると思ってる。
標準というならUTF-8も標準の一つ。

**デフォルトの名無しさん** · 2024/07/20(土) 19:36:30.15

言葉遊びはしていない

**デフォルトの名無しさん** · 2024/07/20(土) 19:53:47.49

＞＞886
森鷗外𠮟る

**デフォルトの名無しさん** · 2024/07/20(土) 20:11:01.14

>>939
専用ブラウザを使ってないの？

**デフォルトの名無しさん** · 2024/07/20(土) 20:14:02.55

>>938
日本語が不自由な人かな

EメールはJIS
UTF-8が標準にはなっていない

というのに反論したつもりだが

**デフォルトの名無しさん** · 2024/07/20(土) 20:48:59.49

UTF-8は「標準」だ。

この文の解釈は難しい。そもそもキャラクタセットそのものが標準化だからだ。

**デフォルトの名無しさん** · 2024/07/20(土) 20:49:41.37

>>1
もう「文字コード」というタイトルはやめないか？

**デフォルトの名無しさん** · 2024/07/21(日) 02:45:19.34

>>930
確かに CP51932 は MS の昔ながらの EUC-JP、とされてるようですが、状況的には CP51932 が OS レベルでサポートされたことはなく、.net レベルのサポートに留まっている
というのが結論と思われます。

OS レベルでサポートされているのは CP20932 の方でしょう。

ところでちょっと訂正。
>>923 で、"chcp 20932" が使えるのは Win10 以降と書きましたが、実際は Win2000 から使えるようです。
もっとも Win10 未満のコンソールでは "chcp 20932" すると日本語フォントが選択出来なくなるので、使い物にはなりませんが。

一方で、Win-API の MultiByteToWideChar() は Win2000 以降であれば CP に 20932 を指定して EUC-JP → Unicode 変換が可能のようで (マッピングの詳細は調べてませんが)、JIS X0212 → Unicode も変換出来ました。
SS3 を使わずに X0212 にシフトするという変態仕様も、この頃からだったんですね。

**デフォルトの名無しさん** · 2024/07/22(月) 21:09:05.44

>>944
略語が気になって何を言いたいのかわからない

**デフォルトの名無しさん** · 2024/07/22(月) 21:11:08.05

「Windows 10 未満」という表現はわかりにくい。

Windows Serverを無視したWindowsの話はプロっぽくない。

**デフォルトの名無しさん** · 2024/07/22(月) 21:16:43.91

日本語環境でEUCが廃れたのはEUCとSJISが混在したシステムで漢字が入れ替わる問題に対処するため、SJISに統一する流れができたからだ。

**デフォルトの名無しさん** · 2024/07/23(火) 01:12:23.43

>>946
申し訳ないのですが、こちらの仮想環境に Server Edition までは入れてないので検証出来ないです。
とは言えカーネルの対応は付くので、それほど曖昧性はないはずですが。
「Win10 未満」であれば「Windows Server 2016 未満」ということですかね。

もちろん正確な情報が必要な場合は、個別に検証して頂く必要があると思います。

>>945
どの略語が分かりにくかったでしようか?

**デフォルトの名無しさん** · 2024/07/23(火) 01:13:01.03

UTF-8に統一すれば良かったんだよ

**デフォルトの名無しさん** · 2024/07/23(火) 01:16:32.09

後知恵

**デフォルトの名無しさん** · 2024/07/23(火) 08:31:21.57

ついに...

全員日本人のK-POPグループUNICODEが日本デビュー、MV＆インタビュー映像公開
https://news.yahoo.co.jp/articles/896e4610ab5244c8ea1be97dcab1d354bddbbf9f

**デフォルトの名無しさん** · 2024/07/23(火) 09:20:06.98

>UTF-8に統一
は可笑しい
UNICODEに統一してencodingをUTF-8にしろ

**デフォルトの名無しさん** · 2024/07/23(火) 15:46:26.54

>>944
たぶんSS3とX0212じゃない？とはいえテレビから降ってくる文字を変換するような事
しない人には永久に知らない世界な気がするけど。

**デフォルトの名無しさん** · 2024/07/23(火) 17:29:30.59

>>948
そもそもWindows 10の初期状態を知っている人間なんてほぼいない。

もう何年前のOSの話をしているのか？

**デフォルトの名無しさん** · 2024/07/23(火) 22:00:07.41

>>953
EUC-JP の仕様を知らずに書いてる人だったんですね。
まぁ今知らないのであれば、今さら知る必要はないとは思います。

**デフォルトの名無しさん** · 2024/07/25(木) 17:53:41.84

EUC-JPとSJISは漢字のマッピングが微妙に異なるからEUC-JPは使われなくなった。

**デフォルトの名無しさん** · 2024/07/26(金) 16:30:07.87

イマドキEUC-JPで話が通じるのはジジババだけ

**デフォルトの名無しさん** · 2024/07/26(金) 20:23:31.47

変なおっさんがWindows 10からとしつこい

**デフォルトの名無しさん** · 2024/07/26(金) 23:58:48.57

今もメールはISO-2022-JPが40年近く使われ続けているし
ここは文字コードスレだから
それとEUC-JPとシフトJISの三すくみの日本に
ユニコードが来て符号化はUTF8に統一されたといういきさつは知っておいてほしいかな

**デフォルトの名無しさん** · 2024/07/27(土) 00:18:06.34

しつこい

**デフォルトの名無しさん** · 2024/07/27(土) 00:18:56.15

Eメールの本文ファイルがUTF-8だろ

**デフォルトの名無しさん** · 2024/07/27(土) 00:26:59.78

プレーンテキストだと、まだISO-2022-JPは使われている

**デフォルトの名無しさん** · 2024/07/27(土) 02:31:46.73

EUC-JP が廃れたのはそれを使っていたUnix系が UTF-8 を採用し置き換えが進んだせい Linux は率先して UTF-8 化された SJIS は全く関係ない

メールに関してはメーラーやその設定によるけどJIS第二水準までの文字までしか使ってなければまだ ISO-2022-JP だがそれ以外の文字があると勝手に UTF-8 の切り替えるのが一般的になってる

**デフォルトの名無しさん** · 2024/07/27(土) 03:23:33.68

そういや区点コードもほとんど使われんようになったな。

**デフォルトの名無しさん** · 2024/07/27(土) 14:20:48.28

EUC-JPと区点コードはほぼ同じ

**デフォルトの名無しさん** · 2024/07/27(土) 14:41:58.45

>>965
なんかのギャグ？

**デフォルトの名無しさん** · 2024/07/27(土) 15:18:28.80

ギャグついでに
馬 C7CF 474F
鹿 BCAF 3C2F

**デフォルトの名無しさん** · 2024/07/27(土) 15:59:47.68

>>967
区点表記だと
馬 39区47点
鹿 28区15点

**デフォルトの名無しさん** · 2024/07/27(土) 16:07:53.77

+160

**デフォルトの名無しさん** · 2024/07/28(日) 10:15:58.80

>>968
おまえ絶望的にセンス無いのに
よくこの業界に居られるな

**デフォルトの名無しさん** · 2024/07/28(日) 10:17:52.25

>>966
そろそろ逝って観ても良い頃だと思うの

**デフォルトの名無しさん** · 2024/07/28(日) 15:15:35.75

>>966
逝ってヨシ

**デフォルトの名無しさん** · 2024/07/29(月) 08:57:07.69

>>966
She never eats NONI.

**デフォルトの名無しさん** · 2024/07/29(月) 13:40:07.07

日本語の濁点や半濁点は結合済み文字を使うのが一般的だけど
℃は結合済みのU+2103ではなくU+00B0とU+0043を組み合わせる方が推奨されてるんだね

**デフォルトの名無しさん** · 2024/07/29(月) 14:02:50.71

こまけぇこたぁいいんだよ！

**デフォルトの名無しさん** · 2024/07/29(月) 16:53:10.32

そりゃそうだろ

**デフォルトの名無しさん** · 2024/07/30(火) 17:20:30.46

>>974
普通は「度」を使う。

**デフォルトの名無しさん** · 2024/07/30(火) 19:45:24.75

か　に濁点で　が　だけど
か　に◯をつけたい。です
　

**デフォルトの名無しさん** · 2024/07/30(火) 20:11:33.85

Unicodeの記号は見た目はほとんど同じでも
意味が違えば違うコードポイントが割り当てられているから
Unicodeに登録されている意味の記号を使いたくなるが
互換文字とかの非推奨の記号もあるんだな
非推奨の理由は文字のルーツが関係してるのか

**デフォルトの名無しさん** · 2024/07/30(火) 21:10:09.15

か゜

**デフォルトの名無しさん** · 2024/07/30(火) 21:11:46.15

そろそろどうにかならんのかい
PowerAutomateのshift-jis CSV問題は

**デフォルトの名無しさん** · 2024/07/30(火) 21:18:41.51

>>979
あたりまえだろ

**デフォルトの名無しさん** · 2024/07/30(火) 21:20:10.53

UTF-8からUTF-16への変換がうまくできないのが互換性を維持しているWindows

**デフォルトの名無しさん** · 2024/07/31(水) 09:21:04.13

>>983
さすがにそんなことはないだろ
ぐたいれいがあったらおしえて

**デフォルトの名無しさん** · 2024/07/31(水) 13:18:27.03

>>984
話の流れを無視しているようだが、濁点、半濁点付きの仮名文字などは簡単じゃない。

**デフォルトの名無しさん** · 2024/07/31(水) 14:51:28.89

>>985
その辺の条件はUTF8とUTF16で完全一致なので変換自体で問題になる要素はない

**デフォルトの名無しさん** · 2024/08/01(木) 19:11:41.47

ISO8859投稿テスト
NBSP ¡ ¢ £ ¤ \ ¦ § ¨ © ª « ¬ SHY ® ¯
° ± ² ³ ´ µ ¶ · ¸ ¹ º » ¼ ½ ¾ ¿
À Á Â Ã Ä Å Æ Ç È É Ê Ë Ì Í Î Ï
Ð Ñ Ò Ó Ô Õ Ö × Ø Ù Ú Û Ü Ý Þ ß
à á â ã ä å æ ç è é ê ë ì í î ï
ð ñ ò ó ô õ ö ÷ ø ù ú û ü ý þ ÿ

**デフォルトの名無しさん** · 2024/08/01(木) 19:19:00.54

0xA5が5Cに変換された？

**デフォルトの名無しさん** · 2024/08/06(火) 11:07:32.22

**デフォルトの名無しさん** · 2024/08/06(火) 11:35:36.48

なんで28個で折り返してるんだろω
https://i.sstatic.net/7ytba.png

**デフォルトの名無しさん** · 2024/08/06(火) 22:28:54.15

JISキーボードだとBackSpaceの左のキーは￥で
Shiftの左のキーは＼が書かれているのに
どちらを押しても0x5cが入力されるのも変な話だね

**デフォルトの名無しさん** · 2024/08/07(水) 14:25:40.64

>>990
それは28になる歴史的経緯があるんよ

**デフォルトの名無しさん** · 2024/08/07(水) 19:07:42.92

>>991
それは日本語環境だから

**デフォルトの名無しさん** · 2024/08/07(水) 20:25:10.83

フォント依存だものね

**デフォルトの名無しさん** · 2024/08/07(水) 23:32:09.80

もともとJISキーボード規格にあったのは￥だけなんだけど
IBMが＼を追加しちゃったからなんとなく0x5cを割り当てただけ。

**デフォルトの名無しさん** · 2024/08/09(金) 12:31:50.95

最初の素数だから

**デフォルトの名無しさん** · 2024/08/09(金) 16:03:09.36

>>995
そもそもキーボードの前に文字コードとしてJIS X 0201 で 0x5c には￥が割り当てられててバックスラッシュは存在していない
JISキーボードはもともと JIS X 0201 入力用なので￥を押したら 0x5c になるのが当然
その後にIBMとかマイクロソフトとかの国外勢が世界標準（アメリカ標準）のバックスラッシュを持ち込んでじわじわと 0x5c を￥記号から奪っていった

**デフォルトの名無しさん** · 2024/08/09(金) 18:19:42.95

もじもじ

**デフォルトの名無しさん** · 2024/08/09(金) 18:20:04.08

もじもじ
もじもじ

**デフォルトの名無しさん** · 2024/08/09(金) 18:20:26.33

もじもじ
もじもじ
もじもじ

**1001** · Over 1000

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 525日 2時間 33分 29秒