文字コード総合スレ part13

**デフォルトの名無しさん** · 2020/07/03(金) 20:53:47.08

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/

**デフォルトの名無しさん** · 2020/07/03(金) 23:13:42.20

「コマンドプロンプトはcp932（SJIS）である」はウソ

Windows NTの標準の文字コードであるUnicode（UTF16-LE）の
テキストファイルを作り、chcp 932のままtypeコマンドで表示してみましょう
文字化けせずに表示されますね？
（フォントがない場合は表示されないがそれ以外は問題ない）

これは明らかにコマンドプロンプトがUnicodeで動作している証拠です。

コマンドプロンプトがUnicode動いているという証明はこれで十分だと思いますが、
もし仮に反論があるならその根拠を言ってくれれば説明を追加します。
（根拠なしにcp932にきまってるだろ！みたいなものは一言で潰しますのでよろしく）

**デフォルトの名無しさん** · 2020/07/03(金) 23:16:22.71

誰か前スレのまとめを

**デフォルトの名無しさん** · 2020/07/03(金) 23:37:05.11

>>3
まだpart12を消費して無いので、part12を埋めて下さい。
文字コード総合スレ Part12
https://mevius.5ch.net/test/read.cgi/tech/1545032904/

**デフォルトの名無しさん** · 2020/07/03(金) 23:41:16.48

まとめ要らないと思う
前後の文脈読まないと意味不明なの多いし

**デフォルトの名無しさん** · 2020/07/04(土) 00:02:52.75

>>2
最近は元々入ってる「コマンドプロンプト」よりも
VSで一緒に入る「開発者コマンドプロンプト for VS 201X」
とか使ってる
同じじゃないかって言われるかも知れないけど違う

**デフォルトの名無しさん** · 2020/07/04(土) 00:15:30.02

>>6
環境変数が設定されてるだけ

**デフォルトの名無しさん** · 2020/07/04(土) 00:18:36.29

うん同じなのは知ってる

昔のコマンドプロンプトは chcp 65001 してもバグってたけど
今のは chcp 65001 しなくても utf-8 で動くから快適

**デフォルトの名無しさん** · 2020/07/04(土) 00:26:20.74

ああバグはあるわ
うっかりバイナリで変なパターン出力すると
コマンドプロンプトは落ちないのに Chrome が落ちたりするんだ
ホントは保護されてないといけないメモリを壊す観たい

**デフォルトの名無しさん** · 2020/07/04(土) 21:57:15.92

「うわー、ID:uIgOlo/V 君て博識なんだね。私も試してみるね。
「コマンドプロンプトを開いて…と
「それで “漢字”と入力したファイル k を UTF16 LE で保存と…
「よし準備完了！

--
C:\>od -x k
0000000 feff 6f22 5b57 000d 000a
0000012

C:\>type k
漢字

C:\>copy k con
　・"oW[
　　　　 1 個のファイルをコピーしました。

C:\>cat k
　・"oW[

C:\>type k | od -t x1
0000000 8a bf 8e 9a 0d 0a
0000006

C:\>
--

「あれれ？ ID:uIgOlo/V 君、なんかおかしいよ？どうして？
「“「コマンドプロンプトはcp932（SJIS）である」はウソ”なんだよね？

**デフォルトの名無しさん** · 2020/07/04(土) 22:24:59.27

>>10
いつの間にkの中身が書き換わってるの？
何やだ怖い君のPCおかしいよ

**デフォルトの名無しさん** · 2020/07/04(土) 23:32:05.07

>>39
cmd /?
/A 内部コマンドの出力結果を ANSI でパイプまたはファイルに出力します。
/U 内部コマンドの出力結果を Unicode でパイプまたはファイルに出力します。　

**デフォルトの名無しさん** · 2020/07/05(日) 12:38:46.50

デフォは /A なんだろ
そんで /A のときは
chcp の値に依存するんだろ
パイプで常に cp932 になると思ったら間違い

**デフォルトの名無しさん** · 2020/07/05(日) 12:39:54.58

>>2 の結論は間違いだけど
>「コマンドプロンプトはcp932（SJIS）である」はウソ

ここだけは合ってる

**デフォルトの名無しさん** · 2020/07/05(日) 21:04:42.33

>>14

> >>2 の結論は間違いだけど

間違ってる「結論」とはどの部分？

**デフォルトの名無しさん** · 2020/07/05(日) 21:05:40.27

>>2の結論は一行目。つまりお前が合ってると言った部分だろう？

>「コマンドプロンプトはcp932（SJIS）である」はウソ

**デフォルトの名無しさん** · 2020/07/05(日) 21:10:40.03

>>13

> /A 内部コマンドの出力結果を ANSI でパイプまたはファイルに出力します。

では画面へは何コードで出力しているでしょうか？

答えはUincode。なぜならUnicode文字が文字化けせずに出力できているから

**デフォルトの名無しさん** · 2020/07/06(月) 01:17:06.10

ウイーンがしゃ

**デフォルトの名無しさん** · 2020/07/06(月) 10:52:37.14

普通に読んだら結論はこっち

>これは明らかにコマンドプロンプトがUnicodeで動作している証拠です。

圧倒的に国語力が無いか
論理思考が出来ない人なんだろう

**デフォルトの名無しさん** · 2020/07/06(月) 15:20:25.67

>>19
証拠があって、結論が出るんだろ？

大丈夫か？国語力の問題か？

**デフォルトの名無しさん** · 2020/07/06(月) 15:21:22.15

最初に結論を書くっていう有名な国語的テクニックを知らないのかな？

**デフォルトの名無しさん** · 2020/07/09(木) 06:07:26.69

「絵文字知られざる舞台裏」
私たちがスマホなどで日常的に使っている絵文字。
この絵文字は、“世界共通言語”として管理されており、絵文字の新規採用をめぐり、様々な団体がロビー活動を行っている。

“共通言語”として世界的に規格が統一されている絵文字。
アメリカの大手ＩＴ企業などからなる団体が、新たな絵文字の採用を決定しており、認定を求めて様々な団体がロビー活動を行っている。
番組では、白ワインの絵文字採用を求める醸造家などのロビー活動を取材。
絵文字は、どのようなプロセスで決定されてゆくのか、その知られざる世界を描く。
原題：Ｂａｃｋｌｉｇｈｔ：　Ｂｅｙｏｎｄ　Ｅｍｏｊｉ　（オランダ　２０１９年）
https://www.nhk.jp/p/wdoc/ts/88Z7X45XZY/episode/te/2QGK3QN6JJ/

**デフォルトの名無しさん** · 2020/07/09(木) 08:50:19.27

>>22
>“世界共通言語”
>アメリカの大手ＩＴ企業などからなる団体

NHK的な物言い、いいねw
でも、「言語」って?

これ、カリフォルニアのワイナリーの話かな?
そこのMLに登録するとサブジェクトに絵文字の入ったメールを送ってくるとかなんとかw

**デフォルトの名無しさん** · 2020/07/09(木) 08:55:49.71

ドレスデン・コデックス
マドリー・コデックス
パリ・コデックス
グロリア・コデックス

**デフォルトの名無しさん** · 2020/07/09(木) 09:04:12.23

本編観たけどつまらなさ過ぎて途中で寝てしまった
IBM Apple Microsoft Google Facebook あたりの名前はちゃんと言ってたと思う

**デフォルトの名無しさん** · 2020/07/09(木) 09:07:15.41

一部思い出した
NHKらしくほとんど黒人とLGBTの話ばかりだったんだが

私の造ったEmojiが登録されたって自慢気に中国人研究者っぽいおばさんが出て来て
チベットの旗は候補に出たけど登録は見送られた
チベットの旗が登録されることは今後も無いでしょう
って笑いながらインタビューに答えてた

**デフォルトの名無しさん** · 2020/07/10(金) 17:30:08.40

チベットの旗は日本の旭日旗がデザインのベース。

**デフォルトの名無しさん** · 2020/07/11(土) 17:41:39.15

いろんなところでポリコレの話が出てきて嫌になる

**デフォルトの名無しさん** · 2020/07/11(土) 20:07:36.65

Unicodeはもうだいぶ前からそういう世界です

**デフォルトの名無しさん** · 2020/07/12(日) 10:45:57.27

赤の▼が投稿禁止用語だとは知らなかったわ

**デフォルトの名無しさん** · 2020/07/12(日) 10:47:50.51

https://ja.wikipedia.org/wiki/%E3%83%8A%E3%83%81%E5%BC%B7%E5%88%B6%E5%8F%8E%E5%AE%B9%E6%89%80%E3%81%AE%E3%83%90%E3%83%83%E3%82%B8

**デフォルトの名無しさん** · 2020/07/12(日) 14:49:14.50

↑「ナチ強制収容所のバッジ」というページ。他に人が見なくていいように。

**デフォルトの名無しさん** · 2020/07/17(金) 17:49:02.99

世界絵文字Dayらしいぞ
知らんけど

**デフォルトの名無しさん** · 2020/07/17(金) 18:21:35.43

そのうち絵文字が第2エスペラントになりそうな勢いだな

**デフォルトの名無しさん** · 2020/07/17(金) 20:11:36.87

言ってもThis is a pen.も表現できないぞ

**デフォルトの名無しさん** · 2020/07/18(土) 00:37:29.47

P(P.A.P)

**デフォルトの名無しさん** · 2020/07/18(土) 00:47:07.96

👇🖊
余裕だぜ

**デフォルトの名無しさん** · 2020/07/18(土) 03:09:52.25

below pen

**デフォルトの名無しさん** · 2020/07/18(土) 10:40:45.89

アイちゃんと会話できる絵文字ってそろってるのかな

**デフォルトの名無しさん** · 2020/07/18(土) 13:20:10.73

架空発注繰り返してもらえるくらい強力なコネが欲しい

**デフォルトの名無しさん** · 2020/07/18(土) 14:31:48.16

Part12先に使え
https://mevius.5ch.net/test/read.cgi/tech/1545032904/l50

**デフォルトの名無しさん** · 2020/08/10(月) 17:37:29.36

禁止文字なんか？
溢鎰螠塧縊謚搤

**デフォルトの名無しさん** · 2020/08/10(月) 18:36:25.82

>>42
(@益@ .:;)ﾉｼ

**デフォルトの名無しさん** · 2020/08/11(火) 12:23:17.24

うざったてーも30歳か

**デフォルトの名無しさん** · 2021/05/13(木) 16:58:46.99

てすてすとと

**デフォルトの名無しさん** · 2021/05/13(木) 17:13:23.87

瓜皮帽を被った男
👲👲🏻👲🏼👲🏽👲🏾👲🏿👲

**デフォルトの名無しさん** · 2021/05/13(木) 21:29:00.08

ID:0pD51twu
イキってるねえ～

**デフォルトの名無しさん** · 2021/05/14(金) 08:07:05.15

>>31
日本語がURLでエンコードされると長いよなあ
日本語1文字がアスキー9文字って... 誰だよこんなの考えたの
あともう一つなんだけ、ぷよぷよみたいな名前の

**デフォルトの名無しさん** · 2021/05/14(金) 08:10:51.08

>>48
punyCode

**デフォルトの名無しさん** · 2021/05/14(金) 20:48:59.82

ここがよみがえったのか

**デフォルトの名無しさん** · 2021/05/14(金) 22:48:47.46

次スレはここでいいのかな？

>>48
文字コードが決まってない(なかった)んだから仕方ないじゃない

**デフォルトの名無しさん** · 2021/05/15(土) 03:51:54.74

決まってないならパーセントを使えばいいじゃない

**デフォルトの名無しさん** · 2021/05/15(土) 11:08:47.44

もともと ascii のみ。ascii の中でも一部使えない文字があるので、それは %エンコードする。
だったのが国際化にはUTF-8を使えに拡張された。
文字コードが決まってなかったわけではない。
あとURLにSJISとかUTF-16送ってくるやつは滅びろ。今すぐ滅びろ。

**デフォルトの名無しさん** · 2021/05/15(土) 12:50:09.97

URLにBOM導入してればよかったのにな

**デフォルトの名無しさん** · 2021/05/15(土) 12:52:59.23

>>54
滅びろ

◆QZaw55cn4c · 2021/05/15(土) 16:27:48.48

>>55
ＷＷＷ

**デフォルトの名無しさん** · 2021/05/24(月) 19:37:25.20

文字コードの勉強中です
Windowsで使われている文字コードはCP932（Shift-JISの拡張版）ということまで分かりました。 IMEパッドで理解を深めようとしているのですが、分からないことがあるのでご教示お願いします。
・IMEパッドの「シフトJIS」はCP932のことを指していると思っていいですか？
・IMEパッドの「JIS X 0208」はCP932の文字集合だと思っていいですか？
・だとすると「JIS X 0208」と｢シフトJIS」は一対一で対応すると思いますが、「シフトJIS」にあって「JIS X 0208」に無い文字（①やⅠなど)があるのはなぜですか？

過疎っているようですがご回答いただけると幸いです

**デフォルトの名無しさん** · 2021/05/24(月) 22:17:38.35

勉強してるなら、理由も考えてみなよ
他人に丸投げするのは勉強とはいわない

**デフォルトの名無しさん** · 2021/05/24(月) 22:53:01.93

>>58
お前も他人さまから教えてもろたくせにｗ

**デフォルトの名無しさん** · 2021/05/25(火) 00:01:45.40

仮定に対して反例が確認できたんだから仮定が誤ってたということだよ

**デフォルトの名無しさん** · 2021/05/25(火) 08:37:04.98

>>57
すごく大まかな説明をすると、
Windowsで使われているShiftJISの文字コードはMicroSoft版方言に侵されてて純正のShiftJISではない
「CP932」という言い方では純正ShiftJISなのかそれともMicroSoft版・Mac版・IBM版その他の方言なのか分からない
（まあ一般にはCP932という言い方をするとMS版のことを指す
明示的にMS版のCP932だということを示す際には、MS932とかWindows31Jとかいう呼び方をする）

なので
１つ目は、その「CP932」が指すものによる、純正ShiftJISを想定しているなら厳密には違う
２つ目は・・・・これもごくごく大まかに言ってしまうと「JIS X 0208」はシフトさせてないおおもとのJIS漢字コードのこと
（なのでShiftJISとはコード体系が違う。計算でシフトさせることで簡単にJIS⇔ShiftJISが導出できるけど）
３つ目のは、違ってる箇所の具体例がまさに丸数字とかの特殊文字に該当してる

というかこれは歴史的経緯によるものだからなあ、後世からみたら理不尽の塊でしかないだろう
理由を考えてみろと言われて分かるわけがないよ

**デフォルトの名無しさん** · 2021/05/25(火) 09:29:36.84

文字集合のはなしと、符号化方式のはなしと、符号化文字集合のはなしと、文字コードのはなしを混同している人が多いな。

**デフォルトの名無しさん** · 2021/05/25(火) 11:48:06.96

JIS X 0208/JIS X 0213の表はJISが決めたやつ
シフト JISの表はMicrosoftが決めたやつ
この二つは歴史的経緯で色々違いがあります
くらいの理解でいいんじゃないか

**デフォルトの名無しさん** · 2021/05/25(火) 14:38:56.72

そういえば、昔の*nixで日本語環境整えるのに、
このあたりが理解できないとまともな日本語表示すら出来なかったような

**デフォルトの名無しさん** · 2021/05/27(木) 14:53:45.70

>>57
>「JIS X 0208」と｢シフトJIS」は一対一で対応する

違う

**デフォルトの名無しさん** · 2021/05/27(木) 22:18:14.67

違わない