文字コード総合スレ Part10 [転載禁止]©2ch.net

**デフォルトの名無しさん** · 2015/10/14(水) 20:29:00.08

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/

**デフォルトの名無しさん** · 2016/08/17(水) 19:48:09.26

まじかよ最悪だな禿丸
でも試しに8F B2 D1を読み込ませたらX 0212の18-49が表示されたぞ
よくわからん

**デフォルトの名無しさん** · 2016/08/17(水) 21:43:57.03

CP51932の文字セットは932そのままじゃなかったかな?丸数字とか入ってる筈。補助漢字無し
unicode?51932の変換する時中で一旦932にするので注意だったような

**デフォルトの名無しさん** · 2016/08/17(水) 23:42:13.69

Windows-31JとJIS X 0212に有ってShift_JISに無い文字(例:U+9A4E)を含むUTF-32ファイルを開いてEUC-JPで保存する時だな。
UTF-32(U+9A4E)→シフトJIS IBM拡張文字(FB FB)→シフトJIS NEC選定IBM拡張文字(EE DF)→JIS(7C 61)→CP51932(FC E1)
という経路で変換するんだろうな。
>>458が期待したのは
UTF-32(U+9A4E)→(69 51)→EUC-JP(8F E9 D1)
だったと。
JIS X 0212はよく知らんが、UTF-32とのマッピング表がobsoleteなんだから禿丸の動作は仕方なくね

**デフォルトの名無しさん** · 2016/08/17(水) 23:54:23.01

>>461
ほとんどは正常？なんだけど、
NEC特殊文字/NEC選定IBM拡張文字/IBM拡張文字に入ってる(中でその後JIS X 0212に採録された)280文字はコードページ932の区点が優先されるっぽい？

"№"はJIS X 0212に従うEUC-JPなら02区81点 8F A2 F1になるはずだが秀丸のEUCでは13区66点 AD E2になってる、
"鸙"は76区54点 8F EC D6になるはずだが秀丸のEUCでは92区77点 FC EDになってる。

>>462
文字集合を932と同じに拡張したEUC表現ってことでいいのかですかね、ありがとう。

**デフォルトの名無しさん** · 2016/08/17(水) 23:58:51.50

>>463
そうそう、そういうことです！
補助漢字の前にコードページ932のNEC特殊文字/IBM拡張文字が優先なんですね……。
まあ最初からUTF-8かUTF-16にすればいいんだけど、うーん

長々とすみませんでした。

**デフォルトの名無しさん** · 2016/08/19(金) 02:34:45.63

つーかWindowsで動くエディタで、CP932互換じゃないEUC-JPに変換するのあるの？

**デフォルトの名無しさん** · 2016/08/19(金) 08:11:13.46

932互換でも構わんがJISX0212使っといて一部はG1(X0208)とか頭おかしいだろ
シングルシフト3は無しにして別に「EUC(0212有)」みたいな文字コードを設けろって感じ

**デフォルトの名無しさん** · 2016/08/19(金) 13:01:11.35

文字コードは難しすぎますね
すべての文字列はUTF-32で統一されるべきでしたわ

**デフォルトの名無しさん** · 2016/08/19(金) 16:44:17.07

>>466
「～」でやられることは割とまじで良くあるな

**デフォルトの名無しさん** · 2016/08/21(日) 00:40:20.53

>>460の言う普通のEUC-JPって
「~」を保存するとX0212になるんけ？
シフトジスの円マークを超える爆弾やないか

**デフォルトの名無しさん** · 2016/08/21(日) 01:09:58.00

0212のTILDEはU+FF5Eにすればいいのでは

**デフォルトの名無しさん** · 2016/08/22(月) 17:49:33.33

根拠のない俺マッピングですか

**デフォルトの名無しさん** · 2016/08/22(月) 19:04:01.72

>>439
Twitter に鞍替えしちゃったからなあ

**デフォルトの名無しさん** · 2016/08/24(水) 18:34:55.31

>>468
UTF-32を勉強したけど、結合シーケンスの
正規化のあたりで難しくてついていけなくなった

**デフォルトの名無しさん** · 2016/08/31(水) 19:23:24.63

そう言えば昔、Unicodeのインディアンスレ？があったけど
スレは単発で終わったんだっけ

**デフォルトの名無しさん** · 2016/08/31(水) 20:38:55.78

>>475
👳❔

**デフォルトの名無しさん** · 2016/08/31(水) 20:39:42.33

(´･ω･`)

**デフォルトの名無しさん** · 2016/08/31(水) 21:34:59.28

>>476
👳❔

**デフォルトの名無しさん** · 2016/08/31(水) 22:07:21.28

インディアンの顔文字提案スレですね

**デフォルトの名無しさん** · 2016/08/31(水) 23:58:22.53

10人のインディアンが一人づついなくなるのか

**デフォルトの名無しさん** · 2016/09/01(木) 01:10:12.45

㍑とZWJで結合するのかな

**デフォルトの名無しさん** · 2016/09/02(金) 18:21:16.83

Unicodeｵﾜｯﾄﾙ

**デフォルトの名無しさん** · 2016/09/02(金) 23:20:06.03

NFKD正規化って存在価値あるの？
オ㍗ルをオワットルに変換できた所で
何がうれしいのかよくわからん

**デフォルトの名無しさん** · 2016/09/03(土) 00:41:07.59

NFKDを検索したら𝐍𝐅𝐊𝐃も𝑁𝐹𝐾𝐷もマッチする方が嬉しいし
1月が㋀にマッチしたり株式会社が㍿にマッチしたら嬉しいから
俺はメリットがあると思うけど

**デフォルトの名無しさん** · 2016/09/03(土) 02:21:27.68

半角ABCで検索したら全角ＡＢＣがヒットしないFirefoxさん…

**デフォルトの名無しさん** · 2016/09/04(日) 17:57:17.34

>>483
分解除外採用すべきやろな
仕様がクソすぎる

**デフォルトの名無しさん** · 2016/09/04(日) 22:08:48.81

その割に何十個もあるハイフン系は
NFKDでもまとまらないという

**デフォルトの名無しさん** · 2016/09/05(月) 08:48:36.28

>>487
それはNFKDの仕事じゃない

**デフォルトの名無しさん** · 2016/09/06(火) 20:51:36.90

>>488
似た文字を正規化すんのがKの正規化でしょ
実際にU+2011はNFKDでU+2010になるし

**デフォルトの名無しさん** · 2016/09/06(火) 21:18:50.81

そろそろポケモン来る？

**デフォルトの名無しさん** · 2016/09/07(水) 01:48:06.44

もう横棒類は全部 HYPHEN-MINUS に置き換えしとけ

**デフォルトの名無しさん** · 2016/09/07(水) 03:48:29.15

>>489
compatibilityがあるものだけ
何十個もcompatibilityのあるdash/hyphenはない
横棒っぽい文字を全部集めたら数十種類あると思うが
それを全部例えばhyphen-minusに変換したら
テキストの意味が変わってしまい
到底NORMALizationと呼べるようなものではない
勿論そういう変換が有効な応用ではそうしていい

**デフォルトの名無しさん** · 2016/09/08(木) 20:41:13.60

つまり「俺のcompatibility基準を満たしていないからダメだもん」

横棒類は全部 HYPHEN-MINUS に置き換えでいい

**デフォルトの名無しさん** · 2016/09/10(土) 02:47:21.06

グダグダ言ってるとユニコード貼るぞ
俺のユニコードでお前は瞬殺

**デフォルトの名無しさん** · 2016/09/10(土) 12:24:25.95

ユニコードは犯罪だからやめてください！

**デフォルトの名無しさん** · 2016/09/12(月) 10:27:24.50

そこはユニコ-ドでしょ

**デフォルトの名無しさん** · 2016/09/12(月) 14:27:32.13

>>493
unicode character databaseと言うものがありましてねえ

**デフォルトの名無しさん** · 2016/10/03(月) 15:40:21.15

>>497
で?

**デフォルトの名無しさん** · 2016/10/05(水) 18:49:51.38

来年は JIS X 0201/0208/0213/0213/0218 の見直し時期だけど
果たして 0208 と 0213 の大統合計画は進んでいるのかしら。

**デフォルトの名無しさん** · 2016/10/05(水) 20:58:30.93

大統領計画に見えた

**デフォルトの名無しさん** · 2016/10/05(水) 21:43:58.27

もうJISなんて誰も読んでないから更新するだけ無駄

**デフォルトの名無しさん** · 2016/10/06(木) 00:19:24.84

なんだかんだいろいろな場から参照されるしUnicodeの中の人も読まざるを得ないから
うんこ絵文字のバリエーション大量に紛れ込ませてUnicodeにUnko Supplementとして収録させるチャンス

**デフォルトの名無しさん** · 2016/10/06(木) 17:53:36.88

ウンコはIVSの240まででお願いします

**デフォルトの名無しさん** · 2016/10/07(金) 16:27:31.20

>>501
なわけないw

**デフォルトの名無しさん** · 2016/10/08(土) 04:31:56.90

ようやく変体仮名は投票に進むことになったのか

**デフォルトの名無しさん** · 2016/10/10(月) 18:05:59.46

>>501
刷りで字形変えるとか狂気の沙汰やで

**デフォルトの名無しさん** · 2016/10/10(月) 19:30:46.05

>>503
そういえば例の絵文字の肌色セレクターってうんちの健康状態セレクターにも使えそうな気がしてきた

**デフォルトの名無しさん** · 2016/10/10(月) 22:58:01.80

うんこ色のカレーとうこん色のカレーを区別するのです

ケーキに黒っぽいVS付けたらチョコレートケーキとか
そういう汎用化は日本が提案したけど駄目だったんじゃなかったっけ？
肌の色が何とかなればいいんだってことで

**デフォルトの名無しさん** · 2016/10/10(月) 23:51:20.73

モアイに色付けたら似てる人たくさんいるよな

**デフォルトの名無しさん** · 2016/10/11(火) 20:05:00.55

カレー味のうんこ
うんこ味のカレー
の区別も必要(´・ω・｀)

**デフォルトの名無しさん** · 2016/10/11(火) 21:31:06.48

本来モアイじゃなくてモヤイだけどな

**デフォルトの名無しさん** · 2016/10/11(火) 21:50:29.29

>>511
だが誰も気にしない
http://emojipedia.org/moyai/
拳銃についてはあれだけ議論になるのにモヤイはモアイでいいみたい

**デフォルトの名無しさん** · 2016/10/11(火) 22:41:02.94

イースター島にあるのがモアイ、渋谷にあるのがモヤイだと思ってたｗ

**デフォルトの名無しさん** · 2016/10/12(水) 16:00:26.26

本来はそれで合ってるはずなんだけどね

**デフォルトの名無しさん** · 2016/10/15(土) 23:01:11.77

ユニコードのUAX#29(文字・単語・段落の抽出)を久しぶりに読んでみたら
Grapheme clusterの仕様が絵文字のルールに汚染されていた。
何なんだこの絵文字推しは。

**デフォルトの名無しさん** · 2016/10/16(日) 12:53:03.20

>>515
確かに追加されてる
けどemojiがある以上ルールを追加しないと仕方ないからしょうがない
合成使って性別modifierとかふざけてるけど

**デフォルトの名無しさん** · 2016/10/16(日) 23:34:01.26

この性別ってライオンのたてがみとか、人間以外にも使えるんだろうか

**デフォルトの名無しさん** · 2016/10/17(月) 16:48:56.72

フィッツパトリック肌分類って6種類あるのに
何でUnicodeのEmoji Modifiersでは5つしか入れてないんだろう
"pale white skin"と"white skin"は区別しなくていいのか

**デフォルトの名無しさん** · 2016/10/17(月) 18:02:36.80

フィッツパトリック肌分類に基づいた上で1と2を一つにまとめて5段階にした
と書かれているんだから区別しなくていいと判断したんだろう
根拠は不明だが

**デフォルトの名無しさん** · 2016/10/17(月) 18:48:57.01

そこらへんすごく謎。まとめていいんかいと思った。

**デフォルトの名無しさん** · 2016/10/17(月) 19:58:51.95

もうめちゃくちゃだよ

**デフォルトの名無しさん** · 2016/10/19(水) 07:22:54.68

絵文字をざっくりしたシンボルじゃなくて
なまじリアルな絵で表現し始めちゃったのがそもそもの間違いなんだよな

**デフォルトの名無しさん** · 2016/10/19(水) 18:20:20.85

コードポイントを追加するのはともかく
modifierみたいなコードポイント列の解釈についての
ルール追加はやめて欲しいものだ

**デフォルトの名無しさん** · 2016/10/19(水) 19:21:02.82

>>515
あいつらクズばっか
文字採用基準もただの好みだし

**デフォルトの名無しさん** · 2016/10/27(木) 22:59:57.94

もうBase64か何か使って直接画像のバイナリデータ埋め込めばいいのに
Unicodeのコードポイントとして登録したがるのは何で

**デフォルトの名無しさん** · 2016/10/28(金) 00:02:59.53

>>525
画像だったら機械可読じゃないだろ。
バニーガールの性別と人種を機械的に判別できるようにすることは世界にとって有益だろ？

**デフォルトの名無しさん** · 2016/10/28(金) 16:48:59.16

DoCoMoのiモード絵文字がNew York近代美術館のコレクションに | スラドモバイル
https://mobile.srad.jp/story/16/10/28/0416246/

The Original Emoji Set Has Been Added to The Museum of Modern Art’s Collection – MoMA – Medium
https://medium.com/moma/the-original-emoji-set-has-been-added-to-the-museum-of-modern-arts-collection-c6060e141f61#.cqv1mudi0

New York’s MoMA Acquires the First Ever (Very Pixelated) Emoji | WIRED
https://www.wired.com/2016/10/new-yorks-moma-acquires-first-ever-pixelated-emoji/

**デフォルトの名無しさん** · 2016/10/28(金) 18:45:52.85

スレ違いレスを無言で貼るな低能

**デフォルトの名無しさん** · 2016/10/28(金) 20:49:51.94

絵文字がモノクロドット絵の頃は文字コード業界も平和だったのに

**デフォルトの名無しさん** · 2016/10/28(金) 23:17:41.58

自分たちでも扱える文字が増えたからって外人たちがはしゃぎすぎなんだよ

**デフォルトの名無しさん** · 2016/10/29(土) 03:01:41.79

同じものを見てるとは限らないということを
ほとんどの利用者は知らずに誤解を生んでる

**デフォルトの名無しさん** · 2016/10/29(土) 07:13:03.75

\100

**デフォルトの名無しさん** · 2016/10/29(土) 10:42:34.24

どう転んでも表意文字とコンピュータは相性が悪いらしいな
まさか絵文字の肌の色が問題になるとは思わんかったわ

**デフォルトの名無しさん** · 2016/10/29(土) 10:59:34.81

ああいう指示は文字コードの範疇じゃないよな。
そのうちなし崩しで、ボールドにしろだのサンセリフ体にしろだのいう指示まで取り込んでしまいそうな。

**デフォルトの名無しさん** · 2016/10/29(土) 11:11:13.16

まぁ間違いなくそのうちアニメーションさせようとか言い出すだろうな

国内では文字コード濫用形式の絵文字から、単なる画像添付のデコメ絵文字に移行してたのに
なぜわざわざ国際規格で文字コード濫用形式に戻してしまったのか

**デフォルトの名無しさん** · 2016/10/29(土) 14:02:02.47

日本人がいろいろ工夫したものを、当の日本人自身がガラパゴスとか
言い出してダメにしちゃうから、問題点とかがきちんと伝承されないんだよ。

**デフォルトの名無しさん** · 2016/10/30(日) 01:29:55.53

EUCとかSJISとかISO2022とか揉めてる間にUTF8に持っていかれた感じ

**デフォルトの名無しさん** · 2016/10/30(日) 09:34:26.59

そこはべつにもめてない

**デフォルトの名無しさん** · 2016/10/30(日) 10:57:24.93

UTF-8とUTF-32に統一したいのに
WindowsがシフトジスとUTF-16の呪いをかけたままだから困る
もうWindowsごと滅んでもらうしか無い

**デフォルトの名無しさん** · 2016/10/30(日) 18:49:52.12

よくわかってない人にありがちな見当違い発言

**片山博文MZ** ◆T6xkBnTXz7B0 · 2016/10/30(日) 18:57:43.74

Windowsはメモ帳もオフィスもUTF-8ファイルに対応しているよ。
WideCharToMultiByteなどもCP_UTF8付ければ変換できる。

**デフォルトの名無しさん** · 2016/10/30(日) 19:06:13.90

反論になってないし片山はやっぱりアホだな
Windowsがある限りUTF-16も生き残る、まさに呪いだな

**デフォルトの名無しさん** · 2016/10/30(日) 20:50:41.17

いつも博文がクソレスで皆様を不愉快にさせて申し訳ございません
>>540のクソレスもいつものように博文がID変えた自演です

**デフォルトの名無しさん** · 2016/10/30(日) 20:53:09.96

結合文字はともかく土吉(U+20BB7)の文字列の
長さが2になるのはホント、ストレスたまるぜ

**デフォルトの名無しさん** · 2016/10/30(日) 23:02:05.66

>>535
日本では絵文字は文字として運用実績があったからね
キャリアごとの独自絵文字をGmailで相互運用するために整理が必要だった
整理できてしまえばあとはUnicode.orgがどう考えるか
丸囲み合成文字辺りから考えると当然の帰結だったんじゃないか

**デフォルトの名無しさん** · 2016/10/31(月) 04:36:11.15

NIHON

HINOMOTO

**デフォルトの名無しさん** · 2016/10/31(月) 04:37:51.87

char * -> UTF-8
wchar_t * -> UTF-16
UTF-32 は何使うの？

**デフォルトの名無しさん** · 2016/10/31(月) 05:24:15.03

char16_t : UTF-16
char32_t : UTF-32

**デフォルトの名無しさん** · 2016/10/31(月) 05:26:59.82

㌧x

**デフォルトの名無しさん** · 2016/10/31(月) 16:40:00.60

日本の3大キャリアの絵文字を収録するのはまだいいとしてもその後の毎年山盛り追加はもう何がなんだかなあ・・・

**デフォルトの名無しさん** · 2016/10/31(月) 16:44:21.72

KOREAの陰謀としか

**デフォルトの名無しさん** · 2016/10/31(月) 21:20:59.79

以下、コレはまいったね禁止

**デフォルトの名無しさん** · 2016/10/31(月) 21:43:52.12

>>552
どういう意味？

**デフォルトの名無しさん** · 2016/11/01(火) 08:59:37.54

親父ギャグ

**デフォルトの名無しさん** · 2016/11/01(火) 18:38:34.50

>>550
最初の頃言ってた携帯メールの交換のためとか何だったんだろうね

**デフォルトの名無しさん** · 2016/11/01(火) 19:26:48.90

携帯絵文字は絶滅の危機
博物館で保護する必要がある

**デフォルトの名無しさん** · 2016/11/01(火) 20:47:25.98

MoMAに収蔵されたから大丈夫

**デフォルトの名無しさん** · 2016/11/01(火) 20:51:59.89

MoMAって秘宝館レベルのものも集めてるイメージ

**デフォルトの名無しさん** · 2016/11/01(火) 22:32:57.89

ゴミみたいな絵文字が増えるのはまだいい。
ＪＰの2文字で日本の国旗、という
クソな絵文字を持ち込んだ奴は死刑でいい。

**デフォルトの名無しさん** · 2016/11/02(水) 01:14:19.91

MoMAに収蔵されたケータイ絵文字なんてほんの一部でしかないな

**デフォルトの名無しさん** · 2016/11/02(水) 02:56:25.72

>>556
オックスフォード辞典の「今年の言葉」の一つに選ばれてるくらい欧州でもインターネット上を絵文字が席巻してるんだぞ