文字コード総合スレ Part10 [転載禁止]©2ch.net

**デフォルトの名無しさん** · 2015/10/14(水) 20:29:00.08

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/

**デフォルトの名無しさん** · 2016/10/11(火) 21:50:29.29

>>511
だが誰も気にしない
http://emojipedia.org/moyai/
拳銃についてはあれだけ議論になるのにモヤイはモアイでいいみたい

**デフォルトの名無しさん** · 2016/10/11(火) 22:41:02.94

イースター島にあるのがモアイ、渋谷にあるのがモヤイだと思ってたｗ

**デフォルトの名無しさん** · 2016/10/12(水) 16:00:26.26

本来はそれで合ってるはずなんだけどね

**デフォルトの名無しさん** · 2016/10/15(土) 23:01:11.77

ユニコードのUAX#29(文字・単語・段落の抽出)を久しぶりに読んでみたら
Grapheme clusterの仕様が絵文字のルールに汚染されていた。
何なんだこの絵文字推しは。

**デフォルトの名無しさん** · 2016/10/16(日) 12:53:03.20

>>515
確かに追加されてる
けどemojiがある以上ルールを追加しないと仕方ないからしょうがない
合成使って性別modifierとかふざけてるけど

**デフォルトの名無しさん** · 2016/10/16(日) 23:34:01.26

この性別ってライオンのたてがみとか、人間以外にも使えるんだろうか

**デフォルトの名無しさん** · 2016/10/17(月) 16:48:56.72

フィッツパトリック肌分類って6種類あるのに
何でUnicodeのEmoji Modifiersでは5つしか入れてないんだろう
"pale white skin"と"white skin"は区別しなくていいのか

**デフォルトの名無しさん** · 2016/10/17(月) 18:02:36.80

フィッツパトリック肌分類に基づいた上で1と2を一つにまとめて5段階にした
と書かれているんだから区別しなくていいと判断したんだろう
根拠は不明だが

**デフォルトの名無しさん** · 2016/10/17(月) 18:48:57.01

そこらへんすごく謎。まとめていいんかいと思った。

**デフォルトの名無しさん** · 2016/10/17(月) 19:58:51.95

もうめちゃくちゃだよ

**デフォルトの名無しさん** · 2016/10/19(水) 07:22:54.68

絵文字をざっくりしたシンボルじゃなくて
なまじリアルな絵で表現し始めちゃったのがそもそもの間違いなんだよな

**デフォルトの名無しさん** · 2016/10/19(水) 18:20:20.85

コードポイントを追加するのはともかく
modifierみたいなコードポイント列の解釈についての
ルール追加はやめて欲しいものだ

**デフォルトの名無しさん** · 2016/10/19(水) 19:21:02.82

>>515
あいつらクズばっか
文字採用基準もただの好みだし

**デフォルトの名無しさん** · 2016/10/27(木) 22:59:57.94

もうBase64か何か使って直接画像のバイナリデータ埋め込めばいいのに
Unicodeのコードポイントとして登録したがるのは何で

**デフォルトの名無しさん** · 2016/10/28(金) 00:02:59.53

>>525
画像だったら機械可読じゃないだろ。
バニーガールの性別と人種を機械的に判別できるようにすることは世界にとって有益だろ？

**デフォルトの名無しさん** · 2016/10/28(金) 16:48:59.16

DoCoMoのiモード絵文字がNew York近代美術館のコレクションに | スラドモバイル
https://mobile.srad.jp/story/16/10/28/0416246/

The Original Emoji Set Has Been Added to The Museum of Modern Art’s Collection – MoMA – Medium
https://medium.com/moma/the-original-emoji-set-has-been-added-to-the-museum-of-modern-arts-collection-c6060e141f61#.cqv1mudi0

New York’s MoMA Acquires the First Ever (Very Pixelated) Emoji | WIRED
https://www.wired.com/2016/10/new-yorks-moma-acquires-first-ever-pixelated-emoji/

**デフォルトの名無しさん** · 2016/10/28(金) 18:45:52.85

スレ違いレスを無言で貼るな低能

**デフォルトの名無しさん** · 2016/10/28(金) 20:49:51.94

絵文字がモノクロドット絵の頃は文字コード業界も平和だったのに

**デフォルトの名無しさん** · 2016/10/28(金) 23:17:41.58

自分たちでも扱える文字が増えたからって外人たちがはしゃぎすぎなんだよ

**デフォルトの名無しさん** · 2016/10/29(土) 03:01:41.79

同じものを見てるとは限らないということを
ほとんどの利用者は知らずに誤解を生んでる

**デフォルトの名無しさん** · 2016/10/29(土) 07:13:03.75

\100

**デフォルトの名無しさん** · 2016/10/29(土) 10:42:34.24

どう転んでも表意文字とコンピュータは相性が悪いらしいな
まさか絵文字の肌の色が問題になるとは思わんかったわ

**デフォルトの名無しさん** · 2016/10/29(土) 10:59:34.81

ああいう指示は文字コードの範疇じゃないよな。
そのうちなし崩しで、ボールドにしろだのサンセリフ体にしろだのいう指示まで取り込んでしまいそうな。

**デフォルトの名無しさん** · 2016/10/29(土) 11:11:13.16

まぁ間違いなくそのうちアニメーションさせようとか言い出すだろうな

国内では文字コード濫用形式の絵文字から、単なる画像添付のデコメ絵文字に移行してたのに
なぜわざわざ国際規格で文字コード濫用形式に戻してしまったのか

**デフォルトの名無しさん** · 2016/10/29(土) 14:02:02.47

日本人がいろいろ工夫したものを、当の日本人自身がガラパゴスとか
言い出してダメにしちゃうから、問題点とかがきちんと伝承されないんだよ。

**デフォルトの名無しさん** · 2016/10/30(日) 01:29:55.53

EUCとかSJISとかISO2022とか揉めてる間にUTF8に持っていかれた感じ

**デフォルトの名無しさん** · 2016/10/30(日) 09:34:26.59

そこはべつにもめてない

**デフォルトの名無しさん** · 2016/10/30(日) 10:57:24.93

UTF-8とUTF-32に統一したいのに
WindowsがシフトジスとUTF-16の呪いをかけたままだから困る
もうWindowsごと滅んでもらうしか無い

**デフォルトの名無しさん** · 2016/10/30(日) 18:49:52.12

よくわかってない人にありがちな見当違い発言

**片山博文MZ** ◆T6xkBnTXz7B0 · 2016/10/30(日) 18:57:43.74

Windowsはメモ帳もオフィスもUTF-8ファイルに対応しているよ。
WideCharToMultiByteなどもCP_UTF8付ければ変換できる。

**デフォルトの名無しさん** · 2016/10/30(日) 19:06:13.90

反論になってないし片山はやっぱりアホだな
Windowsがある限りUTF-16も生き残る、まさに呪いだな

**デフォルトの名無しさん** · 2016/10/30(日) 20:50:41.17

いつも博文がクソレスで皆様を不愉快にさせて申し訳ございません
>>540のクソレスもいつものように博文がID変えた自演です

**デフォルトの名無しさん** · 2016/10/30(日) 20:53:09.96

結合文字はともかく土吉(U+20BB7)の文字列の
長さが2になるのはホント、ストレスたまるぜ

**デフォルトの名無しさん** · 2016/10/30(日) 23:02:05.66

>>535
日本では絵文字は文字として運用実績があったからね
キャリアごとの独自絵文字をGmailで相互運用するために整理が必要だった
整理できてしまえばあとはUnicode.orgがどう考えるか
丸囲み合成文字辺りから考えると当然の帰結だったんじゃないか

**デフォルトの名無しさん** · 2016/10/31(月) 04:36:11.15

NIHON

HINOMOTO

**デフォルトの名無しさん** · 2016/10/31(月) 04:37:51.87

char * -> UTF-8
wchar_t * -> UTF-16
UTF-32 は何使うの？

**デフォルトの名無しさん** · 2016/10/31(月) 05:24:15.03

char16_t : UTF-16
char32_t : UTF-32

**デフォルトの名無しさん** · 2016/10/31(月) 05:26:59.82

㌧x

**デフォルトの名無しさん** · 2016/10/31(月) 16:40:00.60

日本の3大キャリアの絵文字を収録するのはまだいいとしてもその後の毎年山盛り追加はもう何がなんだかなあ・・・

**デフォルトの名無しさん** · 2016/10/31(月) 16:44:21.72

KOREAの陰謀としか

**デフォルトの名無しさん** · 2016/10/31(月) 21:20:59.79

以下、コレはまいったね禁止

**デフォルトの名無しさん** · 2016/10/31(月) 21:43:52.12

>>552
どういう意味？

**デフォルトの名無しさん** · 2016/11/01(火) 08:59:37.54

親父ギャグ

**デフォルトの名無しさん** · 2016/11/01(火) 18:38:34.50

>>550
最初の頃言ってた携帯メールの交換のためとか何だったんだろうね

**デフォルトの名無しさん** · 2016/11/01(火) 19:26:48.90

携帯絵文字は絶滅の危機
博物館で保護する必要がある

**デフォルトの名無しさん** · 2016/11/01(火) 20:47:25.98

MoMAに収蔵されたから大丈夫

**デフォルトの名無しさん** · 2016/11/01(火) 20:51:59.89

MoMAって秘宝館レベルのものも集めてるイメージ

**デフォルトの名無しさん** · 2016/11/01(火) 22:32:57.89

ゴミみたいな絵文字が増えるのはまだいい。
ＪＰの2文字で日本の国旗、という
クソな絵文字を持ち込んだ奴は死刑でいい。

**デフォルトの名無しさん** · 2016/11/02(水) 01:14:19.91

MoMAに収蔵されたケータイ絵文字なんてほんの一部でしかないな

**デフォルトの名無しさん** · 2016/11/02(水) 02:56:25.72

>>556
オックスフォード辞典の「今年の言葉」の一つに選ばれてるくらい欧州でもインターネット上を絵文字が席巻してるんだぞ

**デフォルトの名無しさん** · 2016/11/02(水) 04:10:14.34

>>561
まさか Unicode Emoji とケータイ絵文字の違いを知らない？

**デフォルトの名無しさん** · 2016/11/02(水) 04:27:56.03

>>562
派生関係にあるだけで同じものです
対応表もあります

**デフォルトの名無しさん** · 2016/11/02(水) 17:23:17.15

>>563
560はそんな大雑把な話ではないでしょ

**デフォルトの名無しさん** · 2016/11/03(木) 03:34:51.76

文字コードてすと
surströmming

**デフォルトの名無しさん** · 2016/11/03(木) 19:21:23.08

>>319
https://www.facebook.com/koichi.yasuoka.5/posts/1109283619130554

**デフォルトの名無しさん** · 2016/11/04(金) 15:58:47.69

>>559
🇸🇪🇸🇪
ってTwitterに書き込んだらスウェーデンの国旗に対応してなくて
間の二文字がスペインの国旗として認識・表示されたって話
マヌケですき

**デフォルトの名無しさん** · 2016/11/04(金) 16:48:18.71

>>567
え、なんだそれ。

てっきり1文字目用と2文字目用で別のポイントになってるのか、
あるいは始点か終点を示す符号があるんだと思ってた。

単に2文字続けば国、って仕様なのか。Unicodeも悪いな。

**デフォルトの名無しさん** · 2016/11/04(金) 22:15:07.10

Unicode関係ないw

**デフォルトの名無しさん** · 2016/11/04(金) 22:48:05.41

いや関係あるでしょ。
UTF-16のように1文字目と2文字目を分けておけばそんなことにはならなかった。

**デフォルトの名無しさん** · 2016/11/04(金) 23:05:51.48

TwitterがUnicodeに完全に対応してればそんなことにはならなかった。

**デフォルトの名無しさん** · 2016/11/04(金) 23:59:11.84

>>571
完全に対応ｋｗｓｋ
国旗周りの処理の詳しい規定ってあったっけ

**デフォルトの名無しさん** · 2016/11/05(土) 00:13:28.08

前後の区別がないと、SUSE とかのときどうするのか気になる。

単純に区切ると SU | SE で

[ソ連国旗] [スウェーデン国旗]

だけど、SU の国家は現存しない。

だとすると別の可能性として S | US | E 、つまり

[S] [米国国旗] [E]

もありえそう。

**デフォルトの名無しさん** · 2016/11/05(土) 01:01:33.47

>>573
> [S] [米国国旗] [E]

普通に先頭から判別すればそうなる
少なくてもfirefoxではたぶんそう→ 🇸🇺🇸🇪

**デフォルトの名無しさん** · 2016/11/05(土) 01:16:57.65

どの2文字をペア扱いすべきかはISO国名コードの最新版に存在するかどうかを見ないと分からないってことか。ややこしいな。

**デフォルトの名無しさん** · 2016/11/05(土) 01:20:47.71

いや、最新版だけじゃだめなのか。過去のメールは送信当時のコード表を使わないと>>574みたいに半分ズレて別の国に化けるな。

**デフォルトの名無しさん** · 2016/11/05(土) 01:57:45.33

既にGB-SCT(英国スコットランド)とか提案されてるし気にしても仕方ない

**デフォルトの名無しさん** · 2016/11/05(土) 04:17:16.49

>>572
偶数で切ることになっている

UAX#29
『Do not break within emoji flag sequences. That is, do not break between regional indicator (RI) symbols if there is an odd number of RI characters before the break』
『[^RI] (RI RI)* RI×RI』
UTS51
『A sequence of two Regional Indicator characters』

**デフォルトの名無しさん** · 2016/11/05(土) 04:21:04.76

↑の「×」はコードポイント列から一文字を抽出するときに
別の文字に切り離してはいけないという意味

**デフォルトの名無しさん** · 2016/11/05(土) 07:07:22.79

>>574
firefox ESR(45.4.0)では国旗フォントがあるかどうかで区切りが変わるいい加減さ

**デフォルトの名無しさん** · 2016/11/05(土) 12:09:56.76

>>580
いい加減というか逆にめんどくさいことをわざわざって気がする

**デフォルトの名無しさん** · 2016/11/05(土) 14:59:08.75

>>577-578
GBSCTGBSCTと2つ並べるとGB SC TG BS CT に分解されそう(最後のCT以外全部あるっぽい)。

**デフォルトの名無しさん** · 2016/11/05(土) 16:22:05.99

DNAの塩基配列も文字コードになったんでしたっけ？

**デフォルトの名無しさん** · 2016/11/05(土) 16:44:27.42

絵とスタイルは別のフォーマットがあるんだからそっちに委ねるべきだよな
もともとそういう方針のはずだし

**デフォルトの名無しさん** · 2016/11/05(土) 17:02:26.62

>>577
GB-○○と同じ要領でJP-○○で都道府県旗も出せるようになるのかな、と思ったけど、
よく考えたらRIってアルファベットしかないから数字使うJP-○○は無理やん。欧米ずるい。
俺も神奈川県のおちんちんマーク出したい。
http://www.pref.kanagawa.jp/uploaded/image/700113.gif

**デフォルトの名無しさん** · 2016/11/05(土) 17:54:33.18

iconvライブラリがマルチスレッド対応してない…。orz

**デフォルトの名無しさん** · 2016/11/05(土) 18:44:59.50

ICUを使ってみては

**デフォルトの名無しさん** · 2016/11/05(土) 21:04:55.16

>>585
TK＝東京とかKN＝神奈川みたいなのを決めりゃいいじゃん

**デフォルトの名無しさん** · 2016/11/05(土) 21:24:55.77

絵文字のために3166-2:JPを更新するの？

**デフォルトの名無しさん** · 2016/11/05(土) 22:48:27.66

REGIONAL INDICATOR SYMBOLSってISO 3166-1の形式に従う必要はあったのだろうか

**デフォルトの名無しさん** · 2016/11/05(土) 23:08:08.40

従うというか、ISOに外部化しないとどの旗を収録するか(→どこを国家とみなすか)で揉めてしまう。
純粋に人任せにすることで「うちは政治的判断はしてませんよ」ってそ知らぬふりができる。

**デフォルトの名無しさん** · 2016/11/05(土) 23:31:17.53

>>587
助言ありがとう。ICU、試してみます。

**592** · 2016/11/06(日) 15:59:49.80

iconvがマルチスレッド対応していないってのは私の勘違いだった。
icuとiconv、両方ともマルチスレッド対応していた。
Win32環境での文字コード変換の速度比は以下の通りになった。
Win32API は、WideCharToMultiByte() 等を使った。

Win32API : cygwin-iconv : cygwin-icu = 1 : 3 : 2

**デフォルトの名無しさん** · 2016/11/06(日) 16:12:34.47

速度比？
時間比じゃなくて？

**592** · 2016/11/06(日) 16:49:22.61

やはり波ダッシュ「〜」、「～」が鬼門。

>>594
失礼しました。所要時間の比です。

**デフォルトの名無しさん** · 2016/11/06(日) 18:14:05.21

>>586
glibcのiconvはMT-Safe
ただiconv_openの返り値(iconv_t)は排他して使わないと駄目

**592** · 2016/11/06(日) 19:53:07.52

なぜiconvがマルチスレッド対応してないと思い込んでしまったかというと、
cygwinでC++11の thread クラスで work() と join() を使ったマルチスレッドの小さい勉強用プログラムを試しに書いたんだけど、
処理の所要時間を得るために、clock()で計時したんだけど、その数値がデタラメだったことが原因。
cygwinのclock()の戻り値の信頼性がここまで低いとは知らなかった。

>>596
了解。ハンドルを複数スレッドで使いまわすつもりは最初からなかったです。
ライブラリ関数内部で排他ロックしてるのかと思い込んだ私のミス。

処理速度・将来性・プロジェクトの活発さを考えると、iconvよりicuの方が有望に思える。

**デフォルトの名無しさん** · 2016/11/06(日) 20:21:34.70

次はmingwでもテストしてくれ

**592** · 2016/11/06(日) 23:12:19.37

mingw系は、GitやStrawberry Perlに付属のMINGWのbinがPATHに入り込んでいて、無事にmakeを貫徹することさえままならないので当分報告できない。あしからず。

**デフォルトの名無しさん** · 2016/11/06(日) 23:41:14.17

プログラムを組むような人なら普通はPATHなんていくらでも変更出来るけど
ままならないなら仕方ない

**デフォルトの名無しさん** · 2016/11/07(月) 04:13:30.95

>>599
インストーラーが「PATHを設定しますか？」で選択しを与えてくれてるのに
読まないでパコパコインストールしまくる馬鹿ですね

**デフォルトの名無しさん** · 2016/11/07(月) 15:01:03.67

これ以上片山に構わないで

**デフォルトの名無しさん** · 2016/11/07(月) 16:58:00.20

>>582
マジレスしていいのかわからんがそれはISO 3166-1じゃなくてISO 3166-2だろと

**デフォルトの名無しさん** · 2016/11/07(月) 17:22:52.58

マジレスはいいが前後も読んだほうがより良い

**デフォルトの名無しさん** · 2016/11/07(月) 17:45:16.90

なお、3166-2のやつはRI使わない方向のようなのでほとんどの問題は解決されそう。
ただそうなるとますますあの不出来なRIって何だったのかって感じに。

**592** · 2016/11/07(月) 22:27:59.51

mingwでiconv, icuを試した。
iconvは、MINGW Installation Managerが提供するバイナリを使用した。
icuはバイナリは提供されていないのでソースからビルドした。
icuはそのままだとlocale関連のAPIが公開されていないMINGW版がビルドができないので、
_create_locale() と _free_locale() のダミー関数をソースに追記してビルドを通した。
所要時間の比は以下の通り。
MINGWだと、iconv、icuともWin32とあまり違いがないようだ。

Win32API : mingw-iconv : mingw-icu = 1 : 1.08 : 1.11

なお、>>593 でのcygwinは、iconv、icuともにcygwin用に提供されているバイナリを利用している。

**デフォルトの名無しさん** · 2016/11/08(火) 00:48:57.53

cygwin1.dllとか軽油してるから遅いんだろ

**デフォルトの名無しさん** · 2016/11/08(火) 01:14:10.78

変換する文字列の長さが短すぎて
変換速度よりもsystem callの呼び出し速度のベンチになってない?

**デフォルトの名無しさん** · 2016/11/08(火) 09:16:34.50

生の値（時間）を書くのが普通
比率という時点で何か隠してるようにみえる

**デフォルトの名無しさん** · 2016/11/08(火) 11:50:26.32

するどいな

**592** · 2016/11/08(火) 20:34:22.36

無駄な情報を捨てて必要な情報だけ提供した善意を、悪意を持って隠したと曲解する人がいて面白い。トランプ支持者っぽい。
テストプログラムやら実行環境やらまで公開して他の人が再現できるようにでもしない限り、生の実測時間を提示する意味はない。