文字コード総合スレ Part10 [転載禁止]©2ch.net

**デフォルトの名無しさん** · 2015/10/14(水) 20:29:00.08

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/

**デフォルトの名無しさん** · 2016/11/05(土) 12:09:56.76

>>580
いい加減というか逆にめんどくさいことをわざわざって気がする

**デフォルトの名無しさん** · 2016/11/05(土) 14:59:08.75

>>577-578
GBSCTGBSCTと2つ並べるとGB SC TG BS CT に分解されそう(最後のCT以外全部あるっぽい)。

**デフォルトの名無しさん** · 2016/11/05(土) 16:22:05.99

DNAの塩基配列も文字コードになったんでしたっけ？

**デフォルトの名無しさん** · 2016/11/05(土) 16:44:27.42

絵とスタイルは別のフォーマットがあるんだからそっちに委ねるべきだよな
もともとそういう方針のはずだし

**デフォルトの名無しさん** · 2016/11/05(土) 17:02:26.62

>>577
GB-○○と同じ要領でJP-○○で都道府県旗も出せるようになるのかな、と思ったけど、
よく考えたらRIってアルファベットしかないから数字使うJP-○○は無理やん。欧米ずるい。
俺も神奈川県のおちんちんマーク出したい。
http://www.pref.kanagawa.jp/uploaded/image/700113.gif

**デフォルトの名無しさん** · 2016/11/05(土) 17:54:33.18

iconvライブラリがマルチスレッド対応してない…。orz

**デフォルトの名無しさん** · 2016/11/05(土) 18:44:59.50

ICUを使ってみては

**デフォルトの名無しさん** · 2016/11/05(土) 21:04:55.16

>>585
TK＝東京とかKN＝神奈川みたいなのを決めりゃいいじゃん

**デフォルトの名無しさん** · 2016/11/05(土) 21:24:55.77

絵文字のために3166-2:JPを更新するの？

**デフォルトの名無しさん** · 2016/11/05(土) 22:48:27.66

REGIONAL INDICATOR SYMBOLSってISO 3166-1の形式に従う必要はあったのだろうか

**デフォルトの名無しさん** · 2016/11/05(土) 23:08:08.40

従うというか、ISOに外部化しないとどの旗を収録するか(→どこを国家とみなすか)で揉めてしまう。
純粋に人任せにすることで「うちは政治的判断はしてませんよ」ってそ知らぬふりができる。

**デフォルトの名無しさん** · 2016/11/05(土) 23:31:17.53

>>587
助言ありがとう。ICU、試してみます。

**592** · 2016/11/06(日) 15:59:49.80

iconvがマルチスレッド対応していないってのは私の勘違いだった。
icuとiconv、両方ともマルチスレッド対応していた。
Win32環境での文字コード変換の速度比は以下の通りになった。
Win32API は、WideCharToMultiByte() 等を使った。

Win32API : cygwin-iconv : cygwin-icu = 1 : 3 : 2

**デフォルトの名無しさん** · 2016/11/06(日) 16:12:34.47

速度比？
時間比じゃなくて？

**592** · 2016/11/06(日) 16:49:22.61

やはり波ダッシュ「〜」、「～」が鬼門。

>>594
失礼しました。所要時間の比です。

**デフォルトの名無しさん** · 2016/11/06(日) 18:14:05.21

>>586
glibcのiconvはMT-Safe
ただiconv_openの返り値(iconv_t)は排他して使わないと駄目

**592** · 2016/11/06(日) 19:53:07.52

なぜiconvがマルチスレッド対応してないと思い込んでしまったかというと、
cygwinでC++11の thread クラスで work() と join() を使ったマルチスレッドの小さい勉強用プログラムを試しに書いたんだけど、
処理の所要時間を得るために、clock()で計時したんだけど、その数値がデタラメだったことが原因。
cygwinのclock()の戻り値の信頼性がここまで低いとは知らなかった。

>>596
了解。ハンドルを複数スレッドで使いまわすつもりは最初からなかったです。
ライブラリ関数内部で排他ロックしてるのかと思い込んだ私のミス。

処理速度・将来性・プロジェクトの活発さを考えると、iconvよりicuの方が有望に思える。

**デフォルトの名無しさん** · 2016/11/06(日) 20:21:34.70

次はmingwでもテストしてくれ

**592** · 2016/11/06(日) 23:12:19.37

mingw系は、GitやStrawberry Perlに付属のMINGWのbinがPATHに入り込んでいて、無事にmakeを貫徹することさえままならないので当分報告できない。あしからず。

**デフォルトの名無しさん** · 2016/11/06(日) 23:41:14.17

プログラムを組むような人なら普通はPATHなんていくらでも変更出来るけど
ままならないなら仕方ない

**デフォルトの名無しさん** · 2016/11/07(月) 04:13:30.95

>>599
インストーラーが「PATHを設定しますか？」で選択しを与えてくれてるのに
読まないでパコパコインストールしまくる馬鹿ですね

**デフォルトの名無しさん** · 2016/11/07(月) 15:01:03.67

これ以上片山に構わないで

**デフォルトの名無しさん** · 2016/11/07(月) 16:58:00.20

>>582
マジレスしていいのかわからんがそれはISO 3166-1じゃなくてISO 3166-2だろと

**デフォルトの名無しさん** · 2016/11/07(月) 17:22:52.58

マジレスはいいが前後も読んだほうがより良い

**デフォルトの名無しさん** · 2016/11/07(月) 17:45:16.90

なお、3166-2のやつはRI使わない方向のようなのでほとんどの問題は解決されそう。
ただそうなるとますますあの不出来なRIって何だったのかって感じに。

**592** · 2016/11/07(月) 22:27:59.51

mingwでiconv, icuを試した。
iconvは、MINGW Installation Managerが提供するバイナリを使用した。
icuはバイナリは提供されていないのでソースからビルドした。
icuはそのままだとlocale関連のAPIが公開されていないMINGW版がビルドができないので、
_create_locale() と _free_locale() のダミー関数をソースに追記してビルドを通した。
所要時間の比は以下の通り。
MINGWだと、iconv、icuともWin32とあまり違いがないようだ。

Win32API : mingw-iconv : mingw-icu = 1 : 1.08 : 1.11

なお、>>593 でのcygwinは、iconv、icuともにcygwin用に提供されているバイナリを利用している。

**デフォルトの名無しさん** · 2016/11/08(火) 00:48:57.53

cygwin1.dllとか軽油してるから遅いんだろ

**デフォルトの名無しさん** · 2016/11/08(火) 01:14:10.78

変換する文字列の長さが短すぎて
変換速度よりもsystem callの呼び出し速度のベンチになってない?

**デフォルトの名無しさん** · 2016/11/08(火) 09:16:34.50

生の値（時間）を書くのが普通
比率という時点で何か隠してるようにみえる

**デフォルトの名無しさん** · 2016/11/08(火) 11:50:26.32

するどいな

**592** · 2016/11/08(火) 20:34:22.36

無駄な情報を捨てて必要な情報だけ提供した善意を、悪意を持って隠したと曲解する人がいて面白い。トランプ支持者っぽい。
テストプログラムやら実行環境やらまで公開して他の人が再現できるようにでもしない限り、生の実測時間を提示する意味はない。

**デフォルトの名無しさん** · 2016/11/08(火) 20:41:20.43

トランプ流れ弾

**デフォルトの名無しさん** · 2016/11/08(火) 22:32:50.94

同じ10倍でも例えばミリ秒のオーダーと秒のオーダーでは全然違う。
計測時間そのままコピペする方が楽だろうに、態々比率に直すのは、、、
パワポ資料作るお仕事の人と見た。

**デフォルトの名無しさん** · 2016/11/10(木) 16:00:00.53

JIS X 0201/0208/0213がいつの間にか

> 2016-10-20 確認

になってる。
今回は特に何もなしか(あったらまた困るけど)
というか改正来年じゃなかったのか……。

**デフォルトの名無しさん** · 2016/11/10(木) 20:40:08.56

来年が色んな意味で楽しみだわ

**デフォルトの名無しさん** · 2016/11/11(金) 13:37:59.96

JISってそれぞれ何刷まで出てるんだっけ?
刷ごとの差分知りたい

**デフォルトの名無しさん** · 2016/11/11(金) 15:58:27.67

0208の1978年版とか2012年版とかじゃなくて刷？

ttp://okazaki.sakuraweb.com/biboroku/78jis/78jis.html

によるとJIS C 6226-1978は少なくとも第7刷まで増刷されたらしいけど、
JSAとかJISCに問い合わせても多分当時の資料とか無いだろうな。

**デフォルトの名無しさん** · 2016/11/12(土) 15:38:19.16

>>616
刷は改定ごとに一から始まるので刷ごとの差は無い
そしてJISは様々な規格があるのでJISが何刷ということは言えない

**デフォルトの名無しさん** · 2016/11/13(日) 13:47:22.48

78JIS以外は何刷でも内容一緒でしょ正誤票の反映はあるだろうけど

**デフォルトの名無しさん** · 2016/11/14(月) 16:40:47.78

Unicode 10.0の絵文字候補、人魚は男女対応可能に | スラド IT
http://it.srad.jp/story/16/11/12/191218/

まーた増えるのか、、、

**デフォルトの名無しさん** · 2016/11/14(月) 16:57:09.25

なんでもかんでもZWJでいくなら最初から人間+魚でよかった。

そしてうっかり順番を入れ替えて魚+人間にすると……!!

**デフォルトの名無しさん** · 2016/11/14(月) 17:40:54.01

マーパーソンwww

**デフォルトの名無しさん** · 2016/11/14(月) 17:48:16.83

俺がもっとクールな新絵文字考えたぜつって、合字でオレオレ絵文字ZWJ実装するフォントが現れだして収集つかなくなりそう

**デフォルトの名無しさん** · 2016/11/14(月) 18:00:03.62

これはひどい

**デフォルトの名無しさん** · 2016/11/14(月) 18:50:06.09

>>623
うわありそうで怖い。
PUAと違って意味があるぶん、
大手が流行らせた合成絵文字はそのまま追認するしかない未来が見える。

例えばTwitterとか、Android OSとかがオレオレ絵文字実装したら
一般人が違いに気付かずに使って膨大な使用例ができるよね……

**デフォルトの名無しさん** · 2016/11/15(火) 12:41:03.82

ZWJ方式は、合成されなくても意味は通じるってことでしょ

**デフォルトの名無しさん** · 2016/11/15(火) 13:27:53.08

WhatsAppがかんがえたさいきょうのZWJ絵文字
http://emojipedia.org/olympic-rings/

なお合成されなかったら意味は通じない模様

**デフォルトの名無しさん** · 2016/11/15(火) 21:17:34.07

ちゃんと色指定も加え入れろ～

**デフォルトの名無しさん** · 2016/11/15(火) 21:50:35.83

合成するぐらいなら
文字列の途中にエンコードしたビットマップを挟み込めるようにしろ

**デフォルトの名無しさん** · 2016/11/15(火) 21:55:34.62

─○○○

**デフォルトの名無しさん** · 2016/11/16(水) 02:59:36.67

>>627
大きい丸自体が元をたどれば合成文字用なのが面白い

**デフォルトの名無しさん** · 2016/11/16(水) 02:59:39.09

談合三本

**デフォルトの名無しさん** · 2016/11/16(水) 03:01:10.13

>>629
たしかに

**デフォルトの名無しさん** · 2016/11/16(水) 16:58:25.31

むしろ合成したいなら U+20DD COMBINING ENCLOSING CIRCLE なんじゃ

**デフォルトの名無しさん** · 2016/11/19(土) 01:04:22.83

ﾂ郤衙ﾜ
https://www.google.co.jp/#q=%EF%BE%82%E9%83%A4%E8%A1%99%EF%BE%9C

**デフォルトの名無しさん** · 2016/11/19(土) 21:24:14.40

>>617
>>618
刷はある
同じ規格のはずなのに刷で例示字形に差がある時もあって、それを整理したいんだよね

**デフォルトの名無しさん** · 2016/11/20(日) 03:55:56.72

古典の研究は資料の調査収集から始まる

**デフォルトの名無しさん** · 2016/11/24(木) 20:15:24.01

ｰｦﾉｲｸｩ
ｲｬｻｳｸｩ
ｹ篥ﾎｸｩ
ｹｭﾅ邵ｩ
ｻｰｽﾅｸｩ
ｻｳｷﾁｸｩ
ｿｷｳ羣ｩ
ﾀ鯱ﾕｸｩ
ﾀﾅｲｬｸｩ
ﾂ郤衙ﾜ
ﾂ醋ｬｸｩ
ﾄｻｼ雕ｩ
ﾅ郤ｬｸｩ
ﾆ猥ﾉｸｩ
ﾆﾁﾅ邵ｩ
ﾆﾊﾌﾚｸｩ
ﾉﾙｻｳｸｩ
ﾊ｡ｰ貂ｩ
ﾊ｡ｲｬｸｩ
ﾊ｡ﾅ邵ｩ
ﾊｼｸﾋｸｩ
ﾋﾌｳ､ﾆｻ
ﾏﾂｲﾎｻｳｸｩ

**デフォルトの名無しさん** · 2016/11/25(金) 09:57:28.56

愛媛県
岡山県
高知県
広島県
三重県
山形県
新潟県
千葉県
静岡県
大阪府
大分県
鳥取県
島根県
奈良県
徳島県
栃木県
富山県
福井県
福岡県
福島県
兵庫県
北海道
和歌山県

**デフォルトの名無しさん** · 2016/11/25(金) 12:21:36.58

マツイホサウ
https://www.google.co.jp/search?q=%E3%83%9E%E3%83%84%E3%82%A4%E3%83%9B%E3%82%B5%E3%82%A6

**デフォルトの名無しさん** · 2016/12/19(月) 05:55:33.94

さて

**デフォルトの名無しさん** · 2016/12/26(月) 16:22:22.18

ISO/IEC 10646:2016 (5th Edition)は2017になりそうだな。

**デフォルトの名無しさん** · 2016/12/26(月) 20:13:30.11

イロハコードがあるって初めて知った
http://nukalumix.hateblo.jp/entry/nenkin_iroha
https://www.taro.org/2016/12/%E3%81%84%E3%82%8D%E3%81%84%E3%82%8D%E3%82%A4%E3%83%AD%E3%83%8F%E3%81%AA%E7%9A%86%E6%A7%98%E3%81%B8.php
http://nlab.itmedia.co.jp/nl/articles/1612/12/news127.html

**デフォルトの名無しさん** · 2016/12/28(水) 05:19:29.60

コード？

**デフォルトの名無しさん** · 2016/12/28(水) 07:28:33.43

>>110
おいおい、ちゃんと規格読んでる？
原則、部首画数順だぞ。unihanデータベースも推奨ソートキーが部首画数順になってる。

**デフォルトの名無しさん** · 2016/12/28(水) 07:35:34.89

>>160
昔の区点表現でいう2区毎にまとめて突っ込んだせいだろう。

**デフォルトの名無しさん** · 2016/12/28(水) 07:42:45.19

>>244
いわゆるハングルの大移動ですね。

**デフォルトの名無しさん** · 2016/12/28(水) 09:58:25.05

突然遠投大会始めるのやめてもらえます

**デフォルトの名無しさん** · 2016/12/28(水) 12:34:27.60

>>644
50音カナで50進数にして管理してるんだと

**デフォルトの名無しさん** · 2016/12/28(水) 13:11:56.04

カナって50個もあるの？

**デフォルトの名無しさん** · 2016/12/28(水) 13:14:02.87

もっとある

**デフォルトの名無しさん** · 2017/01/01(日) 20:44:48.93

明けましておめでとうございます
2017年の文字コード業界はどうなるやら

**デフォルトの名無しさん** · 2017/01/01(日) 21:18:20.53

VCでUTF-8のBOM無し突っ込めると判ったのが2016の最大の収穫

**デフォルトの名無しさん** · 2017/01/06(金) 14:36:30.66

test

**デフォルトの名無しさん** · 2017/01/19(木) 22:54:33.86

testだと？

**デフォルトの名無しさん** · 2017/01/19(木) 23:22:23.28

ユニコードコンソーシアムのProposed New Charactersみてたら
HIRAGANA LETTER SMALL WI、HIRAGANA LETTER SMALL WE、HIRAGANA LETTER SMALL WO、
KATAKANA LETTER SMALL WI、KATAKANA LETTER SMALL WE、KATAKANA LETTER SMALL WO、
KATAKANA LETTER SMALL N
つまり小さい「ゐ」「ゑ」「を」「ヰ」「ヱ」「ヲ」「ン」があった。
小さい「こ」と「コ」は以前U+1B002とU+1B003に提案されてたが
そこは変体仮名が入ることになってU+1B127、U+1B128に変わってた。
変体仮名の数が多すぎてKana Supplementブロックに入り切らなかったから
その直後のU+1B100～U+1B12FにKana Extended-Aブロックを作るんだな。
でU+1B100～の予定だった女書は1B170～にずれた。

**デフォルトの名無しさん** · 2017/01/19(木) 23:41:32.39

荒らしは去れ
ここはトイレの落書きやお前の日記ではない

**デフォルトの名無しさん** · 2017/01/19(木) 23:58:14.21

佳那サプリメントでかいなあと思ってたのに足りなかったのか

**デフォルトの名無しさん** · 2017/01/20(金) 01:09:17.45

>>656
女書ってなに？

**デフォルトの名無しさん** · 2017/01/20(金) 04:21:35.39

美乳

**デフォルトの名無しさん** · 2017/01/20(金) 08:06:23.41

↑いまだにEUC使ってる奴

**デフォルトの名無しさん** · 2017/01/20(金) 08:57:48.31

芸柏l

**デフォルトの名無しさん** · 2017/01/20(金) 13:48:47.52

平成

**デフォルトの名無しさん** · 2017/01/20(金) 16:02:46.66

UTF-8と称しつつ実際はISO/IEC 8859-1(or Windows-1252)使ってるサイト早く絶滅しないかな〜。

**デフォルトの名無しさん** · 2017/01/20(金) 23:22:01.31

うむ

**デフォルトの名無しさん** · 2017/01/22(日) 23:54:36.79

シマンテックのインストーラー「Symantec? Veritas NetBackup?をインストールします」
俺「俺は今何をインストールしているんだぜ…？」

**デフォルトの名無しさん** · 2017/01/23(月) 13:38:14.82

マカフィー()よりまし

**デフォルトの名無しさん** · 2017/01/25(水) 14:44:24.88

©と®が化けるのはあるある

**デフォルトの名無しさん** · 2017/01/25(水) 15:54:19.97

Windows 2000あたりのセットアップ画面(ブルースクリーン)は左上に

ｿｿｿｿｿｿｿ

みたいなのが並んでた気がするんだけどあれは何が化けていたんだろう。

**237** · 2017/01/25(水) 22:09:22.42

>>669
CP437？

**デフォルトの名無しさん** · 2017/01/25(水) 23:28:05.93

CP237？

**デフォルトの名無しさん** · 2017/02/03(金) 11:13:08.06

>>669
頭にｵがあったんじゃないかな

**デフォルトの名無しさん** · 2017/02/03(金) 15:53:54.77

ｿじゃなくてﾍだな

Windows 2000 Setup
ﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍﾍ

**デフォルトの名無しさん** · 2017/02/06(月) 16:58:49.11

>>669-673
なるほど、

https://en.wikipedia.org/wiki/Code_page_437
https://ja.wikipedia.org/wiki/JIS_X_0201

最初は CP437 の 0xCD “═” だったのが
何かの拍子にシフトJISとして解釈されて
JIS X 0201 の 0xCD “ﾍ” に化けたということか。

**デフォルトの名無しさん** · 2017/02/06(月) 21:27:31.96

>>674
正体は罫線か。

こういう解明ってすっきりするし面白いね。

**デフォルトの名無しさん** · 2017/02/19(日) 22:58:26.35

ISO/IEC 10646 - Information technology -- Universal Coded Character Set (UCS)
http://www.iso.org/iso/catalogue_detail.htm?csnumber=69119

ISO/IEC 10646:2017 (5th Edition) がいつの間にか published になってた。
Publicly Available Standards へ追加ﾏﾀﾞｧ-? （･∀･）っ/凵⌒☆ﾁﾝﾁﾝ

**デフォルトの名無しさん** · 2017/02/20(月) 22:24:53.34

>いつの間にか published になってた

文盲ってどうしようもないですねホント

**デフォルトの名無しさん** · 2017/02/20(月) 23:48:25.19

regional flagsって日本の都道府県旗も追加されんの？
東京の旗が銀杏か肛門かで揉めそう

**デフォルトの名無しさん** · 2017/02/21(火) 00:45:25.29

ってか日本の都道府県旗ってJISか何かで規格化されてるんだろうか
されてないなら根拠になる個別の条例を探して判断することになるのか

**デフォルトの名無しさん** · 2017/02/21(火) 23:08:13.81

東京のマンコマークと神奈川のチンチンびろーんは世界の恥

**デフォルトの名無しさん** · 2017/02/22(水) 03:17:26.03

旗の形ではなく県章部分だけでグリフ作ってもらえたらいろいろ独創的な応用が利きそうだ。