文字コード総合スレ Part11

**デフォルトの名無しさん** · 2018/01/22(月) 22:58:23.45

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/

**デフォルトの名無しさん** · 2018/07/05(木) 20:37:53.33

>>495
線文字Aとか楔形文字拡張とか見ても同じこと言えるか？

**デフォルトの名無しさん** · 2018/07/05(木) 21:16:32.44

>>496
でもあれは互換性もクソもないじゃん

**デフォルトの名無しさん** · 2018/07/05(木) 22:49:22.73

誰にも読めない、使えない、未解読の古代文字とか登録してるくらいだから、現代でも使用可能な文字なら余裕って話だ。

**デフォルトの名無しさん** · 2018/07/05(木) 23:18:38.72

だめか
𒀑
𒄦
くさび

**デフォルトの名無しさん** · 2018/07/06(金) 07:29:45.69

㍻（元号を一文字化したもの）とかあるからな
申請すれば何でも通るんじゃねーの

**デフォルトの名無しさん** · 2018/07/06(金) 08:24:58.10

申請する権利のある人ならな。
大手OSメーカー、国家規格代表、ごく一部の文字専門家。

**デフォルトの名無しさん** · 2018/07/06(金) 08:47:24.31

㍼、㍻などは、昔の（日本の）文字コードとの互換性を取るために
残しているだけ。だから、次の元号の合わせ文字は通らない。

**デフォルトの名無しさん** · 2018/07/06(金) 10:05:30.92

文部の沙汰も金私大

**デフォルトの名無しさん** · 2018/07/06(金) 19:02:02.70

>>502
もうコードの場所を確保してあるってMSの元号対応ブログで言ってたよ

**デフォルトの名無しさん** · 2018/07/06(金) 22:30:52.61

先月のWG2ロンドン会議で32ffが予約された

>>501
申請者に権利なんてないよ。英文ができてフォントが作れるなら誰でも提案できる

**デフォルトの名無しさん** · 2018/07/07(土) 01:28:54.42

空いてるとこにﾃｷﾄｰにいれてるだけやん
文字ｺｰﾄﾞが連続してないし
ひどいﾏｯﾋﾟﾝｸﾞされてるわ

**デフォルトの名無しさん** · 2018/07/07(土) 10:47:15.09

元号は、これからもどんどん増えてゆくんだから、Unicodeに
「日本元号面」を作って、そこに入れるようにしてほしい。

**デフォルトの名無しさん** · 2018/07/07(土) 11:50:18.74

ちなみに先に書いた全文検索ｴﾝｼﾞﾝでは
ｱｲｳｴｵもｱｲｳｴｵも
ｶﾞｷﾞｸﾞｹﾞｺﾞもガギグゲゴも
１２３４５も12345も
ａｂｃｄｅもabcdeも
同じ文字ｺｰﾄﾞとして扱ってる
つまりどっちでｷｰﾜｰﾄﾞ書いても当たる
見た目（つまりｸﾞﾘﾌ）が違うだけで同じだからな

しかし明治大正昭和平成を㍾㍽㍼㍻までは
やってない

すでにいろんなもんでその全文検索ｴﾝｼﾞﾝは使われてるが
ｺﾚで文句がきたことはない

つまりだれも気にしてない

**デフォルトの名無しさん** · 2018/07/07(土) 13:23:15.59

ｶﾟｷﾟｸﾟｹﾟｺﾟはどうなるんだ

**デフォルトの名無しさん** · 2018/07/07(土) 13:49:40.16

こんな感じの内容からｲﾝﾃﾞｯｸｽやﾏｯﾁﾝｸﾞ用のﾃﾞｰﾀが作成される

　ｶﾞｷﾞｸﾞｹﾞｺﾞ　ガギグゲゴ　⇒　カ゛キ゛ク゛ケ゛コ゛
　ｶﾟｷﾟｸﾟｹﾟｺﾟ　⇒　カ゜キ゜ク゜ケ゜コ゜

つまりｲﾝﾃﾞｯｸｽやﾏｯﾁﾝｸﾞ用のﾃﾞｰﾀを作る前に前処理で一気に痴漢することになる
で、ｷｰﾜｰﾄﾞをｶﾞｷﾞｸﾞｹﾞｺﾞやガギギゲゴやカ゛キ゛ク゛ケ゛コ゛にすると
カ゛キ゛ク゛ケ゛コ゛で検索することになる

つまりこの全文検索ｴﾝｼﾞﾝは濁音も半濁音も検索できる超優れものといえるのだ

**デフォルトの名無しさん** · 2018/07/07(土) 14:06:53.21

痴漢アカン

**デフォルトの名無しさん** · 2018/07/07(土) 14:25:13.00

俺はそういうのを考えるのが面倒だからUNICODE正規化だけしてる
おかげで平成と㍻もちゃんと検索でヒットする

**デフォルトの名無しさん** · 2018/07/07(土) 15:16:01.20

ちなみに客ごとに置換辞書を作ってる
客ごとに要望が違うからな
客によってはいろんな要望をいってくる客もいる

その要望に応えるのも仕事だからな
で、そのなかに㍾㍽㍼㍻を置換した例はない

全角にﾏｯﾋﾟﾝｸﾞされてるasciiや半角ｶﾅの部分は
ｺﾚについてほぼ間違いなくみな同じ結論になる

それ以外で異なる特殊な部分は結構ある
文字ｺｰﾄﾞでｼﾉﾆﾑの部分もあれば、それ以外でｼﾉﾆﾑにしたい部分もあったりする
それは客の業務に依存する部分になるからな

**デフォルトの名無しさん** · 2018/07/07(土) 15:17:11.21

考えるのはｷﾐじゃないﾜｹ
ｷﾐはただのﾄﾞｶﾀなﾜｹ

わかる？

客と良好な関係を保つには
できるだけ、それは仕様ですは避けないといけない
そしてそれを低いｺｽﾄで実現できないといけない

なにをしたいのかはっきりといってる部分については
こっちから客の業務についてどうこういう必要も理由もないし
こんなしょうもないことを実現するためにめっちゃｶﾈかかりますよとかいえるﾜｹもない

そういうことだ

**デフォルトの名無しさん** · 2018/07/07(土) 15:56:51.92

>>507
次の次の次に予定されてる人が、女性に興味が持てない人だったり、
ジジイババアに囲まれて育つからババア専に育ったりするかもしれないぞ？

**デフォルトの名無しさん** · 2018/07/07(土) 17:04:10.09

絵文字の無茶な合成が有りなんだから
平と成をzwjでくっつけたら㍻になるとかでいいのに

**デフォルトの名無しさん** · 2018/07/07(土) 20:17:18.16

魚 + ZWJ + 里 = 鯉
とか収拾がつかなくなる

**デフォルトの名無しさん** · 2018/07/07(土) 20:47:01.42

光＋宙＝ピカチュウとか？

**デフォルトの名無しさん** · 2018/07/07(土) 21:11:51.93

次の元号組み文字はCP932やJISX0213には入るのかな？

**デフォルトの名無しさん** · 2018/07/07(土) 22:51:54.27

月+光=胱とか

実際に胱を人名に使えるようにしてほしいという要望があるそうだ

**デフォルトの名無しさん** · 2018/07/08(日) 00:07:58.74

自力でマッピングするnkfの遅さ。文化遺産だから保守され続けるのだろうけど。

**デフォルトの名無しさん** · 2018/07/08(日) 00:46:47.26

ていうか確かそういう（漢字を結合する）のにピッタシな文字が用意されてた筈。
漢字表示文字だとかいう名称だったけど、検索してもそれらしい記事が引っ掛からんので
多分この名称は違う。

**デフォルトの名無しさん** · 2018/07/08(日) 00:54:45.54

>>516
日本NBがBMPに専用のコードポイントを確保することにこだわった
BMPしか扱えず合成何それ？みたいなシステムが国内にいっぱい残ってるんだと

**デフォルトの名無しさん** · 2018/07/08(日) 21:30:52.45

>>520
でもその月は本来は肉なのでわ

**デフォルトの名無しさん** · 2018/07/08(日) 21:58:14.68

>>524
キラキラネームつけるレベルの頭の人だよ？
そんな難しいことわかんないよ。

**デフォルトの名無しさん** · 2018/07/08(日) 22:00:52.97

>>520
要望する人はそんなの気にしないんでしょ

**デフォルトの名無しさん** · 2018/07/08(日) 22:01:58.98

>>526
アンカ間違えた

>>524
要望する人はそんなの気にしないんでしょ

**デフォルトの名無しさん** · 2018/07/08(日) 22:15:50.43

合字と、ひとつの漢字が偏旁に分かれているのとはまた別だろ

**デフォルトの名無しさん** · 2018/07/08(日) 22:25:52.71

胱を人名に使えるようにしてほしいと要望している人たちは
胱を月と光の合字のようなものと考えてるんだろうなって話だからな

**デフォルトの名無しさん** · 2018/07/08(日) 22:58:07.18

しかし肉と光でなんで膀胱なんだろうな
光は頭の上に火を掲げる神聖な存在を表していたらしいけど
特殊な性癖の人が尿を聖水というのと関係があるのかしら

**デフォルトの名無しさん** · 2018/07/08(日) 23:05:05.80

三光作戦の光

**デフォルトの名無しさん** · 2018/07/09(月) 02:42:13.13

形声文字という概念も知らんのか…

**デフォルトの名無しさん** · 2018/07/09(月) 03:26:55.92

>>530
https://blog.goo.ne.jp/ishiseiji/e/0177ce8e642676c6cffe2e87b0fc4766
胱　コウ　　月部にく
解字　「月（からだ）＋光（ひろがる）」　の会意形声。身体の中で尿をためておく袋状のもの。尿がたまってくると袋がひろがる。
意味　「膀胱ボウコウ」（ゆばりぶくろ）に使われる字。旁ボウも光コウも、ひろがる意。これに肉月をつけて身体のなかで尿をためて拡がる器官を表した。

**デフォルトの名無しさん** · 2018/07/09(月) 04:35:05.56

肺やちんこも広がるのですが？

**デフォルトの名無しさん** · 2018/07/11(水) 19:19:37.68

昔の知識じゃそんなこと分からんやろ
足りない頭ひねって考えろやボケナス

**デフォルトの名無しさん** · 2018/07/11(水) 19:27:48.34

昔のちんこは拡がらなかったのですか！？

**デフォルトの名無しさん** · 2018/07/11(水) 22:21:59.51

大陸の人のちんこはやらかい印象がある

**デフォルトの名無しさん** · 2018/07/12(木) 02:46:54.78

ギリシャでは包茎が持て囃されたしね

**デフォルトの名無しさん** · 2018/07/12(木) 09:58:56.70

豚の膀胱が蹴鞠の材料だっけ

**デフォルトの名無しさん** · 2018/07/18(水) 22:57:34.06

新元号がUnicode12にギリ間に合わないから12.1出そうかって話が出てきたか

**デフォルトの名無しさん** · 2018/07/19(木) 01:23:42.91

この前危うく間に合いそうになってましたけどね

**デフォルトの名無しさん** · 2018/07/19(木) 06:57:15.79

えぇそんな一国の事情でUnicode様が右往左往されるのですか！？

**デフォルトの名無しさん** · 2018/07/22(日) 16:13:27.34

トルコリラの「も」みたいなやつ追加した時もほぼそれだけじゃなかったっけ？

**デフォルトの名無しさん** · 2018/07/25(水) 14:58:24.45

Adobe-Japan1-6 Is Expecting!
https://blogs.adobe.com/CCJKType/2018/07/adobe-japan1-6-is-expecting.html

えーAdobe-Japan1-7って新元号を追加するだけで終わりなのー？

**デフォルトの名無しさん** · 2018/07/25(水) 17:15:18.78

う、うん…(´・ω・｀)

**デフォルトの名無しさん** · 2018/07/25(水) 18:24:58.87

JIS X 0212 補助漢字の残りはいつになったら……(´・ω・｀)

**デフォルトの名無しさん** · 2018/07/25(水) 19:23:56.34

UTF-7の仕組みをはじめてしったが面倒くさいエンコードだった。
UTF-16と、BASE64に依存しててこれがなければ成立しないのかよ。
単体で存在するUTF-8とかと一緒かとおもってた。

**デフォルトの名無しさん** · 2018/07/25(水) 22:28:09.49

元号の組文字に先行リリースするほどの価値があるかなぁ
何にしろ早くAJ18出してよ

**デフォルトの名無しさん** · 2018/07/25(水) 22:55:41.73

元号の組文字使ってるとこあんの？

**デフォルトの名無しさん** · 2018/07/26(木) 00:34:28.84

来年の5月までまだ9ヶ月強あるのに今の時点でもうAJ1-7は2文字だけと決めてしまうなんて
候補の選定ってそんなに手間のかかるもんなのかねぇ

**デフォルトの名無しさん** · 2018/07/26(木) 20:55:22.84

どの言語圏であれ、国家が絡めば、Unicode界隈ではおおごとだよ。日本の元号だってまさにそう。
あの絵文字どうしますかね、とかそういうレベルじゃないから。

**デフォルトの名無しさん** · 2018/07/27(金) 01:59:49.37

元号も絵文字にしようよもう
覚えるの大変だよ

**デフォルトの名無しさん** · 2018/07/27(金) 02:29:56.02

そもそも漢字や象形文字は、一種の絵文字だけどね。

**デフォルトの名無しさん** · 2018/07/27(金) 02:40:46.86

そもそも論はどうでもいい

**デフォルトの名無しさん** · 2018/07/27(金) 03:15:50.87

AJ16が出て結構経つとはいえこの間JISの改訂があったわけでもないんで
意外とAJ18も数十～数百文字程度の小規模アップデートで終わるかも

**デフォルトの名無しさん** · 2018/07/27(金) 04:12:40.69

元号が絵文字になるとVSによって色黒な昭和とか女性的な明治とかが生まれるのか

**デフォルトの名無しさん** · 2018/07/27(金) 12:33:29.72

元号なんて漢字2文字並べて書けばいいからそんな急ぐ必要無いだろ。
組み文字はUnicode13以降でもいいだろ。

**デフォルトの名無しさん** · 2018/07/27(金) 17:48:33.71

大国であれ小国であれ、一国家の行政が絡んでいるという時点で、急ぐ必要があるんだよ。
なにしろ影響を受ける人の桁数が違う。

**デフォルトの名無しさん** · 2018/07/27(金) 19:18:57.24

元号組文字なんか使ってる奴いるの？

**デフォルトの名無しさん** · 2018/07/27(金) 19:32:41.17

役所やぞ

**デフォルトの名無しさん** · 2018/07/27(金) 19:45:53.97

文字の名前もグリフも未定だけどとりあえずコードポイントだけ押さえましたなんて
Unicode史に残る珍事だと思うわ

**デフォルトの名無しさん** · 2018/07/27(金) 19:56:54.08

影響を受けやすいような手段を一国家の行政が採用している無能さを棚に上げてるから駄目なんだ

**デフォルトの名無しさん** · 2018/07/27(金) 20:31:49.16

「ワシは知らん」とUnicodeが無視した場合、本来は1ベンダーにすぎないマイクロソフトがそのしわ寄せに対応することになり、
結局、マイクロソフトの独自拡張をUnicodeがしぶしぶ追認することになるので二度手間なんだよ。

**デフォルトの名無しさん** · 2018/07/27(金) 22:03:28.66

北朝鮮の将軍様専用ハングルとか数文字は国家規格に入ってるにも関わらず
未だにUnicodeに入れて貰えてないよな。

**デフォルトの名無しさん** · 2018/07/27(金) 22:09:52.68

元首の交代に伴って変更される紀年法をまだ使ってる国なんて他にあんのかね

**デフォルトの名無しさん** · 2018/07/27(金) 23:53:13.41

まず無いだろうけど、もし新元号が現時点でUnicodeに無い漢字を使うものになったら
統合漢字のURO末端に緊急追加になるだろうな。

**デフォルトの名無しさん** · 2018/07/28(土) 01:26:08.91

>>566
その前に国内のシステムがおかしくなるよ。
常用漢字から選んでくれないと。

**デフォルトの名無しさん** · 2018/07/28(土) 14:53:59.34

M明治
T対象
S昭和
H平成
A麻原

**デフォルトの名無しさん** · 2018/07/28(土) 14:57:49.43

ゆぁ～えーびぃ～すぃ～ん♪

**デフォルトの名無しさん** · 2018/07/30(月) 00:49:54.80

>>564
そういえばあれって三代目用の文字もあるのかな？

**デフォルトの名無しさん** · 2018/07/31(火) 17:52:18.88

将軍様専用ハングル以外にUnicode未収録文字は縞模様の三角とか謎の記号がいくつかあったな。
北朝鮮で使われてるRed Star OSではUnicodeが使われてるけどこれらはPUAに割り当てられてる。
因みにWindowsの北朝鮮版は無い。

>>570
2012年頃の改訂で追加されたらしい。

**デフォルトの名無しさん** · 2018/07/31(火) 23:58:28.90

新元号組み文字はJIS X0213には入れるのかな。
入れるとしたら㍻の1つ前の1面13区62点、シフトでJIS0x877D辺りか。

**デフォルトの名無しさん** · 2018/08/02(木) 01:17:44.00

専用ハングルはなんで「金」とか「日」とか重複する文字を代ごとに別々に入れてるのか謎

**デフォルトの名無しさん** · 2018/08/02(木) 01:31:21.78

>>573
謎か？

**デフォルトの名無しさん** · 2018/08/02(木) 04:36:12.48

最近の文字コードやばない？

**デフォルトの名無しさん** · 2018/08/02(木) 08:45:58.28

文字コードとしては謎だろ
担当は何をしているのか
指摘どころか質問した時点で解雇されるルールでもあるのかよってくらいに謎だわ

**デフォルトの名無しさん** · 2018/08/03(金) 00:21:52.08

やっぱおじいちゃんの金とおとうさんの正をを孫に使ったりしたら怒られるのかな。
グリフを見ただけで誰用の金なのかを見比べるスキルが必要になるんだろうな。

**デフォルトの名無しさん** · 2018/08/03(金) 20:44:28.67

nkfコマンドってなにもオプション指定しないでも文字化け直してくれるんだなw
どうやってるのか知らなくて怖いが（普段はiconv(1)を使ってる）

**デフォルトの名無しさん** · 2018/08/04(土) 01:43:06.83

美乳

**デフォルトの名無しさん** · 2018/08/04(土) 02:59:33.13

>>579
今時EUC-jpが生きてるシステムってあるの？

**デフォルトの名無しさん** · 2018/08/04(土) 04:56:17.77

文字コードの自動判別は、100% 正確じゃない

間違うこともある

**デフォルトの名無しさん** · 2018/08/04(土) 09:23:39.15

bit 順に意味があるんだろうけど
"\xC8\xFE\xC6\xFD"
なんでこれで自動検出できるかの説明が欲しい

**デフォルトの名無しさん** · 2018/08/04(土) 09:42:12.43

〠
http://www.shtml.jp/mojibake/binew.html

**デフォルトの名無しさん** · 2018/08/04(土) 16:00:30.01

UnicodeはUCS-4を基本形にして
UTF-8はUCS-4の圧縮版のような扱いでいいんじゃないか
UCS-4ならCode Chartsに書かれている値をそのまま使うから分かりやすいし
UTF-16は廃止してもいいと思う

**デフォルトの名無しさん** · 2018/08/04(土) 22:01:13.64

わざわざ廃止とかデメリットしかない

**デフォルトの名無しさん** · 2018/08/04(土) 22:35:16.02

WindowsのAPIがUTF-16ベースなのに廃止とか無理でしょ

**デフォルトの名無しさん** · 2018/08/04(土) 23:38:59.79

pcre はutf8対応が不完全。無理もない話だけど。
文字コードのライブラリを作る人からすればutf8よりも、utf16やutf32の方が便利。

**デフォルトの名無しさん** · 2018/08/04(土) 23:53:51.88

そのutf-8の問題は utf-16でもutf-32でも同じなのでは

**デフォルトの名無しさん** · 2018/08/05(日) 03:05:25.66

seekがめんどくさいのがUTF-8の問題だと思うんだけど違うの？

**デフォルトの名無しさん** · 2018/08/05(日) 03:36:24.64

UTF-16はUTF-8とUTF-32のデメリットを兼ね備えていて、
メリットが無いような気がする。

**デフォルトの名無しさん** · 2018/08/05(日) 04:33:54.11

このスレに来るような人が、どうしてutf8とutf16/32が同じと思うのか不思議。
自力で文字判定処理をやったことがないスクリプト言語プログラミング一辺倒の人？

**デフォルトの名無しさん** · 2018/08/05(日) 08:22:11.27

>>591
文字コードに習熟したプログラマしかここに来ちゃいけないのかい？
俺みたいにユニコードとUTFの違いすらよくわからない者が情報を求めて
ここに通うこともあるんだぜ

**デフォルトの名無しさん** · 2018/08/05(日) 08:42:30.75

pythonなんて内部の文字コードutf16だよ。
使う側が意識せずに済んでるってのがむしろ凄いわけで。
utf16要らないとか言ってる人は、事業仕分けでドヤ顔する民主党議員だわ。

**デフォルトの名無しさん** · 2018/08/05(日) 10:13:37.02

仕分けしたからモリカケだけで済んでるんじゃないの？

**デフォルトの名無しさん** · 2018/08/05(日) 12:03:49.97

本当だよ
無駄な予算にかけようとするこういうバカは消えてほしい