文字コード総合スレ part13

**デフォルトの名無しさん** · 2020/07/03(金) 20:53:47.08

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/

**デフォルトの名無しさん** · 2021/09/10(金) 11:27:58.08

メーカーに聞きなよ
ファイル名順じゃなさそう

**デフォルトの名無しさん** · 2021/09/10(金) 11:35:19.75

ファイルシステム(FAT32かexFAT?)のエントリー順だったりして

**デフォルトの名無しさん** · 2021/09/10(金) 14:35:19.70

>>132
メーカーが中国でサポート窓口なさそうなので…
他のフォルダ内も同じ順番なので、ファイル名に関係してそうではあるんですが

>>133
そう思ってUMSSORTというソフトで昇順にしたんですが、それでも同じなんですよね

**デフォルトの名無しさん** · 2021/09/10(金) 14:38:02.56

そういうの困るよな

**デフォルトの名無しさん** · 2021/09/10(金) 15:09:19.40

DAPに限らず、メディアプレーヤーって結構メタ情報見てるぜ？
トラック名とかトラック番号とか。

**デフォルトの名無しさん** · 2021/09/10(金) 15:19:50.85

>>135
困るんですよ…
>>136
MP3Tagで曲順はちゃんと埋め込んでるんですよね
トラック名が何であろうと、別のアルバムでも同じ数字の順序なんです…

**デフォルトの名無しさん** · 2021/09/10(金) 15:20:52.85

どうせ全角半角とか、特殊数字とか使ってるだけでは？
ファイル名の数字付け直してみては？

**デフォルトの名無しさん** · 2021/09/10(金) 15:41:18.97

>>138
すべて半角数字です
同じMP3をfoobarやandroidのpowerampに送った場合は問題なく数字順に再生されるので、ファイル名に問題はないと思います
ダミーで数字だけふったファイルを入れても同じでした
文字コード云々ではなくなにかDAP側での仕様なのかもしれませんね
みなさんスレ違いな話題にお返事くださりありがとうございました

**デフォルトの名無しさん** · 2021/09/11(土) 02:58:23.87

たぶん別メーカーのDAPだけど、先頭に00を付けたら回避できるって書かれてる気がするから試してみては
https://www.amazon.co.uk/review/R1DDVSAU2A2YWL/

**デフォルトの名無しさん** · 2021/09/13(月) 13:11:45.64

>>140
おお、わざわざありがとうございます　同じ症状ですね
しかし00と000追加も試しましたがだめでした

**デフォルトの名無しさん** · 2021/09/15(水) 08:05:37.54

Unicode 14.0.0
https://www.unicode.org/versions/Unicode14.0.0/

**デフォルトの名無しさん** · 2021/09/15(水) 16:54:13.89

どんどんメジャー番号上がるなあ

**デフォルトの名無しさん** · 2021/09/16(木) 14:52:51.85

「Unicode Emoji 14.0」リリース──敬礼する顔や妊娠する男性など
https://www.itmedia.co.jp/news/articles/2109/16/news074.html

**デフォルトの名無しさん** · 2021/09/16(木) 20:24:58.42

シティポップの野良のzipファイルを開くときに、韓国語のエンコーディングを選ぶと
日本語のファイル名が正しく展開された。その他のレガシーなエンコーディングでは
駄目。これってどうなってるのかな。
ちな韓国語の場合はEUCとMSのエンコーディングが基本的に同じ?

シティポップってやっぱ日本以外でも聴かれてるんだねーって、違うか。

**デフォルトの名無しさん** · 2021/09/16(木) 21:14:39.93

gb2312なのに日本語で書かれたスパムを受け取ったこと無いかい？
ksx1001にも日本の文字は含まれている。

**デフォルトの名無しさん** · 2021/09/16(木) 22:55:21.33

あれってなんでなん？
何か使い道あったん？

使わないけど精々100文字程度だから入れとくかーぐらいのこと？

**デフォルトの名無しさん** · 2021/09/16(木) 23:46:44.00

韓国は日本に併合された状態が30年以上続いてたわけで、その間に日本の文字が広まったんだろ
ksx1001制定時にも使われてたから入れたんじゃないか？

**デフォルトの名無しさん** · 2021/09/17(金) 00:25:33.08

入れた人、獄死してそうだね

**デフォルトの名無しさん** · 2021/09/17(金) 07:46:41.58

JISのキリル文字よりは意味ありそうだな。

**デフォルトの名無しさん** · 2021/09/17(金) 16:12:38.90

平仮名と片仮名のワ行のウ、片仮名のヤ行のイ、片仮名のヤ行のエ(現代のエと区別する為に作られたイとエが合体したような字)
も追加されたんだな。

**デフォルトの名無しさん** · 2021/09/17(金) 16:48:38.12

そういう変な文字が増えていくのなんかうれしいわｗ

**デフォルトの名無しさん** · 2021/09/17(金) 17:19:21.38

お願いします。

https://stat.ameba.jp/user_images/20110716/03/mokona1125/0e/c3/j/o0400124411352644828.jpg

**デフォルトの名無しさん** · 2021/09/17(金) 18:22:23.29

表音文字ですからね…

**デフォルトの名無しさん** · 2021/09/17(金) 18:24:50.47

誰かぽげむたマーク申請して

**デフォルトの名無しさん** · 2021/09/17(金) 19:45:51.29

ぽげむたびげなみょ～ん

**デフォルトの名無しさん** · 2021/09/17(金) 19:51:42.61

がびんちょんぶー

**デフォルトの名無しさん** · 2021/09/17(金) 20:31:32.36

わ行は
ゐゑ
ヰヱ

や行のエ？
イとエの合体ってどんな字？

**デフォルトの名無しさん** · 2021/09/17(金) 20:59:29.69

これかな
https://www.unicode.org/charts/PDF/Unicode-14.0/U140-1B100.pdf

**デフォルトの名無しさん** · 2021/09/17(金) 21:25:09.08

ああ変態仮名か
thx

**デフォルトの名無しさん** · 2021/09/18(土) 03:29:09.72

いや変体仮名と同じKana Extended-Aに押し込まれただけであって変体仮名扱いではない
主流の文字と重複した仮名のことを変体仮名って言ってるわけだから
既登録のやつとかぶってないYI/YE/WUはただの仮名

**デフォルトの名無しさん** · 2021/09/18(土) 05:02:10.93

越後とか会津あたりの、いとえが混ざった奴を表す平仮名はないの？
鉛筆がインピツになったり駅がイキになったりするやつ

**デフォルトの名無しさん** · 2021/09/18(土) 06:03:15.06

変態かな？

**デフォルトの名無しさん** · 2021/09/18(土) 08:20:39.84

WU は見たことあるけどカタカナの YE とか YI って実例があるんだろうか？どの漢字由来か見当がつかない。

**デフォルトの名無しさん** · 2021/09/18(土) 09:10:43.24

昔の文献

**デフォルトの名無しさん** · 2021/09/18(土) 09:48:46.78

Hentaiganaとはちゃんと区別されてHistoric Hiragana/Katakanaなんだな。

**デフォルトの名無しさん** · 2021/09/18(土) 11:27:32.09

Wikipediaによると片仮名のヤ行イは「以」に由来、ヤ行エは「延」に由来するらしい。
ヤ行エは現代のエと同じ、ア行の方が違う形でU+1B000の「衣」に由来する字としてた事もあるらしい。
平仮名のヤ行イは「以」を崩した字でU+1B006,HENTAIGANA LETTER I-1と統合っぽい。

**デフォルトの名無しさん** · 2021/09/18(土) 18:15:34.30

ARCHAICでは？

**デフォルトの名無しさん** · 2021/09/18(土) 18:18:20.29

歴史文脈以外での使い方を考えよう

ウェーイ → ヱーイ
みたいに
イエーイに使えるか？

**デフォルトの名無しさん** · 2021/09/18(土) 19:00:28.80

高島忠夫のはそっちかな

**デフォルトの名無しさん** · 2021/09/18(土) 20:03:19.72

誰か今のうちに使っといて

**デフォルトの名無しさん** · 2021/09/19(日) 13:02:22.99

恵比寿
戎
恵比須
蛭子
夷
胡
どれが由来だろう

**デフォルトの名無しさん** · 2021/09/20(月) 02:00:22.59

変体仮名が思うより変態で感心した。
私はくせ字だが日記を始め手書きも多く残すつもりだから、
遠い未来に自分のくせ字がひとつでも加わればこれ以上ない喜びだな。

**デフォルトの名無しさん** · 2021/09/20(月) 05:18:24.33

元字が同じただの癖字じゃ無理だろｗ

それより慶応を广K广Oと書くようなやつのほうがよっぽど収録しがいがある

**デフォルトの名無しさん** · 2021/09/20(月) 06:31:16.91

广マ法とか？

**デフォルトの名無しさん** · 2021/09/20(月) 06:32:35.49

W
x
Y

**デフォルトの名無しさん** · 2021/09/20(月) 10:07:43.39

葬祭の下側がアルファベットになってて

艹
死タヌ
SO SAI

みたいなやつを見かけたことがあるんだけど
これもう文字じゃなくてロゴタイプじゃねと思った

**デフォルトの名無しさん** · 2021/09/20(月) 10:08:04.72

OK狭間

**デフォルトの名無しさん** · 2021/09/20(月) 16:33:01.86

あ𛀙よろし
生𛁛𛂦゙

**デフォルトの名無しさん** · 2021/09/20(月) 17:25:19.97

びろーん🏴󠁪󠁰󠀱󠀴󠁿

**デフォルトの名無しさん** · 2021/09/20(月) 17:32:48.55

**デフォルトの名無しさん** · 2021/09/20(月) 17:33:17.54

😀

**デフォルトの名無しさん** · 2021/09/20(月) 17:40:06.38

新しい絵文字出てもAndroidのバージョン古いと見れないのつらいわー
フォントだけなんだから絵文字だけ別枠で配信してくれないかしら

**デフォルトの名無しさん** · 2021/09/20(月) 18:04:52.52

>>183
>フォントだけなんだから
そいつはどうかな

**デフォルトの名無しさん** · 2021/09/20(月) 18:13:01.74

ふぉんとだよ

**デフォルトの名無しさん** · 2021/09/21(火) 01:32:25.68

うっそぴょん

**デフォルトの名無しさん** · 2021/09/21(火) 01:32:42.06

そういやandroidはフォント入れ替えたり足したりできないのかな？

**デフォルトの名無しさん** · 2021/09/21(火) 15:56:07.39

どう思う？

**デフォルトの名無しさん** · 2021/09/23(木) 14:38:45.46

おれのMeiryo UIを見てくれ
どう思う？

**デフォルトの名無しさん** · 2021/09/23(木) 17:05:48.69

時代はYu Gothic UIだろｊｋ

**デフォルトの名無しさん** · 2021/09/23(木) 17:17:37.59

字形なんて個人の好みに過ぎんよそでやれ（文字コード原理主義）

**デフォルトの名無しさん** · 2021/09/23(木) 17:59:26.01

そそ
僕らは直が線対称だったり刃が切れなそうだったり反がハーイしそうでも気にならんよな？

**デフォルトの名無しさん** · 2021/09/23(木) 18:01:40.49

さすがにそれは字体の違いじゃすまん

**ハノン** ◆QZaw55cn4c · 2021/09/23(木) 18:29:00.18

>>192
CJK 漢字統合の悪い後遺症なんですが、なんで CJK 漢字統合とかやってしまったの？

**デフォルトの名無しさん** · 2021/09/23(木) 20:01:43.64

でも統合しなかったらしなかったで
「見た目同じだけど検索に引っかからない文字」
がOCRとか素人入力とかで大量に使われてそれはそれでアレだったんだろうなあ

**デフォルトの名無しさん** · 2021/09/23(木) 20:51:24.74

>>194
黄色い猿の使ってる文字の区別なんかできねーよ
ということだろう

**デフォルトの名無しさん** · 2021/09/23(木) 21:13:39.76

漢字をあいまい検索するなら同義文字のデータベースを別途用意するのが正しい
CJK漢字統合では中途半端
バイオリンとヴァイオリンのように漢字に限らない問題だし

**デフォルトの名無しさん** · 2021/09/23(木) 23:40:21.82

正しいのはわかるが未だに
サンプル
ｻﾝﾌﾟﾙ
みたいなのさえ余裕で同一視してくれないやつ多いしなあ
統合なしだと現状と同レベルの利便性は特別な投資をしないと享受できないものになってた気がするんだよな

**デフォルトの名無しさん** · 2021/09/23(木) 23:47:24.09

プとふ゜を同一視しろと言われてもなあ

**デフォルトの名無しさん** · 2021/09/24(金) 01:03:35.59

ジャパニーズ絵文字をユニコードに入れまくったのは性犯罪と言える。
反省せよ！

**デフォルトの名無しさん** · 2021/09/24(金) 02:32:55.61

>>194
CJK別にすると16bitに収まらなかったから

けどそんなことはもう問題になってない
32bitで扱わないといけないのみんな知ってるし
外部表現はUTF-8だし

**デフォルトの名無しさん** · 2021/09/24(金) 02:35:08.29

>>195
そういう目的のためにCJK統合されたわけじゃない
だから役には立たない
そもそも新字旧字さえ同一文字とみなさないCJK統合文字の同一視を嬉しい奴なんか居ない

**デフォルトの名無しさん** · 2021/09/24(金) 02:38:51.59

>>200
世界統一基準のルールでやろうとすると実績ベースでやるしかない
Gmailの中の人が日本のキャリア携帯メールの絵文字対応する時に
Google独自の他社非互換の対応をするのではなくて標準に入れたのは英断
数千万人が使ってる文字の流通基盤作った

**デフォルトの名無しさん** · 2021/09/24(金) 04:12:12.52

ヴィトンとゔぃとんをあいまい検索で同キーワード扱いするにはMecabのような分かちライブラリが必要になる

**デフォルトの名無しさん** · 2021/09/24(金) 04:21:14.03

Mecab用の新語辞書mecab-ipadic-NEologdの更新が2020年9月で止まってる
https://github.com/neologd/mecab-ipadic-neologd

**デフォルトの名無しさん** · 2021/09/24(金) 07:16:32.42

>>205
Twitterも止まってるな

**デフォルトの名無しさん** · 2021/09/24(金) 08:15:48.08

システムが英語設定のときに日本語を表示させると、中国語の字形で表示される
ことが多い気がする。Google先生に日本語の漢字を入力して検索しても、中国語の記事が
優先して出てくるような。
これはどういうことなんだ....

**デフォルトの名無しさん** · 2021/09/24(金) 09:53:35.98

前半について言えば、日本語環境以外では中文フォントが優先利用されるようになっているからだろう。

**デフォルトの名無しさん** · 2021/09/24(金) 11:31:16.82

中国人が天安門事件についてググりやすくするための配慮だろjk

**デフォルトの名無しさん** · 2021/10/01(金) 00:29:21.14

中国語って言っても繁体字でしょ？
フォールバック先としては適切では？

**デフォルトの名無しさん** · 2021/10/01(金) 00:46:14.94

「直」とかが明らかに日中で形が違うのに同じコードポイントなのが問題で、誤字にしか見えない
許容範囲は「今」くらいまで

**デフォルトの名無しさん** · 2021/10/01(金) 01:14:25.98

もはや「安」と「あ」を同じ文字だって言ってるレベルだもんな

**デフォルトの名無しさん** · 2021/10/01(金) 01:18:55.05

形の問題で論じるとaとかgとかのバリエーションと同列の「字形が違うだけ」になってしまうような

**デフォルトの名無しさん** · 2021/10/01(金) 01:50:49.08

>>210
簡体字だけど

**デフォルトの名無しさん** · 2021/10/01(金) 02:22:30.83

泣いた

**デフォルトの名無しさん** · 2021/10/02(土) 00:21:19.15

>>213
日本語において「令」の書き方が複数あるのは、どちらも使われていて同じものと認識されているから、字形が違うで済むし同じコードポイントで良い。aやgのバリエーションの違いに相当。
しかし中国語の「直」の字形は日本ではあまり一般的ではなく、同じものと認識できない可能性が高いから別にすべき。由来が同じでもすでに別物で、pとπのようなもの。

どこまでを同じものと認識するかは言語や文化が違えば当然異なるから、やはり統合漢字は無理がある。
もっと言えば、トルコ語アルファベットの大文字小文字の扱いや、全角半角の同一視の問題も根は同じ。
テキスト中に表を書くための罫線素片が全角と半角を統合とかアホとしか言いようがない。

**デフォルトの名無しさん** · 2021/10/02(土) 03:12:57.27

＞書き方が複数あるのは、どちらも使われていて同じものと認識されているから、字形が違うで済む

それがね、「人の名前を正確に書かないなんて失礼でしょ！」って、包摂されてるレベルの異体字を正確に表現することを求める人、結構いるんです…。
同じものだと認識してる人の範囲、実は案外狭くて、板挟みになってるところにしわ寄せがいってるだけかもしれません…。

**デフォルトの名無しさん** · 2021/10/02(土) 15:31:50.03

>>217
お前の先祖が字をちゃんと覚えて無かっただけだろが
と言ってやりたい

**デフォルトの名無しさん** · 2021/10/02(土) 15:59:11.18

先祖が字をちゃんと書かなかったせい

**デフォルトの名無しさん** · 2021/10/02(土) 16:02:15.81

だいたいの人の先祖は読み書きできないと思うが

**デフォルトの名無しさん** · 2021/10/02(土) 16:28:43.87

>>216
CJK統合が困るならサロゲートペアを使いなさい

**デフォルトの名無しさん** · 2021/10/02(土) 16:30:41.53

>>216>>217
異体字が重要なら異体字セレクタを使いなさい
Winのメモ帳、Macのテキストエディット、Adobe Readerでさえ対応してるのだから

**デフォルトの名無しさん** · 2021/10/02(土) 16:36:36.22

>>216
どの文字を同じとみなすかは
JIS X 0208の段階でも問題になってきたし
ISO-8859-*でさえ問題だった
応用ごとに同値関係を定義するしかない
たとえば
　かちょう
　がちょう
は索引で横並びかどうかなど
これは国ごとに応用ごとに違う

この辺りの知識はUnicodeのお陰で劇的に広まった
失敗がなかったなんて極端な事は言わないが
文字処理におけるUnicodeの貢献は大きい
唯一のテストベッド

最近のレスの知識レベルは20年前に戻ったかのようだ

**デフォルトの名無しさん** · 2021/10/02(土) 16:40:36.25

>>217
しわ寄せなんてもないですよ
戸籍をデジタル化した時点で
後のUnicodeの文字集合採用ルールに従えば
異体字セレクタで全て扱えるべきですし
そうなっています
典拠がいまだ見つからない文字ですら扱えるべきなんです
どこかでもう使ってるかもしれないから

**デフォルトの名無しさん** · 2021/10/02(土) 17:54:38.90

>>221
どゆこと?
サロゲートペアでCJKの字形の使い分けができるってこと?

**蟻人間** ◆T6xkBnTXz7B0 · 2021/10/02(土) 18:15:27.71

異体字セレクタ
https://ja.m.wikipedia.org/wiki/%E7%95%B0%E4%BD%93%E5%AD%97%E3%82%BB%E3%83%AC%E3%82%AF%E3%82%BF#:~:text=%E7%95%B0%E4%BD%93%E5%AD%97%E3%82%BB%E3%83%AC%E3%82%AF%E3%82%BF%20(%E8%8B%B1%3A%20Variation,(%E9%81%B8%E6%8A%9E%E5%AD%90)%20%E3%81%A7%E3%81%82%E3%82%8B%E3%80%82

**デフォルトの名無しさん** · 2021/10/02(土) 21:51:21.36

>>224
「かな漢字変換」ならぬ「漢字カナ変換」を開発ωして
年金情報ぶっ壊したのが厚生省ωω

**デフォルトの名無しさん** · 2021/10/03(日) 01:40:13.18

>>226
現状では言語によって異なる異体字 (図参照) のようなケースを異体字セレクタで区別することができない。

って書いてあるけど？

**デフォルトの名無しさん** · 2021/10/03(日) 01:55:19.75

IPAの発音記号あたり、中途半端に特定の文字だけ専用に用意するよりIPA専用記号として全部一式きれいに揃えたほうがわかりやすいんじゃないかって思うわ
どこまで普通のラテンを使っていいのか直感的じゃなさすぎてつらい

**デフォルトの名無しさん** · 2021/10/14(木) 22:08:20.62

**デフォルトの名無しさん** · 2021/10/22(金) 23:13:01.81

IEコンポーネントブラウザだと絵文字は基本的に白黒で表示されるイメージだったけど、
一部の絵文字はフルカラーになるのね。何が違うんだろう？
なんとなく、追加時期が新しいものがフルカラーになってそうなイメージ。

Unicode 6 😂
Unicode 7 🙂
Unicode 8 🤗
Unicode 9 🤧
Unicode 10 🤮
Unicode 11 🥺
Unicode 12 🥱
Unicode 13 🥲