文字コード総合スレ Part12

**デフォルトの名無しさん** · 2018/12/16(日) 12:38:15.61

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/

**デフォルトの名無しさん** · 2019/12/06(金) 14:18:04.16

>>805
IMEってMS-IMEのこと？
それともかな漢字変換全般？

**デフォルトの名無しさん** · 2019/12/06(金) 23:32:11.23

SKK使ってるからだけどそんな印象は全く無い

**デフォルトの名無しさん** · 2019/12/10(火) 22:31:10.24

SKKは既定の辞書はすごく弱いけど語句登録がほぼ一瞬でできるのが利点よね。

**デフォルトの名無しさん** · 2020/01/01(水) 02:03:31.89

あけましておめでとう！
今年もこのスレの皆さんに多幸感がありますように！��

**デフォルトの名無しさん** · 2020/01/01(水) 11:19:22.03

字にはヒラギノ～ル♪

**デフォルトの名無しさん** · 2020/01/01(水) 22:58:15.38

あけましておめでとうございます
ISO/IEC 10646の新版は今年中に出るかな～？

**デフォルトの名無しさん** · 2020/01/03(金) 06:32:52.61

Consolasは良いフォントだとは思うのだけど、全角中黒「・」(U+30FB)が半角中黒(U+FF65)と判別しにくいところが気になる。
まぁ、文字コードの問題ではないんだが。

**デフォルトの名無しさん** · 2020/01/03(金) 10:33:29.05

特定のフォントの特定の文字だけ任意に入れ替えるパッチとかフックとか無いんだっけ

**デフォルトの名無しさん** · 2020/01/03(金) 22:33:53.11

>>813
レスありがとう。どのOSにもそういう仕組みはないと思う。
よく上げられる例として、フォントの明示的な設定なしに\マークをバックスラッシュとして表示することはできない、というのもあるし。
一文字づつ判定して適切なフォントに変えて描画する処理を個々のアプリ自身が実装する必要があるはず。

**デフォルトの名無しさん** · 2020/01/07(火) 14:48:29.36

どのアプリの絵文字が「実際に使えるはさみの絵文字」なのか？ - GIGAZINE
https://gigazine.net/news/20200106-which-emoji-scissors-close/

面白い

**デフォルトの名無しさん** · 2020/01/07(火) 15:01:40.99

左利き用のはさみも用意汁ωωω

**デフォルトの名無しさん** · 2020/01/07(火) 15:12:21.25

ちなみによく切れるはさみはここが曲線
https://bungu.plus.co.jp/product/cut/img/fcc_smart_03.jpg

**デフォルトの名無しさん** · 2020/01/07(火) 16:36:04.95

はさみディレクションセレクター

**デフォルトの名無しさん** · 2020/01/18(土) 12:49:25.00

ぷにコードに関するチラ裏

localghost👻ってかわいくね？
→今まで危険そうで敬遠してたIDNに興味をもつ
→WikipediaとRFC3492を頼りにPunycodeのアルゴリズムを調べる
→エンコーダを自前で組んでみて、idn2コマンドやPythonの'idna'エンコーディングと比べてみる
→正規化する必要のある文字がどんどんふえる
→idn2とpythonのidnaってかなり違わくね？？　<-イマココ

idn2はギリシャ文字の「語尾のシグマ」ς(U+03C2)をσにしないし、あとチェロキー文字の大文字？を小文字？にしないし、けど小文字？はSupplementなのがなんかあやしいし、でidnaとどっちが正しいのか考えるのが面倒になって投げた

**デフォルトの名無しさん** · 2020/01/24(金) 09:35:27.22

6月のWG2は高松になったのか
また国外から来にくそうな

**デフォルトの名無しさん** · 2020/01/26(日) 00:45:55.40

道後温泉に行くか

**デフォルトの名無しさん** · 2020/01/30(木) 14:46:03.72

Unicode Emoji 13.0 - Now final for 2020
http://blog.unicode.org/2020/01/unicode-emoji-130-now-final-for-2020.html

**デフォルトの名無しさん** · 2020/01/30(木) 16:08:26.17

今更ﾀﾋﾟ岡かい

**デフォルトの名無しさん** · 2020/01/31(金) 12:43:23.65

Unicodeは完全にコンソーシアムのおもちゃになってんな

**デフォルトの名無しさん** · 2020/01/31(金) 15:08:09.88

タピオカミルクティーがあるのに、将棋の駒がフルセット揃っていないのは納得できない。

◆QZaw55cn4c · 2020/01/31(金) 19:55:14.24

>>825
詰将棋用に上下逆の漢字を入れて欲しかった

**デフォルトの名無しさん** · 2020/01/31(金) 22:55:44.99

G入れるのまじやめて

**デフォルトの名無しさん** · 2020/02/01(土) 00:49:18.17

要するに新種の漢字なんだな
国ごとに生活が違うから、結局何万種必要になる

**デフォルトの名無しさん** · 2020/02/02(日) 00:50:49.11

将棋の駒は多分誰も提案書を出さないせい

**デフォルトの名無しさん** · 2020/02/02(日) 01:02:15.43

それ通ったらドンジャラ提案するわ

**デフォルトの名無しさん** · 2020/02/02(日) 01:17:07.29

漢字の扱いは本当に難しい
手書きの分析しているソフトは本当に賢いと思うわ
まああれは面倒な文字はそもそも判定せず、
主要な文字から似たものを選んでいるだけではあるが・・・

**デフォルトの名無しさん** · 2020/02/03(月) 01:41:22.43

テスト٩( 'ω' )و

**デフォルトの名無しさん** · 2020/02/03(月) 08:57:05.26

825だが、将棋の駒がダメな理由は、>>469 にある通り、
> インラインテキスト中で使われている用例が示されていないのでrejectされたらしい。
ということらしいが、なら、タピオカミルクティーにインラインテキスト中で
使われている用例があるのか、と言いたい。だから納得できない。

**デフォルトの名無しさん** · 2020/02/03(月) 11:59:58.53

解説本だと普通に使われてるよな

**デフォルトの名無しさん** · 2020/02/03(月) 13:40:49.09

タピオカが使われているのかと誤読

**デフォルトの名無しさん** · 2020/02/03(月) 13:47:35.80

読み手のリテラシーが問われます

**デフォルトの名無しさん** · 2020/02/03(月) 13:54:08.64

天使を天便と読み取ったまま放置するとか割とマジ。

**デフォルトの名無しさん** · 2020/02/03(月) 22:56:08.65

架空の文字は登録しないというポリシーもあったと思ったが、emojiに関してはやりたい放題だな。

**デフォルトの名無しさん** · 2020/02/03(月) 22:59:18.31

漢字以前の象形文字モドキの再発明だからなぁ
取捨選択もなく全然洗練されないまま数だけ増えてる

**デフォルトの名無しさん** · 2020/02/03(月) 23:33:42.55

そのうち抽象化が進んでいくのか

**デフォルトの名無しさん** · 2020/02/04(火) 13:26:51.57

政治的に正しい仏教徒としては、墓石のバリエーションの少なさには納得いかんぞ

**デフォルトの名無しさん** · 2020/02/04(火) 13:28:31.24

コーヒー、お茶、タクシー、台風もほしい

**デフォルトの名無しさん** · 2020/02/04(火) 20:12:02.43

>>841
政治的に正しい仏教徒とは何ですかね？

アホな創価学会員が言いそうな発言ですが。

**デフォルトの名無しさん** · 2020/02/04(火) 21:29:49.71

絵文字ってここにどう書き込めばいいんです？
☸️
↓
☸
専ブラでは絵文字として読めるがWebブラウザー(Chrome/旧Edge/IE11@Win10)で見ても◆◆状態でうまく表示されない…

**デフォルトの名無しさん** · 2020/02/05(水) 08:47:40.80

>>842
全部あるぞ。お茶は「湯呑み」として。検索の仕方が足りない。

**デフォルトの名無しさん** · 2020/02/05(水) 10:08:51.00

🍵 you know me.

**デフォルトの名無しさん** · 2020/02/05(水) 10:23:19.19

固定フォントのターミナルのような環境である文字のフォントの幅が全幅か半幅か判別する確実な方法ってありますか？
Unicode前提です
Unicode的にアジアンなんとかというドキュメントでそれに触れられているのを見つけましたが
結局のところ使用されているフォントで決まるような気がします
となるとCLIアプリが表示する前に判別する方法はないような
表示したあとならターミナルにカーソル位置問い合わせればわかりそうだと思いましたが

**デフォルトの名無しさん** · 2020/02/05(水) 10:24:42.24

固定フォントじゃなくて等幅フォントでした

**デフォルトの名無しさん** · 2020/02/05(水) 16:23:36.59

てすと
☸

**デフォルトの名無しさん** · 2020/02/05(水) 16:24:56.28

>>844
うちのChromeはちゃんと出てる
ffでも問題なし

**デフォルトの名無しさん** · 2020/02/05(水) 16:28:36.97

>>847
前にpythonで書いたときは
unicodedata.east_asian_width()
使ったと思う
Win32APIだと表示前に文字列全体の描画幅を求める方法があったと思う

**デフォルトの名無しさん** · 2020/02/05(水) 16:30:38.68

☸ 法輪ラブ ☸

**デフォルトの名無しさん** · 2020/02/05(水) 18:34:07.02

>>847

・Unicodeでは文字幅は 0(結合文字)、1(いわゆる半角)、2(いわゆる全角)、1か2(曖昧幅) のいずれかに決まっている
・1か2になるのはαや☆などであり、東アジアの環境で2、それ以外で1

・wcwidthで調べるとその値を返すが、曖昧幅への対応がどうなっているかは分からない
・linuxのglibcは、データを自分で修正しない限り曖昧幅は1扱い(LANG=ja_JP.eucJPすれば2にはなる)

・CLIでのカーソル位置はカーネルのttyドライバが担当しており、そもそもフォン卜の情報を持っていない
・linuxカーネルでは全ての文字が(全角も)幅1扱い
・行編集もtty担当なので、catをそのまま実行して全角文字を入力後backspaceするとカーソルがずれる
・多くのシェルはwcwidthで入力/削除された文字やプロンプトに表示する文字の幅を調べ、必要に応じてカーソルを移動させる

・ターミナルはwcwidthまたは同等の独自関数(曖昧幅の設定ができることが多い)で文字幅を調べて、実際に表示させる
・等幅フォントでも曖昧幅の文字がどちらで実装されているかそれぞれ異なる上、ターミナルはフォントの文字幅情報を使わないことが多い(プロポーショナルでないことのみ確認)
・↑により、文字が重なったり変な隙間ができたりすることがある
・一部のターミナルはwcwidthの結果に従うように文字を潰したり引きのばしたりして表示する(minttyとか)

・アプリ(シェルとか)、ライブラリ(ncursesとか)、端末マルチプレクサ(tmuxとか)、端末エミュレータ、カーネル(tty)、フォント全てで想定する幅がそろっていないとうまく動かない
・日本語フォントの多くは曖昧幅2なので、linuxのCLIではαや☆がおかしくなることが多い(wcwidthが1を返すせい)

・Unicodeを作った西洋人は馬鹿だから、罫線素片の幅も曖昧で、ncursesがバグる
・絵文字は文字幅1だが、フォン卜の多くは2で実装されているのでおかしくなる

**デフォルトの名無しさん** · 2020/02/05(水) 20:43:09.91

>>853
詳しい解説サンクス

**デフォルトの名無しさん** · 2020/02/05(水) 23:12:39.17

>>853
あざす
やっぱり混沌としてるのですね
とりあえず一度ターミナルの中を追ってみようかな

**デフォルトの名無しさん** · 2020/02/06(木) 00:00:39.94

>>844うちでも見れた

**デフォルトの名無しさん** · 2020/02/07(金) 22:23:32.71

継ぎ接ぎだらけの一貫してない仕様だからな

**デフォルトの名無しさん** · 2020/02/08(土) 17:47:47.28

Unicodeの時代に今更だけど、
シフトJISの第2バイトがA0～FFでなく
40～FCにしたのは何でだろう

**デフォルトの名無しさん** · 2020/02/08(土) 17:48:29.82

訂正
×A0～FF
〇80～FF

**デフォルトの名無しさん** · 2020/02/08(土) 18:36:07.73

JISの区点は1区あたり94点
0x40開始で0x7Fを避けて2区分取ると0xFCになる

**デフォルトの名無しさん** · 2020/02/09(日) 12:59:57.61

やっぱ漢字１文字は２バイトの方がいい

**デフォルトの名無しさん** · 2020/02/09(日) 15:51:09.68

>>858
半角カナのせいで80～FFでは足りないから

**デフォルトの名無しさん** · 2020/02/09(日) 19:30:21.11

シフトJISはもう少し工夫すれば
JISコードの変換式もより簡単にでき
2バイト目もASCII領域を使わずにダメ文字も発生せず
補助漢字も全て入れられた

**デフォルトの名無しさん** · 2020/02/09(日) 19:32:13.43

補助漢字は半角カナと排他だけど

**デフォルトの名無しさん** · 2020/02/10(月) 16:27:01.61

EUCで良かったんよ

**デフォルトの名無しさん** · 2020/02/10(月) 19:14:50.21

EUCだと半角カナも補助漢字もバイト数が増えるからな．．．

◆QZaw55cn4c · 2020/02/10(月) 21:20:39.00

>>863
あのスペースの狭さでは、それは無理だったのでは？
どうするのがよかったのですか？具体的にいってみてよ

**デフォルトの名無しさん** · 2020/02/11(火) 08:36:25.76

非漢字＿：[81-98] [80-9F]
第１水準：[80-9F] [A1-FE]
第２水準：[E0-FF] [A1-FE]，[E0-EB] [80-9F]
補助漢字：[A0-DD] [A1-FE]，[A4-C1] [80-9F]
補助漢字は半角カナと排他利用

◆QZaw55cn4c · 2020/02/11(火) 17:40:51.63

>>868
それは結局半角カナを潰しただけのことでは？

**デフォルトの名無しさん** · 2020/02/11(火) 18:51:44.66

>>869
補助漢字6000字近くを使えるというメリットがあれば
半角カナをフェードアウトするには十分な機会になっただろう
補助漢字（JIS X 0212）が制定されたのは1990年だから
その翌年の1991年に発売されたMS-DOS 5.0あたりで
KANA ON／OFFコマンドを追加し、半角カナ／補助漢字の切り替えが出来れば
従来のテキストファイルの読み込みなども対応できる

◆QZaw55cn4c · 2020/02/11(火) 19:27:04.32

>>870
文字コードのマップ切り替えはコンテンツ側で指示するべきことであって、OS/アプリ側で切り替えて対応するとか、発想が変だとおもいますね

**デフォルトの名無しさん** · 2020/02/12(水) 01:19:59.31

いっその事1byte=32bitにすればサロゲートペアもBOMも要らなくなるし多バイト文字という概念もなくなる

**デフォルトの名無しさん** · 2020/02/12(水) 02:15:22.28

なくならない
合成文字はなくせない

**デフォルトの名無しさん** · 2020/02/12(水) 05:02:58.88

>>871
コンテンツ側でなくユーザー側

**デフォルトの名無しさん** · 2020/02/12(水) 10:06:52.88

1文字=64bitやろ

**デフォルトの名無しさん** · 2020/02/12(水) 13:30:20.44

>>875
イングランドの旗はUnicodeで7コードポイント必要なので64bitでは無理
128bitで

**デフォルトの名無しさん** · 2020/02/12(水) 13:32:59.34

👽 全宇宙の未知なる知的生命体の使用言語を網羅しなきゃならないのだから可変長は必須

**デフォルトの名無しさん** · 2020/02/12(水) 20:36:54.81

>>876
え、じゃあイギリスの旗はさらにそれにスコットランド分とアイルランド分が追加されるの

**デフォルトの名無しさん** · 2020/02/12(水) 21:06:37.28

>>878がおもしろいことを言った

**デフォルトの名無しさん** · 2020/02/13(木) 15:10:18.42

ウェールズ「俺は？」

**デフォルトの名無しさん** · 2020/02/13(木) 21:26:26.80

Google、絵文字を組み合わせた「ハート付きうんち」などを使える「Emoji Kitchen」開始
https://www.itmedia.co.jp/news/articles/2002/13/news068.html

**デフォルトの名無しさん** · 2020/02/14(金) 11:14:07.77

そんな文字要らんわ

**デフォルトの名無しさん** · 2020/02/14(金) 13:42:19.65

グーグルってしょっちゅう意味のわからんことするよな

**デフォルトの名無しさん** · 2020/02/14(金) 14:22:25.49

MSやAppleだって訳判らんことするときもある

**デフォルトの名無しさん** · 2020/02/14(金) 14:26:10.19

実行ファイルがテキストとデータで構成されるように、絵文字表現もテキストとデータを組み合わせた文法が出てきそう。

**デフォルトの名無しさん** · 2020/02/14(金) 17:14:21.07

顔文字より正規表現のためのメタ文字とかあったほうが良いのにね。
まあGoogleじゃ無理か。

**デフォルトの名無しさん** · 2020/02/14(金) 21:11:02.23

(.*_*)

**デフォルトの名無しさん** · 2020/02/14(金) 22:37:55.75

そのメタ文字にマッチしたい正規表現を書く日が来るぞ

**デフォルトの名無しさん** · 2020/02/15(土) 00:14:12.35

\��

**デフォルトの名無しさん** · 2020/02/15(土) 05:28:54.23

規格名：JIS X 0215
文字数：15000字超（非漢字：1700字超，漢字：13300字超）
区点域：0～127区，0～127点（最大16384字収納）
通　称：いちごJIS

**デフォルトの名無しさん** · 2020/02/21(金) 14:33:03.02

https://twitter.com/akinomyoga/status/1230127240806985728

修正の入った Cygwin 3.1.4 のリリースノートが来て、見てみたら @cjksingle という不穏な locale が発明されてる。
何かと思ったら「CJK文字も全て半角にすれば文字幅問題解決じゃん」という欧米人(東欧系?)の思いつきで、これは新しい悪夢なのでは…。mintty は仕事が早すぎ
https://gitlab.freedesktop.org/terminal-wg/specifications/issues/9#note_406682

因みにこの東欧人を追うともっと面白い(?)ものが。。漢字や絵文字が行末に収まらない時は左半分はその行に右半分は次の行に表示するのが合理的だと Windows Terminal に赴いて主張してる。
曰く、殆どの漢字は偏(へん)と旁(つくり)から成るので分断しても意味を失わないとか…
https://github.com/microsoft/terminal/issues/4345#issuecomment-578434025
https://twitter.com/5chan_nel (5ch newer account)

**デフォルトの名無しさん** · 2020/02/21(金) 15:07:53.93

糸
色
女
子
言
周

**デフォルトの名無しさん** · 2020/02/21(金) 20:47:45.26

半角と全角の区別付かなくなると困るから元の半角文字はさらに半分で表示したらどうかな

**デフォルトの名無しさん** · 2020/02/21(金) 22:45:17.77

まぁ、全部全角にすれば万事解決なんだけどな。

**デフォルトの名無しさん** · 2020/02/22(土) 03:15:16.13

絵文字っていわゆる全角よね

**デフォルトの名無しさん** · 2020/03/02(月) 02:11:23.28

いわゆるって何を指してる?

**デフォルトの名無しさん** · 2020/03/02(月) 16:54:16.25

公式定義ではなく現実によく目にする幅、かな

**デフォルトの名無しさん** · 2020/03/02(月) 17:38:15.13

最近は倍角とか4倍角とか聴かなくなったな

**デフォルトの名無しさん** · 2020/03/07(土) 16:24:06.57

Microsoft、Shift_JISや外字からUnicodeへの移行を呼びかけ | スラド
https://srad.jp/story/20/03/06/1237211/

Windows と日本語のテキストについて - Windows Blog for Japan
https://blogs.windows.com/japan/2020/02/20/about-windows-and-japanese-text/

**デフォルトの名無しさん** · 2020/03/07(土) 18:02:03.37

外字というと丸囲みの数字が①～⑳以外にもほしくて
21以降も外字で作ってしまっていた事務所を思い出す

何度かPCを入れ替えるうちに使わなくなり、忘れ去られ、
久々に古い文書を引っ張り出して来たら謎の文字化けで外字の存在が発覚
外字が何故か⑳から始まってたり途中に別の字が挟まってたりしてもはや解読作業

**デフォルトの名無しさん** · 2020/03/08(日) 21:08:48.53

㉑

**デフォルトの名無しさん** · 2020/03/08(日) 22:48:15.28

今は㊿まであるんだな、知らんかったわ

**デフォルトの名無しさん** · 2020/03/09(月) 05:26:10.28

(0)とか黒丸の小文字英字とか白丸のンとか黒丸の仮名とかは
Unicodeですら未だに無いんだよな．．．

**デフォルトの名無しさん** · 2020/03/09(月) 14:12:03.27

それはわいせつだからでは

**デフォルトの名無しさん** · 2020/03/09(月) 14:20:33.44

わいせつだって文字情報じゃないか!
それともなにか君は辞書から陰茎とか陰核という単語を削除せよというのか!