文字コード総合スレ part13

**デフォルトの名無しさん** · 2020/07/03(金) 20:53:47.08

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/

**デフォルトの名無しさん** · 2021/09/24(金) 09:53:35.98

前半について言えば、日本語環境以外では中文フォントが優先利用されるようになっているからだろう。

**デフォルトの名無しさん** · 2021/09/24(金) 11:31:16.82

中国人が天安門事件についてググりやすくするための配慮だろjk

**デフォルトの名無しさん** · 2021/10/01(金) 00:29:21.14

中国語って言っても繁体字でしょ？
フォールバック先としては適切では？

**デフォルトの名無しさん** · 2021/10/01(金) 00:46:14.94

「直」とかが明らかに日中で形が違うのに同じコードポイントなのが問題で、誤字にしか見えない
許容範囲は「今」くらいまで

**デフォルトの名無しさん** · 2021/10/01(金) 01:14:25.98

もはや「安」と「あ」を同じ文字だって言ってるレベルだもんな

**デフォルトの名無しさん** · 2021/10/01(金) 01:18:55.05

形の問題で論じるとaとかgとかのバリエーションと同列の「字形が違うだけ」になってしまうような

**デフォルトの名無しさん** · 2021/10/01(金) 01:50:49.08

>>210
簡体字だけど

**デフォルトの名無しさん** · 2021/10/01(金) 02:22:30.83

泣いた

**デフォルトの名無しさん** · 2021/10/02(土) 00:21:19.15

>>213
日本語において「令」の書き方が複数あるのは、どちらも使われていて同じものと認識されているから、字形が違うで済むし同じコードポイントで良い。aやgのバリエーションの違いに相当。
しかし中国語の「直」の字形は日本ではあまり一般的ではなく、同じものと認識できない可能性が高いから別にすべき。由来が同じでもすでに別物で、pとπのようなもの。

どこまでを同じものと認識するかは言語や文化が違えば当然異なるから、やはり統合漢字は無理がある。
もっと言えば、トルコ語アルファベットの大文字小文字の扱いや、全角半角の同一視の問題も根は同じ。
テキスト中に表を書くための罫線素片が全角と半角を統合とかアホとしか言いようがない。

**デフォルトの名無しさん** · 2021/10/02(土) 03:12:57.27

＞書き方が複数あるのは、どちらも使われていて同じものと認識されているから、字形が違うで済む

それがね、「人の名前を正確に書かないなんて失礼でしょ！」って、包摂されてるレベルの異体字を正確に表現することを求める人、結構いるんです…。
同じものだと認識してる人の範囲、実は案外狭くて、板挟みになってるところにしわ寄せがいってるだけかもしれません…。

**デフォルトの名無しさん** · 2021/10/02(土) 15:31:50.03

>>217
お前の先祖が字をちゃんと覚えて無かっただけだろが
と言ってやりたい

**デフォルトの名無しさん** · 2021/10/02(土) 15:59:11.18

先祖が字をちゃんと書かなかったせい

**デフォルトの名無しさん** · 2021/10/02(土) 16:02:15.81

だいたいの人の先祖は読み書きできないと思うが

**デフォルトの名無しさん** · 2021/10/02(土) 16:28:43.87

>>216
CJK統合が困るならサロゲートペアを使いなさい

**デフォルトの名無しさん** · 2021/10/02(土) 16:30:41.53

>>216>>217
異体字が重要なら異体字セレクタを使いなさい
Winのメモ帳、Macのテキストエディット、Adobe Readerでさえ対応してるのだから

**デフォルトの名無しさん** · 2021/10/02(土) 16:36:36.22

>>216
どの文字を同じとみなすかは
JIS X 0208の段階でも問題になってきたし
ISO-8859-*でさえ問題だった
応用ごとに同値関係を定義するしかない
たとえば
　かちょう
　がちょう
は索引で横並びかどうかなど
これは国ごとに応用ごとに違う

この辺りの知識はUnicodeのお陰で劇的に広まった
失敗がなかったなんて極端な事は言わないが
文字処理におけるUnicodeの貢献は大きい
唯一のテストベッド

最近のレスの知識レベルは20年前に戻ったかのようだ

**デフォルトの名無しさん** · 2021/10/02(土) 16:40:36.25

>>217
しわ寄せなんてもないですよ
戸籍をデジタル化した時点で
後のUnicodeの文字集合採用ルールに従えば
異体字セレクタで全て扱えるべきですし
そうなっています
典拠がいまだ見つからない文字ですら扱えるべきなんです
どこかでもう使ってるかもしれないから

**デフォルトの名無しさん** · 2021/10/02(土) 17:54:38.90

>>221
どゆこと?
サロゲートペアでCJKの字形の使い分けができるってこと?

**蟻人間** ◆T6xkBnTXz7B0 · 2021/10/02(土) 18:15:27.71

異体字セレクタ
https://ja.m.wikipedia.org/wiki/%E7%95%B0%E4%BD%93%E5%AD%97%E3%82%BB%E3%83%AC%E3%82%AF%E3%82%BF#:~:text=%E7%95%B0%E4%BD%93%E5%AD%97%E3%82%BB%E3%83%AC%E3%82%AF%E3%82%BF%20(%E8%8B%B1%3A%20Variation,(%E9%81%B8%E6%8A%9E%E5%AD%90)%20%E3%81%A7%E3%81%82%E3%82%8B%E3%80%82

**デフォルトの名無しさん** · 2021/10/02(土) 21:51:21.36

>>224
「かな漢字変換」ならぬ「漢字カナ変換」を開発ωして
年金情報ぶっ壊したのが厚生省ωω

**デフォルトの名無しさん** · 2021/10/03(日) 01:40:13.18

>>226
現状では言語によって異なる異体字 (図参照) のようなケースを異体字セレクタで区別することができない。

って書いてあるけど？

**デフォルトの名無しさん** · 2021/10/03(日) 01:55:19.75

IPAの発音記号あたり、中途半端に特定の文字だけ専用に用意するよりIPA専用記号として全部一式きれいに揃えたほうがわかりやすいんじゃないかって思うわ
どこまで普通のラテンを使っていいのか直感的じゃなさすぎてつらい

**デフォルトの名無しさん** · 2021/10/14(木) 22:08:20.62

**デフォルトの名無しさん** · 2021/10/22(金) 23:13:01.81

IEコンポーネントブラウザだと絵文字は基本的に白黒で表示されるイメージだったけど、
一部の絵文字はフルカラーになるのね。何が違うんだろう？
なんとなく、追加時期が新しいものがフルカラーになってそうなイメージ。

Unicode 6 😂
Unicode 7 🙂
Unicode 8 🤗
Unicode 9 🤧
Unicode 10 🤮
Unicode 11 🥺
Unicode 12 🥱
Unicode 13 🥲

**デフォルトの名無しさん** · 2021/10/22(金) 23:14:04.66

>>231だと7まで白黒で8からフルカラーに見える

**デフォルトの名無しさん** · 2021/10/23(土) 00:04:46.92

8以降は別のフォントが読み込まれてるんじゃないの

**デフォルトの名無しさん** · 2021/10/23(土) 03:09:26.59

>>231
こっちではこう表示されているよ。Windows10のPCでjaneStyleで見ている。
https://imgur.com/McdjAOh

**デフォルトの名無しさん** · 2021/10/23(土) 03:14:44.86

Chrome ブラウザだと顔文字が出るな。フルカラー。スマホの Android の ChMate でも同じ。
但しPCの方は Unicode 13 が□で出ている。インストールされているフォントの問題かな。

**デフォルトの名無しさん** · 2021/10/23(土) 06:25:40.37

フォントとフォントのレンダリングライブラリ（含Unicodeの処理）的な

**デフォルトの名無しさん** · 2021/10/23(土) 07:17:11.28

>>231
PC版Firefox 93、PaleMoonだとおk、
古いFirefox45だとコード番号のある□
PC版Chrome、Edge、絵文字プラグインを入れたJaneStyleだと、Unicode 13（一番下）は□

Edgeがダメとか、MS終わってるだろw

ちなみに、この文字はこれな
🥲 Smiling Face with Tear Emoji
https://emojipedia.org/smiling-face-with-tear/

**デフォルトの名無しさん** · 2021/10/23(土) 07:20:35.53

>>237
全部Unicode 13（>>231 一番下）の文字の話ね

**デフォルトの名無しさん** · 2021/10/23(土) 07:39:19.42

Firefox系では、TwemojiMozilla.ttf というフォントファイルで表示しているようだ
古いFirefoxにもこれをインストールしたら表示できたけど、その他は相変わらずダメだった
何か他の要因があるのか？

**デフォルトの名無しさん** · 2021/10/23(土) 16:38:57.04

>>236 および >>231 で表示できてる≒そのUnicodeバージョンに対応している
で説明できる感じ?

**デフォルトの名無しさん** · 2021/10/23(土) 18:50:50.60

昔はEmojiOneMozilla.ttfだったのに

**デフォルトの名無しさん** · 2021/10/23(土) 20:05:42.90

IEってかTridentは今後どうなるんだろう
新絵文字対応は更新され続けるのかな

**デフォルトの名無しさん** · 2021/10/24(日) 10:33:30.12

>>237
フォント指定したらwin10 edgeでもちゃんと表示できてるぞ
文字コードスレなんだからそのくらい試そうぜ

**デフォルトの名無しさん** · 2021/10/24(日) 19:01:46.47

今は正しいフォントを指定してない場合にも表示可能なフォントがあれば自動で代替フォントで
表示するようになってるのが多いけどね。Win 10の特定のアプリ/APIでは違うということかな。

**デフォルトの名無しさん** · 2021/10/24(日) 19:26:38.50

win10でもフォールバックするけど

**デフォルトの名無しさん** · 2021/10/24(日) 20:49:14.92

絵文字系のフォントを指定すれば表示できたとしても
普通の文字はどうするんだ、ということになるな

**デフォルトの名無しさん** · 2021/10/24(日) 23:53:02.47

フォールバックするんやろ(適当

**デフォルトの名無しさん** · 2021/10/28(木) 01:13:38.65

Ken先生は8月付けでApple所属になったのか

**デフォルトの名無しさん** · 2021/10/28(木) 09:40:10.38

ほんとだ、フォントデベロッパーって（別にシャレのつもりはない）

まあフォントのデザイナーではないだろうから、Notoみたいに各言語のグリフが統合されたような
フォントセットを作るぞーとかそんなノリ?

**デフォルトの名無しさん** · 2021/10/28(木) 12:07:23.11

Windows11 で(一部の)設定ファイル等が BOM無しUTF-8に変わったみたいな話が聞こえてきてるけど、文字コードまわりはどんな感じ？
お前のマシンは古すぎるので11は無理っていわれて試せないので誰か教えて。

**デフォルトの名無しさん** · 2021/10/28(木) 14:22:37.40

\rもなくしてホスィ…

**デフォルトの名無しさん** · 2021/10/28(木) 14:32:18.28

\rはPowerShellの複数行コマンド履歴を履歴ファイルConsoleHost_history.txtに保持するために必要だよ
ConsoleHost_history.txtはWindows10でもBOM無しUTF-8だよ
Powershellを開いて explorer /select,(Get-PSReadLineOption).HistorySavePath で見つかるはず

**デフォルトの名無しさん** · 2021/10/28(木) 14:40:01.21

厳密に言うと、(Get-PSReadLineOption).HistorySavePathでは普通の改行は\r\nで複数行にまたがる時に\nが使われている
\rがあればこそできる使い分け

**デフォルトの名無しさん** · 2021/10/28(木) 14:45:59.31

ConsoleHost_history.txt は CRLF だったが
\r を無くせってのは単独の CR を無くせって意味か？

**デフォルトの名無しさん** · 2021/10/28(木) 18:48:48.50

ネットワークプロトコルの世界ではCRLF（\r\n）だから、
改行コードが統一されることはないだろうな

**デフォルトの名無しさん** · 2021/10/29(金) 19:45:33.13

>>254
単独のやつはいらんな

**デフォルトの名無しさん** · 2021/10/30(土) 01:27:33.12

㏍という組文字がすっかり今までと違う使われ方されるようになったンだわ

**デフォルトの名無しさん** · 2021/10/30(土) 10:06:13.76

K.駆け落ち
K.結婚

**デフォルトの名無しさん** · 2021/10/30(土) 16:30:56.75

糞フェミ
きめえ

**デフォルトの名無しさん** · 2021/10/31(日) 13:55:05.18

「ヒモを育てる」(紐育)と書いてニューヨークと読む

**デフォルトの名無しさん** · 2021/11/01(月) 02:13:53.02

夜露死苦は夜の露は死ぬほど苦しいという意味

**デフォルトの名無しさん** · 2021/11/02(火) 00:54:58.45

辛苦了

**デフォルトの名無しさん** · 2021/11/02(火) 20:43:57.92

ソースコードに脆弱性を潜ませられるUnicode悪用攻撃法「Trojan Source」を研究者が発表
https://www.itmedia.co.jp/news/articles/2111/02/news155.html

**デフォルトの名無しさん** · 2021/11/07(日) 14:55:37.70

test
[🏳‍🌈] F09F8FB3 EFB88F E2808D F09F8C88 (Rainbow Flag)
[🏳] F09F8FB3 (U+1F3F3 Flag)
[VS-16] EFB88F (U+FE0F Variation Selector)
[ZWJ] E2808D (U+200D ZERO Width Joiner)
[🌈] F09F8C88 (U+1F308 Rainbow)

**ハノン** ◆QZaw55cn4c · 2021/11/07(日) 15:09:59.30

>>263
winny や share で exe ファイルを踏ませるために共有するファイルのファイル名に小細工をするやり方として10年前には流行っていたやり方ですね
パクリ論文もいいところ、ケンブリッジも堕ちたものですねえ…

**デフォルトの名無しさん** · 2021/11/10(水) 09:56:00.72

堕ちたのは査読者

**デフォルトの名無しさん** · 2021/11/10(水) 10:33:35.74

具体的な手法が各言語にはどのように適用できて、どのエディターが是弱で、どのエディターが対策できてるか、とかはちゃんとした研究だと思うが？
ニュース記事とかはどこが新規なのか曖昧にして、注目を集めたりするので中身を追いかけないと。

**デフォルトの名無しさん** · 2021/11/10(水) 11:33:12.67

UTF7

**デフォルトの名無しさん** · 2021/11/22(月) 12:06:32.94

初めて正しい情報に遭遇した気がする
https://onihusube.hatenaぶろぐ.com/entry/2020/04/03/211442

**デフォルトの名無しさん** · 2021/12/03(金) 02:21:47.01

Mecab用の新語辞書mecab-ipadic-NEologdを使ってるンだが、mecabコマンドを-Oyomi オプションつきで呼ぶと、komuroが「コームロコーポレーション」に変換されて困るンだわ

**デフォルトの名無しさん** · 2021/12/03(金) 02:35:02.96

komuroが以下のように解析されてしまうンだわ

ko 名詞,固有名詞,人名,一般,*,*,ko,コー,コー
muro 名詞,固有名詞,組織,*,*,*,ムロコーポレーション,ムロコーポレーション,ムロコーポレーション

**デフォルトの名無しさん** · 2021/12/05(日) 20:59:02.28

Regional Indicator (国旗絵文字)
https://ufcpp.net/blog/2021/12/regional-indicator/

**デフォルトの名無しさん** · 2021/12/08(水) 09:58:49.76

>>271
辞書を自分で編集したらいいんじゃないの?

**デフォルトの名無しさん** · 2021/12/09(木) 05:57:45.36

>>273
無論、英語力は話すまでもない
とっくにしてるンだわ
komuroのほかにもC++のキーワード「iostream」が「ioストリーム」と変換されたりとか色々厄介なンだわ

**デフォルトの名無しさん** · 2021/12/09(木) 17:55:46.28

それって文字コード関係あるの？

**デフォルトの名無しさん** · 2021/12/13(月) 16:15:10.59

フォルダを意味する絵文字とファイルを意味する絵文字があれば味気ないlsコマンドが少しはにぎやかになると思うんだ

**デフォルトの名無しさん** · 2021/12/13(月) 17:26:54.96

>>276
コマンドラインの出力に emoji 使うのは迷惑極まるのでやめろ。そんなやつは素直にGUIでも使ってろ。

**デフォルトの名無しさん** · 2021/12/13(月) 19:51:50.85

最近は絵文字使うコマンドラインツールが増えてきた気がする。特にmac
確かに見やすいし仮に表示できなくても豆腐が見えるだけだし別にいいんじゃね
Net-Unicode規格？に従ってるかはよくわからん

**デフォルトの名無しさん** · 2021/12/13(月) 21:15:32.31

📁
📂

**デフォルトの名無しさん** · 2021/12/13(月) 22:52:29.78

ふと気付いたが豆腐そのものの絵文字ってないんだな

グリフがない文字の通称、あるいはtofu on fireと、豆腐と文字コードは縁が深いのに

**デフォルトの名無しさん** · 2021/12/14(火) 02:29:21.85

ANSI Colorによる強調を使わずに絵文字による強調を使うのが主流になっていきそうな気がするよ
例えば、ビルドログのエラーをパイプリダイレクト先でも強調したい時に気軽に使える
⛔ build failed

**デフォルトの名無しさん** · 2021/12/14(火) 02:46:27.66

以下の文字は、とりあえず色付き絵文字で注目させたい時に使えそう
🔴 🔵 🔶 🔷 🔸 🔹 🟠 🟡 🟢 🟣 🟤 🟥 🟦 🟧 🟨 🟩 🟪 🟫

**デフォルトの名無しさん** · 2021/12/14(火) 08:38:06.25

>>280
notoは名前変えなきゃいけなくなるじゃん

**デフォルトの名無しさん** · 2021/12/14(火) 17:31:45.84

📛 build failed

**デフォルトの名無しさん** · 2021/12/14(火) 17:35:31.31

💮 Build Success

**デフォルトの名無しさん** · 2021/12/14(火) 17:46:34.82

⛔天下一品

**デフォルトの名無しさん** · 2021/12/14(火) 19:25:55.56

一私企業が文字コードを独占利用するなんて横暴だ
〠
🚅
㍾

**デフォルトの名無しさん** · 2021/12/14(火) 21:05:37.79

〄
↑これ永遠にこのまま変わらないのかね

**デフォルトの名無しさん** · 2021/12/14(火) 21:05:55.66

〄
こうか

**デフォルトの名無しさん** · 2021/12/14(火) 21:25:02.47

✅ Build Success
💯 Build Success
絵文字の意味よりも色が重要かも

**デフォルトの名無しさん** · 2021/12/16(木) 00:51:31.68

100があるなら0～99もあるべきではないか

**デフォルトの名無しさん** · 2021/12/16(木) 03:24:30.66

💮 WHITE FLOWER (U+1F4AE)は、macOSとiOSの場合「大変よくできました」って日本語が縦書きされてるんだよな

**デフォルトの名無しさん** · 2021/12/17(金) 02:09:05.04

興味深い

**デフォルトの名無しさん** · 2021/12/17(金) 11:47:44.47

>>292
元の絵文字は「花丸」だった。赤ペンでぐるぐる丸を書く感じの。
Mac上でグリフがデザインされたとき、やや拡大解釈気味に「大変よくできました」の花の
スタンプになった。
その後他社はこれに引きずられたのか、赤線で花のイラストにした。結局Unicodeの名前も
White Flowerになってしまった。

これとおんなじかと https://youtu.be/8guQ43WGcjQ?t=268

**デフォルトの名無しさん** · 2021/12/18(土) 04:47:18.20

ゆうて鉄砲が水鉄砲になるみたいなのもあるからな
規格がどうだろうと大手がこぞって無視したらそうなってしまうのな

**デフォルトの名無しさん** · 2021/12/18(土) 05:18:07.09

読み手に色で注目を促したいだけならANSI Colorみたいに文字列そのものの色を変える必要ないんだよな
文字列の手前に色付き絵文字を配置するだけでも同じ効果があるので、例えば重要な情報がログが埋もれてしまうのを緩和できる

**デフォルトの名無しさん** · 2021/12/18(土) 17:09:34.24

https://emojipedia.org/white-flower/ の記述を信じると「大変よくできました」が
入っているデザインがMSも含めて半分ぐらいあるけど、自分のWin10で軽く試すと
花の真ん中はただの点々だなあ。

**デフォルトの名無しさん** · 2021/12/18(土) 18:10:37.82

>>296
今時のテキストエディタは絵文字ちゃんと表示できるし、その方向はいいなあ

**デフォルトの名無しさん** · 2021/12/18(土) 18:41:26.04

以前ログを何かのチャット経由で送ってもらったら、勝手に絵文字に変換するフィルターが
かかっていたようで、えらいことになってた
たとえばdebugという文字列が虫の絵になってたりして、面白くてログの内容が入ってこなかった

**デフォルトの名無しさん** · 2021/12/18(土) 21:46:25.14

大昔ここでもそういうやつの話題見たことあるな
Webフォントで、絵文字に対応する英単語ごとに複数文字の合字として入ってるの
やっぱ弊害のほうが大きいよな

**デフォルトの名無しさん** · 2021/12/18(土) 22:36:51.82

勝手に置換するのが問題であって絵文字は関係ないがな

**デフォルトの名無しさん** · 2021/12/19(日) 01:29:19.44

絵文字を使ったログというのはこういうやつかな
ttps://spin.atomicobject.com/2019/10/15/faster-debugging-emoji/

**デフォルトの名無しさん** · 2021/12/19(日) 08:18:21.32

端末の文字列を色付けする従来のANSI Colorだとパイプやリダイレクトや画面テキストコピペで情報が失われてしまうけど
絵文字だと情報が失われない利点がある

**デフォルトの名無しさん** · 2021/12/19(日) 08:46:52.31

Visual Studioでビルドしてると単色テキストでログが画面に出力されるんだけど、
コマンドプロンプトとかでmsbuild使ってビルドするとテキストが色分けされているのがわかる。
何が言いたいかというと、Visual Studioでさえログから色情報が捨てられて、もったいないことになっているよ、という話

**デフォルトの名無しさん** · 2021/12/19(日) 16:04:22.86

集計画面があるからでは？

**デフォルトの名無しさん** · 2021/12/19(日) 18:00:54.55

絵文字か... めんどくさい。
文字コードが実質統一されたことで文字化けは減ったかも知れんが、絵文字を下手に触って
文字化け（絵化け?）する場合がありそう。

**デフォルトの名無しさん** · 2021/12/19(日) 20:08:53.97

>>306
絵文字は実害が出る前に国際化未対応の不具合を見つけるのに役立ってきたよ
ま、絵文字が化けることそれ自体が実害だというなら実害なのかもしれんが

🛠工事中
🛠工事中