文字コード総合スレ part13

**デフォルトの名無しさん** · 2020/07/03(金) 20:53:47.08

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/

**デフォルトの名無しさん** · 2021/10/23(土) 20:05:42.90

IEってかTridentは今後どうなるんだろう
新絵文字対応は更新され続けるのかな

**デフォルトの名無しさん** · 2021/10/24(日) 10:33:30.12

>>237
フォント指定したらwin10 edgeでもちゃんと表示できてるぞ
文字コードスレなんだからそのくらい試そうぜ

**デフォルトの名無しさん** · 2021/10/24(日) 19:01:46.47

今は正しいフォントを指定してない場合にも表示可能なフォントがあれば自動で代替フォントで
表示するようになってるのが多いけどね。Win 10の特定のアプリ/APIでは違うということかな。

**デフォルトの名無しさん** · 2021/10/24(日) 19:26:38.50

win10でもフォールバックするけど

**デフォルトの名無しさん** · 2021/10/24(日) 20:49:14.92

絵文字系のフォントを指定すれば表示できたとしても
普通の文字はどうするんだ、ということになるな

**デフォルトの名無しさん** · 2021/10/24(日) 23:53:02.47

フォールバックするんやろ(適当

**デフォルトの名無しさん** · 2021/10/28(木) 01:13:38.65

Ken先生は8月付けでApple所属になったのか

**デフォルトの名無しさん** · 2021/10/28(木) 09:40:10.38

ほんとだ、フォントデベロッパーって（別にシャレのつもりはない）

まあフォントのデザイナーではないだろうから、Notoみたいに各言語のグリフが統合されたような
フォントセットを作るぞーとかそんなノリ?

**デフォルトの名無しさん** · 2021/10/28(木) 12:07:23.11

Windows11 で(一部の)設定ファイル等が BOM無しUTF-8に変わったみたいな話が聞こえてきてるけど、文字コードまわりはどんな感じ？
お前のマシンは古すぎるので11は無理っていわれて試せないので誰か教えて。

**デフォルトの名無しさん** · 2021/10/28(木) 14:22:37.40

\rもなくしてホスィ…

**デフォルトの名無しさん** · 2021/10/28(木) 14:32:18.28

\rはPowerShellの複数行コマンド履歴を履歴ファイルConsoleHost_history.txtに保持するために必要だよ
ConsoleHost_history.txtはWindows10でもBOM無しUTF-8だよ
Powershellを開いて explorer /select,(Get-PSReadLineOption).HistorySavePath で見つかるはず

**デフォルトの名無しさん** · 2021/10/28(木) 14:40:01.21

厳密に言うと、(Get-PSReadLineOption).HistorySavePathでは普通の改行は\r\nで複数行にまたがる時に\nが使われている
\rがあればこそできる使い分け

**デフォルトの名無しさん** · 2021/10/28(木) 14:45:59.31

ConsoleHost_history.txt は CRLF だったが
\r を無くせってのは単独の CR を無くせって意味か？

**デフォルトの名無しさん** · 2021/10/28(木) 18:48:48.50

ネットワークプロトコルの世界ではCRLF（\r\n）だから、
改行コードが統一されることはないだろうな

**デフォルトの名無しさん** · 2021/10/29(金) 19:45:33.13

>>254
単独のやつはいらんな

**デフォルトの名無しさん** · 2021/10/30(土) 01:27:33.12

㏍という組文字がすっかり今までと違う使われ方されるようになったンだわ

**デフォルトの名無しさん** · 2021/10/30(土) 10:06:13.76

K.駆け落ち
K.結婚

**デフォルトの名無しさん** · 2021/10/30(土) 16:30:56.75

糞フェミ
きめえ

**デフォルトの名無しさん** · 2021/10/31(日) 13:55:05.18

「ヒモを育てる」(紐育)と書いてニューヨークと読む

**デフォルトの名無しさん** · 2021/11/01(月) 02:13:53.02

夜露死苦は夜の露は死ぬほど苦しいという意味

**デフォルトの名無しさん** · 2021/11/02(火) 00:54:58.45

辛苦了

**デフォルトの名無しさん** · 2021/11/02(火) 20:43:57.92

ソースコードに脆弱性を潜ませられるUnicode悪用攻撃法「Trojan Source」を研究者が発表
https://www.itmedia.co.jp/news/articles/2111/02/news155.html

**デフォルトの名無しさん** · 2021/11/07(日) 14:55:37.70

test
[🏳‍🌈] F09F8FB3 EFB88F E2808D F09F8C88 (Rainbow Flag)
[🏳] F09F8FB3 (U+1F3F3 Flag)
[VS-16] EFB88F (U+FE0F Variation Selector)
[ZWJ] E2808D (U+200D ZERO Width Joiner)
[🌈] F09F8C88 (U+1F308 Rainbow)

**ハノン** ◆QZaw55cn4c · 2021/11/07(日) 15:09:59.30

>>263
winny や share で exe ファイルを踏ませるために共有するファイルのファイル名に小細工をするやり方として10年前には流行っていたやり方ですね
パクリ論文もいいところ、ケンブリッジも堕ちたものですねえ…

**デフォルトの名無しさん** · 2021/11/10(水) 09:56:00.72

堕ちたのは査読者

**デフォルトの名無しさん** · 2021/11/10(水) 10:33:35.74

具体的な手法が各言語にはどのように適用できて、どのエディターが是弱で、どのエディターが対策できてるか、とかはちゃんとした研究だと思うが？
ニュース記事とかはどこが新規なのか曖昧にして、注目を集めたりするので中身を追いかけないと。

**デフォルトの名無しさん** · 2021/11/10(水) 11:33:12.67

UTF7

**デフォルトの名無しさん** · 2021/11/22(月) 12:06:32.94

初めて正しい情報に遭遇した気がする
https://onihusube.hatenaぶろぐ.com/entry/2020/04/03/211442

**デフォルトの名無しさん** · 2021/12/03(金) 02:21:47.01

Mecab用の新語辞書mecab-ipadic-NEologdを使ってるンだが、mecabコマンドを-Oyomi オプションつきで呼ぶと、komuroが「コームロコーポレーション」に変換されて困るンだわ

**デフォルトの名無しさん** · 2021/12/03(金) 02:35:02.96

komuroが以下のように解析されてしまうンだわ

ko 名詞,固有名詞,人名,一般,*,*,ko,コー,コー
muro 名詞,固有名詞,組織,*,*,*,ムロコーポレーション,ムロコーポレーション,ムロコーポレーション

**デフォルトの名無しさん** · 2021/12/05(日) 20:59:02.28

Regional Indicator (国旗絵文字)
https://ufcpp.net/blog/2021/12/regional-indicator/

**デフォルトの名無しさん** · 2021/12/08(水) 09:58:49.76

>>271
辞書を自分で編集したらいいんじゃないの?

**デフォルトの名無しさん** · 2021/12/09(木) 05:57:45.36

>>273
無論、英語力は話すまでもない
とっくにしてるンだわ
komuroのほかにもC++のキーワード「iostream」が「ioストリーム」と変換されたりとか色々厄介なンだわ

**デフォルトの名無しさん** · 2021/12/09(木) 17:55:46.28

それって文字コード関係あるの？

**デフォルトの名無しさん** · 2021/12/13(月) 16:15:10.59

フォルダを意味する絵文字とファイルを意味する絵文字があれば味気ないlsコマンドが少しはにぎやかになると思うんだ

**デフォルトの名無しさん** · 2021/12/13(月) 17:26:54.96

>>276
コマンドラインの出力に emoji 使うのは迷惑極まるのでやめろ。そんなやつは素直にGUIでも使ってろ。

**デフォルトの名無しさん** · 2021/12/13(月) 19:51:50.85

最近は絵文字使うコマンドラインツールが増えてきた気がする。特にmac
確かに見やすいし仮に表示できなくても豆腐が見えるだけだし別にいいんじゃね
Net-Unicode規格？に従ってるかはよくわからん

**デフォルトの名無しさん** · 2021/12/13(月) 21:15:32.31

📁
📂

**デフォルトの名無しさん** · 2021/12/13(月) 22:52:29.78

ふと気付いたが豆腐そのものの絵文字ってないんだな

グリフがない文字の通称、あるいはtofu on fireと、豆腐と文字コードは縁が深いのに

**デフォルトの名無しさん** · 2021/12/14(火) 02:29:21.85

ANSI Colorによる強調を使わずに絵文字による強調を使うのが主流になっていきそうな気がするよ
例えば、ビルドログのエラーをパイプリダイレクト先でも強調したい時に気軽に使える
⛔ build failed

**デフォルトの名無しさん** · 2021/12/14(火) 02:46:27.66

以下の文字は、とりあえず色付き絵文字で注目させたい時に使えそう
🔴 🔵 🔶 🔷 🔸 🔹 🟠 🟡 🟢 🟣 🟤 🟥 🟦 🟧 🟨 🟩 🟪 🟫

**デフォルトの名無しさん** · 2021/12/14(火) 08:38:06.25

>>280
notoは名前変えなきゃいけなくなるじゃん

**デフォルトの名無しさん** · 2021/12/14(火) 17:31:45.84

📛 build failed

**デフォルトの名無しさん** · 2021/12/14(火) 17:35:31.31

💮 Build Success

**デフォルトの名無しさん** · 2021/12/14(火) 17:46:34.82

⛔天下一品

**デフォルトの名無しさん** · 2021/12/14(火) 19:25:55.56

一私企業が文字コードを独占利用するなんて横暴だ
〠
🚅
㍾

**デフォルトの名無しさん** · 2021/12/14(火) 21:05:37.79

〄
↑これ永遠にこのまま変わらないのかね

**デフォルトの名無しさん** · 2021/12/14(火) 21:05:55.66

〄
こうか

**デフォルトの名無しさん** · 2021/12/14(火) 21:25:02.47

✅ Build Success
💯 Build Success
絵文字の意味よりも色が重要かも

**デフォルトの名無しさん** · 2021/12/16(木) 00:51:31.68

100があるなら0～99もあるべきではないか

**デフォルトの名無しさん** · 2021/12/16(木) 03:24:30.66

💮 WHITE FLOWER (U+1F4AE)は、macOSとiOSの場合「大変よくできました」って日本語が縦書きされてるんだよな

**デフォルトの名無しさん** · 2021/12/17(金) 02:09:05.04

興味深い

**デフォルトの名無しさん** · 2021/12/17(金) 11:47:44.47

>>292
元の絵文字は「花丸」だった。赤ペンでぐるぐる丸を書く感じの。
Mac上でグリフがデザインされたとき、やや拡大解釈気味に「大変よくできました」の花の
スタンプになった。
その後他社はこれに引きずられたのか、赤線で花のイラストにした。結局Unicodeの名前も
White Flowerになってしまった。

これとおんなじかと https://youtu.be/8guQ43WGcjQ?t=268

**デフォルトの名無しさん** · 2021/12/18(土) 04:47:18.20

ゆうて鉄砲が水鉄砲になるみたいなのもあるからな
規格がどうだろうと大手がこぞって無視したらそうなってしまうのな

**デフォルトの名無しさん** · 2021/12/18(土) 05:18:07.09

読み手に色で注目を促したいだけならANSI Colorみたいに文字列そのものの色を変える必要ないんだよな
文字列の手前に色付き絵文字を配置するだけでも同じ効果があるので、例えば重要な情報がログが埋もれてしまうのを緩和できる

**デフォルトの名無しさん** · 2021/12/18(土) 17:09:34.24

https://emojipedia.org/white-flower/ の記述を信じると「大変よくできました」が
入っているデザインがMSも含めて半分ぐらいあるけど、自分のWin10で軽く試すと
花の真ん中はただの点々だなあ。

**デフォルトの名無しさん** · 2021/12/18(土) 18:10:37.82

>>296
今時のテキストエディタは絵文字ちゃんと表示できるし、その方向はいいなあ

**デフォルトの名無しさん** · 2021/12/18(土) 18:41:26.04

以前ログを何かのチャット経由で送ってもらったら、勝手に絵文字に変換するフィルターが
かかっていたようで、えらいことになってた
たとえばdebugという文字列が虫の絵になってたりして、面白くてログの内容が入ってこなかった

**デフォルトの名無しさん** · 2021/12/18(土) 21:46:25.14

大昔ここでもそういうやつの話題見たことあるな
Webフォントで、絵文字に対応する英単語ごとに複数文字の合字として入ってるの
やっぱ弊害のほうが大きいよな

**デフォルトの名無しさん** · 2021/12/18(土) 22:36:51.82

勝手に置換するのが問題であって絵文字は関係ないがな

**デフォルトの名無しさん** · 2021/12/19(日) 01:29:19.44

絵文字を使ったログというのはこういうやつかな
ttps://spin.atomicobject.com/2019/10/15/faster-debugging-emoji/

**デフォルトの名無しさん** · 2021/12/19(日) 08:18:21.32

端末の文字列を色付けする従来のANSI Colorだとパイプやリダイレクトや画面テキストコピペで情報が失われてしまうけど
絵文字だと情報が失われない利点がある

**デフォルトの名無しさん** · 2021/12/19(日) 08:46:52.31

Visual Studioでビルドしてると単色テキストでログが画面に出力されるんだけど、
コマンドプロンプトとかでmsbuild使ってビルドするとテキストが色分けされているのがわかる。
何が言いたいかというと、Visual Studioでさえログから色情報が捨てられて、もったいないことになっているよ、という話

**デフォルトの名無しさん** · 2021/12/19(日) 16:04:22.86

集計画面があるからでは？

**デフォルトの名無しさん** · 2021/12/19(日) 18:00:54.55

絵文字か... めんどくさい。
文字コードが実質統一されたことで文字化けは減ったかも知れんが、絵文字を下手に触って
文字化け（絵化け?）する場合がありそう。

**デフォルトの名無しさん** · 2021/12/19(日) 20:08:53.97

>>306
絵文字は実害が出る前に国際化未対応の不具合を見つけるのに役立ってきたよ
ま、絵文字が化けることそれ自体が実害だというなら実害なのかもしれんが

🛠工事中
🛠工事中

**デフォルトの名無しさん** · 2021/12/20(月) 01:45:44.75

それはある

**デフォルトの名無しさん** · 2021/12/20(月) 02:33:20.46

なるほど。まあ国際化というか正しいUnicodeの扱い方? のような気もするが。
え、Unicodeを使うこと＝国際化だって? あとはやたら中立を求めてくるやつ? 文化ガーとか
肌の色ガーとか性別ガーとか。

しかし、単に「工事中」と言っても含まれるメッセージには「工事中だから入ってくんな」とか
「工事中なので待っててね）」とかがあるような。
それは後者かな。IDEとかでありがちな。前者は日本由来の🚧はどうでしょう。

**デフォルトの名無しさん** · 2021/12/20(月) 02:44:04.59

ま確かに最近はいかにICUを正しく使うかみたいな感じはある... 自分の界隈では

**デフォルトの名無しさん** · 2021/12/20(月) 06:43:37.99

Windows10だとU+1F6E0とU+FE0Fの連続で以下画像と似た絵文字が表示されるはず
https://uc-emoji.azureedge.net/orig/18/83d86f5c30039ddf01bcb271f219a2.png
2chの挙動なんか怪しい、とりあえず
🛠 U+1F6E0(ハンマーとレンチ) U+FE0F(バリエーションセレクター16) の組み合わせでハンマーとレンチ絵文字を表示するテスト
🛠

**311** · 2021/12/20(月) 06:45:57.85

再現した
どうも5ch(2chじゃなかった)に投稿する時にU+FE0F(バリエーションセレクター16)が捨てられてしまうようだ

**311** · 2021/12/20(月) 06:58:14.29

以下サイトは、U+FE0F(バリエーションセレクター16が付随したハンマーとレンチの絵文字をクリップボードにコピーできる
https://emojigraph.org/ja/hammer-and-wrench/

ちなみにWindows10標準機能の「Win+.(ドット)」ショートカットキーで利用可能な絵文字パッドで選択できるハンマーとレンチは、なぜかU+FE0Fが捨てられた状態で取得される

**デフォルトの名無しさん** · 2021/12/20(月) 10:45:36.33

Macでテスト: 🛠

**デフォルトの名無しさん** · 2021/12/20(月) 11:37:43.26

>>314
macOSやiOSの場合は、U+FE0Fなしでも色付き絵文字として見かけ上まったく同じに表示されるので区別がつきにくいね

**デフォルトの名無しさん** · 2021/12/20(月) 16:28:50.79

AndroidもmacOS,iOSと同じく「バリエーションセレクター16」なしでも「ハンマーとレンチ」を色付き表示できている
「バリエーションセレクター16」の有無で「ハンマーとレンチ」の表示が異なることを確認できているのはWindows10のみ
他のOSは手元にないのでわからない

**デフォルトの名無しさん** · 2021/12/21(火) 03:44:56.69

ううむこれはまた

**デフォルトの名無しさん** · 2021/12/21(火) 03:59:02.76

>>315
ちな逆にVS15(U+FE0E)でテキストスタイルにできるけど、これはならないな、俺環では。
これに関しては絵文字でしか持っていないということかな?
テキストスタイルで持ってるフォントをインストールしたら違うとか。

**デフォルトの名無しさん** · 2021/12/21(火) 04:09:54.96

>>280
豆腐のグリフはあるからいいんじゃないですか

**デフォルトの名無しさん** · 2021/12/21(火) 07:31:46.91

色付き絵文字のデザインは各ベンダーが独自性にこだわってくれても構わないんだが、
色付き絵文字になるかどうかの規則性だけは統一してほしい

**デフォルトの名無しさん** · 2021/12/21(火) 07:40:59.61

OSベンダーとは別にFireFoxなどWebブラウザベンダーも独自に絵文字対応しており、以下の文字列が国旗で表示される
🇦🇨 🇦🇩 🇦🇪 🇦🇫 🇦🇬 🇦🇮 🇦🇱 🇦🇲

**デフォルトの名無しさん** · 2021/12/22(水) 03:27:49.45

マイクロソフトはやってくれないの

**デフォルトの名無しさん** · 2021/12/23(木) 14:43:01.09

Windowsシステムでの国旗の絵文字はアルファベットで示すのはなぜ？
https://www.emojiall.com/ja/blog/321

すべての「国」が国際的に承認されるわけではなく、地域の旗も公式と非公式に分ける場合があります。Microsoftは国際テック企業として、政治的な問題や紛争を避けるため、いっそそれらの旗の絵文字を地域インジケーターシンボルで表示すると決定しました。

**デフォルトの名無しさん** · 2021/12/23(木) 15:13:05.23

>>304
vscodeに関しては知らんけど、コンソールへ出力吐いたりフィルタ的なプログラムは大体オプションで選べるようになってるはず
出力先がターミナルならスルーして、それ以外なら落とすのがデフォルト動作であることが多い

**デフォルトの名無しさん** · 2021/12/24(金) 04:25:34.61

なんか下位区分の地域コードってイギリスだけなん？
日本の都道府県も使えるようになれば神奈川県旗とかいろいろ使い勝手がよさそうだと思うんだけど

**デフォルトの名無しさん** · 2021/12/29(水) 14:33:10.51

誰こんな絵文字作ったの…
⌬

**デフォルトの名無しさん** · 2021/12/29(水) 16:06:37.53

安息香酸置いときますね
⌬-COOH

**デフォルトの名無しさん** · 2021/12/29(水) 18:33:37.38

シクロヘキサノール置いときますね
⎔-OH
⬡-OH

**デフォルトの名無しさん** · 2021/12/30(木) 00:57:43.00

フラーレンもあったぞ⚽

**デフォルトの名無しさん** · 2021/12/30(木) 14:03:40.49

フラーレンはトモダチ！

**デフォルトの名無しさん** · 2021/12/30(木) 21:33:42.26

COOH-?-COOH
パラしか書けんな

**デフォルトの名無しさん** · 2021/12/30(木) 23:39:41.16

もう何も書けない

**デフォルトの名無しさん** · 2022/01/01(土) 01:18:33.10

🎍あけましておめでとうございます🎍

意外と鏡餅の絵文字ってないのですね🤔

**デフォルトの名無しさん** · 2022/01/02(日) 13:07:53.96

お正月絵文字
https://lets-emoji.com/newyear-emoji/

このページには凧が書いてないな(正月に限ったものではないが)。
U+1FA81 が凧ね。

鏡餅と独楽はUnicodeにないので欲しいところだ。

**デフォルトの名無しさん** · 2022/01/02(日) 23:04:36.47

めんこ入れて

**デフォルトの名無しさん** · 2022/01/06(木) 07:59:23.44

絵文字でやたら日本ぽいものは一番最初のときに入ったやつだろうなあ。
めんことか、ローカル文化的な絵文字を入れるのは今ってどうなんだろう。

そういえばベーゴマは形を変えベイブレードという名前になりアニメ化され
日本以外にも広まりつつあるので、いつか絵文字になる可能性が??

**デフォルトの名無しさん** · 2022/01/06(木) 10:27:59.82

でもまあ、文字もローカル文化といえばそうか

**デフォルトの名無しさん** · 2022/01/06(木) 10:35:57.05

何せUnicodeの絵文字の名前は日本語読みの emoji だもんな。英語圏ではちょっと誤解されてるようではあるが。
https://youpouch.com/2017/06/20/440108/

**デフォルトの名無しさん** · 2022/01/06(木) 11:54:37.73

オフィス系アプリでフィルタの意味で使われることが多い漏斗の絵文字があってもよさそうなのにないね、漏斗

**デフォルトの名無しさん** · 2022/01/07(金) 23:48:02.46

あれロートだったんか
なんやこれって思ってた

**デフォルトの名無しさん** · 2022/01/08(土) 05:10:39.79

💾を「保存」メニューで見ても意味不明のまま使っている人も多いんだろうなあ。
他にもあるだろうか。