文字コード総合スレ part13

**デフォルトの名無しさん** · 2020/07/03(金) 20:53:47.08

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/

**デフォルトの名無しさん** · 2022/01/02(日) 13:07:53.96

お正月絵文字
https://lets-emoji.com/newyear-emoji/

このページには凧が書いてないな(正月に限ったものではないが)。
U+1FA81 が凧ね。

鏡餅と独楽はUnicodeにないので欲しいところだ。

**デフォルトの名無しさん** · 2022/01/02(日) 23:04:36.47

めんこ入れて

**デフォルトの名無しさん** · 2022/01/06(木) 07:59:23.44

絵文字でやたら日本ぽいものは一番最初のときに入ったやつだろうなあ。
めんことか、ローカル文化的な絵文字を入れるのは今ってどうなんだろう。

そういえばベーゴマは形を変えベイブレードという名前になりアニメ化され
日本以外にも広まりつつあるので、いつか絵文字になる可能性が??

**デフォルトの名無しさん** · 2022/01/06(木) 10:27:59.82

でもまあ、文字もローカル文化といえばそうか

**デフォルトの名無しさん** · 2022/01/06(木) 10:35:57.05

何せUnicodeの絵文字の名前は日本語読みの emoji だもんな。英語圏ではちょっと誤解されてるようではあるが。
https://youpouch.com/2017/06/20/440108/

**デフォルトの名無しさん** · 2022/01/06(木) 11:54:37.73

オフィス系アプリでフィルタの意味で使われることが多い漏斗の絵文字があってもよさそうなのにないね、漏斗

**デフォルトの名無しさん** · 2022/01/07(金) 23:48:02.46

あれロートだったんか
なんやこれって思ってた

**デフォルトの名無しさん** · 2022/01/08(土) 05:10:39.79

💾を「保存」メニューで見ても意味不明のまま使っている人も多いんだろうなあ。
他にもあるだろうか。

**デフォルトの名無しさん** · 2022/01/08(土) 14:04:53.25

漏斗もなんでフィルターの意味になるのか分からん

**デフォルトの名無しさん** · 2022/01/08(土) 14:55:13.39

漏斗の中にコーヒーフィルターみたいなやつ入れる

**デフォルトの名無しさん** · 2022/01/08(土) 18:15:51.46

インスタントコーヒーしか飲まない人にはわからない、と。

**デフォルトの名無しさん** · 2022/01/08(土) 19:23:00.43

理科の実験でろ過やるでしょ
今どきのナウなヤングは、やらないの？

**デフォルトの名無しさん** · 2022/01/08(土) 20:50:34.15

>>341
ちょっと話それるけど小中学生ぐらいの頃ずっと
「ダイアログ」は「選択肢がある小さいウィンドウ」、
「ウィザード」は「順番に設定させる仕組み」を表す英語なんだと思ってたわ

**デフォルトの名無しさん** · 2022/01/09(日) 01:13:06.70

もしかして日本ってもうIRGの会議に参加してない？
https://appsrv.cse.cuhk.edu.hk/~irg/irg/irg58/IRG58.htm
去年はActivity Report用に割り当てられた文書番号IRGN2455は結局使われずじまい
今年は番号割り当て自体がされていない状態

**デフォルトの名無しさん** · 2022/01/22(土) 23:28:02.81

どういうこつなの

**デフォルトの名無しさん** · 2022/01/30(日) 21:50:00.84

結論-------
UTF-8が最強

**デフォルトの名無しさん** · 2022/01/31(月) 00:20:06.51

でもutf8には冗長コードの問題があるから内部処理コードには向いてな

**デフォルトの名無しさん** · 2022/01/31(月) 00:20:17.62

かったりするよね

**デフォルトの名無しさん** · 2022/01/31(月) 00:29:24.37

UTF-16,32にも同じ問題はあるでしょ

**デフォルトの名無しさん** · 2022/01/31(月) 00:54:14.96

32にはないだろ

**デフォルトの名無しさん** · 2022/01/31(月) 12:44:12.35

互換漢字とか合成順序とかあるので重複コーディングがあるといえばある。規格を正しく運用すれば対応できる（例外あり）
一方でUTF8も規格が改定されて最短表現のみが正当とされることになったので、規格を正しく運用すれば対応できる。

**デフォルトの名無しさん** · 2022/01/31(月) 19:15:59.02

やがてストレージはPB単位が普通になりメインメモリはTBが当たり前になると、1文字が4バイトでも誰も気にしなくなる。
その時組み込み用の小さいマイコンはメモリがGB単位。SSDのストレージがTB単位。32TBで800円ぐらい。

**デフォルトの名無しさん** · 2022/01/31(月) 21:38:18.36

そういえばあの頃はまだ1文字32bitだったよね

**デフォルトの名無しさん** · 2022/01/31(月) 22:38:52.91

>>353
当分の間は問題化しないというだけであり、理論上は問題がある
time_t型が64bitになったことで桁あふれが起きる時期が先送りされたのと似た問題

**デフォルトの名無しさん** · 2022/02/01(火) 21:11:53.44

>>357
Unicodeコードポイントの最大値は未来永劫U+10FFFFであると定められているので
32bitで足りなくなることはあり得ない。

**デフォルトの名無しさん** · 2022/02/01(火) 21:16:16.71

未来永劫ではなく現時点でしょ
未来なんて誰にもわからない
👽地球外生命体とコンタクトすれば全人類だけではなく地球外生命体の文字コードも網羅しなければならなくなる

**デフォルトの名無しさん** · 2022/02/01(火) 21:23:34.67

UTF-32の話をしているのにバカな事言わないで貰えますか？

**デフォルトの名無しさん** · 2022/02/01(火) 21:38:13.10

コンソーシアムがとち狂って個人のポートレートや企業ロゴを文字コードに採用したらあっという間に枯渇できる

**デフォルトの名無しさん** · 2022/02/01(火) 22:55:38.79

>>361
多分絵文字で枯渇する気が…

**デフォルトの名無しさん** · 2022/02/01(火) 23:15:37.24

過去・現在・未来の人類ひとりひとりに固有Unicode文字を割り当てたらあっという間に枯渇できるから安心してほしい
つまり歴代天皇や君も僕も人柱だ

**デフォルトの名無しさん** · 2022/02/01(火) 23:18:23.82

妄想はそれ位にしとけ
つまらないから

**デフォルトの名無しさん** · 2022/02/02(水) 01:38:55.00

やがて emoji に埋め尽くされ32bitでは足りなくなる

**デフォルトの名無しさん** · 2022/02/02(水) 06:08:48.50

すべての人がUTF文字コードとして記録されていくなんてすばらしいじゃないか
お墓いらずだ

**デフォルトの名無しさん** · 2022/02/02(水) 21:40:22.89

マイコちゃん

**デフォルトの名無しさん** · 2022/02/02(水) 23:56:56.99

全ての人だけでなく全ての動物もやろうとして破綻

**デフォルトの名無しさん** · 2022/02/03(木) 00:02:44.44

Unicodeが共同墓地として利用される日が来ないと言い切れるか？

**デフォルトの名無しさん** · 2022/02/03(木) 08:37:22.23

👱🏿‍♀
すでに32bitに収まってないやんけ
フルカラー&ゲーミング肌色も遠くないかもねー

**デフォルトの名無しさん** · 2022/02/04(金) 00:58:17.10

やはり1文字128bit必要か

**デフォルトの名無しさん** · 2022/02/04(金) 00:59:27.52

可変長に耐えられる仕様にしろ、がFAだよ

**デフォルトの名無しさん** · 2022/02/04(金) 01:00:35.02

あ、理論上無限な可変長って意味ね

**デフォルトの名無しさん** · 2022/02/05(土) 01:16:52.31

つらE

**デフォルトの名無しさん** · 2022/02/11(金) 16:39:52.03

vimにcocプラグイン入れて:CocUpdateコマンド使うと、
以下のような点字図形文字を使った待機アニメーションが出力されるね
⠇⠋⠙⠸⠴⠦

なるほど上手いなと思ったんだけど、既知？

**デフォルトの名無しさん** · 2022/02/11(金) 18:35:39.64

マルチプラットフォームなツールなのにMac版だけ点字クルクルアニメなのを見た気がする。何だったかな

**デフォルトの名無しさん** · 2022/02/11(金) 18:47:52.13

思い出した。flutterだ

**デフォルトの名無しさん** · 2022/02/11(金) 21:33:05.23

U+2572を使えばMSゴシックなどバックスラッシュが円マークで表示されるフォントでもそれらしく表示できるので以下のように待機アニメーションが可能
╲|/-

**デフォルトの名無しさん** · 2022/02/11(金) 21:36:04.16

あー思い出した、日本ファルコムの「ザナドゥ」って名前の昔のPCゲームで魔法Needleがまさに >>378 だった
魔法の描画が特殊な文字フォントとして表示される不思議なゲームだった

**デフォルトの名無しさん** · 2022/02/12(土) 01:38:51.31

ゲームは独自文字コードの話なんかがあるとわくわくしちゃう

**デフォルトの名無しさん** · 2022/02/12(土) 02:08:09.53

TeraTerm でフォントを MSゴシックにして送受信UTF-8にして LANG=ja_JP.UTF-8 になっている Linux から

perl -e 'binmode STDOUT,":utf8";print "\x{2572}\n"'

をやったら "?" が出た。

TeraTerm いまいちだな。

**デフォルトの名無しさん** · 2022/02/12(土) 05:58:06.53

記憶補正されてたみたいなので修正。ニードルの描画はバーティカルバーとハイフンを使わない。
╲/のみ。以下が実際のゲーム画面
[PC-88] Dragon Slayer II - Xanadu (1985) (Nihon Falcom)
https://youtu.be/QcQpec98nCA?t=397

**デフォルトの名無しさん** · 2022/02/12(土) 15:46:35.31

Tera Pad も、新し目の文字には対応していない

だから漏れは、サクラエディタに移行した

**デフォルトの名無しさん** · 2022/02/12(土) 21:10:02.53

ぼくはemEditorちゃん

**デフォルトの名無しさん** · 2022/02/13(日) 05:32:46.63

今日日Windows標準アプリのメモ帳(notepad.exe)でさえ╲を表示できるというのに

**デフォルトの名無しさん** · 2022/02/13(日) 16:46:47.29

デバッグ機能をもちいてnppを開くようにしているので、
メモ帳を見ることもない（できない）

**デフォルトの名無しさん** · 2022/02/16(水) 15:51:43.42

Oo　←　オー
Οο　←　オミクロン

**デフォルトの名無しさん** · 2022/02/16(水) 18:14:50.69

U+041Eが抜けてるからやり直し

**デフォルトの名無しさん** · 2022/02/16(水) 19:28:36.79

OOoを思い出した

**デフォルトの名無しさん** · 2022/02/16(水) 20:46:32.06

仮面ライダーOOOのことか

**デフォルトの名無しさん** · 2022/02/17(木) 02:53:07.08

○ ← 丸
◯ ← 大きな丸

**デフォルトの名無しさん** · 2022/02/18(金) 23:29:32.04

〇 ← 漢数字の0

**デフォルトの名無しさん** · 2022/02/18(金) 23:40:40.63

さほど大きくない

**デフォルトの名無しさん** · 2022/02/19(土) 21:56:34.84

>>389
Oracleになって一瞬でオワコンになったねOOo。

**デフォルトの名無しさん** · 2022/02/20(日) 15:09:08.00

(;´Д`)｡ｏＯ(　　)

**デフォルトの名無しさん** · 2022/03/26(土) 20:09:02.80

今日の某クイズ系YouTuberの問題。
俺らなら朝飯前だよな？

U+25CBは何の記号？

**デフォルトの名無しさん** · 2022/03/26(土) 22:37:56.00

（´-`）.｡oO(顔文字のなんでだろう.....その１8
https://mevius.5ch.net/test/read.cgi/kao/1624068762/

**デフォルトの名無しさん** · 2022/04/01(金) 06:35:47.75

全銀の半角カナは未来永劫続くのかな

**デフォルトの名無しさん** · 2022/04/02(土) 19:11:52.31

>>383
＞Tera Pad も、新し目の文字には対応していない
あれは新しい文字とかの区分でなく表示の仕様上の理由で使えるフォントが制限されてるだけ
テキストエディタの使い勝手の思想そのものが古いツール

**デフォルトの名無しさん** · 2022/04/02(土) 20:03:45.33

>>398
スーパーとかのレシートに書かれてる品目名もそういう後方互換性で半角になってるの？

**デフォルトの名無しさん** · 2022/04/02(土) 20:12:40.94

文字コードスレなのに半角とか言ってるのどうよ

**デフォルトの名無しさん** · 2022/04/02(土) 20:15:50.54

半角カタカナって意味でしょ
>>401 は行間読めない人？

**デフォルトの名無しさん** · 2022/04/02(土) 20:26:44.01

行間じゃなくて規格読もうよ

**デフォルトの名無しさん** · 2022/04/02(土) 21:18:46.01

HALFWIDTH KATAKANAって半角じゃないの

**デフォルトの名無しさん** · 2022/04/02(土) 22:30:54.56

それ全銀とは別の、HALFWIDTHとFULLWIDTHの両方を含んでる規格の話じゃね？

**デフォルトの名無しさん** · 2022/04/02(土) 22:48:46.74

>>400
どうなんだろうね
幅が半分で長い名前を表示ときに便利ということで使われてるほうが多いんじゃないかな
数字も個々の商品の価格は半角、合計額は全角で表示してたり

**デフォルトの名無しさん** · 2022/04/02(土) 23:50:05.15

国際化意識してない日本語環境においては、
表示、印字された日本語を見て全角とか半角になってるとか言うのは特におかしいことはないよ
JIS規格（「日本語文書の組版方法」）上、正しい表現

**デフォルトの名無しさん** · 2022/04/03(日) 02:46:37.16

文字コードとフォントの違いがわかってないやつが多いな。

**デフォルトの名無しさん** · 2022/04/03(日) 07:38:29.92

>>408
例えば「小田急線に乗りたい」と息子が言ったとする。そしていざ、小田急線のホームにつくと「違う」と言い出し、乗ろうとしない。よくよく聞いてみると息子の希望は、「小田急3000型の急行小田原行きに、新宿から小田原まで乗りたい」ということだったりする。

わかるかぁ！と思ったのを思い出した

**デフォルトの名無しさん** · 2022/04/03(日) 11:41:24.29

>>403
規格にもhalfwidthあるじゃん
明らかに半角からとった名前だしそれを半角と呼ぶのはおかしくないだろ

**デフォルトの名無しさん** · 2022/04/03(日) 11:55:34.75

じゃー聞くがそもそもその半角の角て何よ

**デフォルトの名無しさん** · 2022/04/03(日) 12:11:46.89

半角二次元っていう板があるから
そこで聞いてくるといいよ

**デフォルトの名無しさん** · 2022/04/03(日) 13:00:55.07

>>412
君、頭悪いってよく言われるでしょ？

**デフォルトの名無しさん** · 2022/04/03(日) 13:40:57.13

>>406
近所のコンビニのレシートでは所在地に全角数字、電話番号に半角数字が使われ
ドラッグストアのレシートでは所在地に半角数字、電話番号に全角数字が使われてる

**デフォルトの名無しさん** · 2022/04/03(日) 13:54:58.39

>>411
半角という一つの言葉にhalf widthって訳語を当てたんだろ

**デフォルトの名無しさん** · 2022/04/03(日) 14:07:53.41

「半角」は元々は活字の半分の面積を意味する印刷業界用語だよ

**デフォルトの名無しさん** · 2022/04/03(日) 15:32:39.46

そういやなんで「角」なんだろうね？

**デフォルトの名無しさん** · 2022/04/03(日) 15:51:29.35

活字における四角形の4つの角すべてを使用するから全角

**デフォルトの名無しさん** · 2022/04/03(日) 19:33:49.94

C勉強初心者なのだが文字コードの壁にぶち当たった
日本語使わなきゃいいだけなんだろうが例題は原文が日本語だし
それを英語に直して打ち込んで、出力結果の確認も英語でやるとかしんどすぎる

**デフォルトの名無しさん** · 2022/04/03(日) 19:48:22.38

英語が得意ではない
という意味?

**デフォルトの名無しさん** · 2022/04/03(日) 19:49:40.68

間違ってC++相談室スレに書き込んでしまったので改めて書き込む

半角全角使うな厨が絶滅しますように (AA略

**デフォルトの名無しさん** · 2022/04/03(日) 19:58:36.84

>>420
そうです。英語があまり得意ではありません。
日本語の入門書で学習しているのですが、その本が特に開発環境を指定しておらず、
自分が準備した開発環境(エディタがShift-JISらしいです)で例題を打ち込むと問題が起こります。
特定の文字に対処する方法はあるようなのですが、環境を変えて根本的な解決ができないか、と調べておりましたが、
そちらも色々ややこしそうで、結局全部英語でやらなきゃいけないのかなぁ、と。

**デフォルトの名無しさん** · 2022/04/03(日) 20:12:43.82

うむ。半角使うな厨はそろそろ世の中から退場して。

**デフォルトの名無しさん** · 2022/04/03(日) 20:28:35.14

半角カナ使う人に理由をきいてみたら、1バイトでもファイルサイズを減らすためと言われたのには色々驚いた
ちなみに文字コードはUTF-8

**デフォルトの名無しさん** · 2022/04/04(月) 00:40:27.15

>>422
真っ当なエディタ使え
フリーでいいものがいくらでもあるぞ

**デフォルトの名無しさん** · 2022/04/04(月) 07:21:12.86

>>425
ありがとうございます。
もう少し調べて設定を変えてみたら、作成済のexeファイル起動したときコマンドプロンプトで文字化けが起こったので、今のままじゃ対応できなさそうな感じです。
世の中の全ソフトがUTFなら問題は起こらないんだろうなあ。

**デフォルトの名無しさん** · 2022/04/04(月) 12:19:56.00

CP932 とか、ファイルパスにUTF-16 ？とか使っているのは、Windows だけでしょ？
Linux は、UTF-8 で統一されている

全言語はLinux用

Windows用言語は、C# のみ。
特殊なのは、Windows用のネイティブアプリを作る場合だけ。

普通にウェブ開発する場合は、Linux。
サーバー・クラウド・Docker も、すべてLinuxだから

開発者がLinuxしかいない。
それでWindowsでも、WSL2 でLinuxが使えるようにした

**デフォルトの名無しさん** · 2022/04/04(月) 12:30:01.86

真面目にやりたいならwindowsしか持ってないってのはまずいってわけか
初心者向けの学習ならごまかしつつ進められるところはあるのかもしれないが

**デフォルトの名無しさん** · 2022/04/04(月) 12:53:56.30

>>400
レシートに印字できる文字数やレジに登録できる文字数に制限がある
全角で表示しきれればいいけどだいたい足りないので半角で登録する
店舗名や住所などは３行とか４行表示できたりするのでスペース文字とかで調整して印字させたりした
１０年ぐらい前の話だけどな

**デフォルトの名無しさん** · 2022/04/04(月) 13:33:42.39

Shift JISであればWindowsのコマンドプロンプトで文字化けはしない
全てが文字化けするのか"表"のように特定の文字だけ化けるのか
コンパイラは何を使っているのか等々もう少し詳しく書かないとわからん

**427** · 2022/04/04(月) 13:55:29.24

WSL2, Ubuntu 18.04 で、Ruby の1-liner なら、これで日本語文字列が表示される。
ファイルパスに日本語が含まれていても、WSL2 が変換して正常に処理される

/mnt/c は、Windows 側のCドライブ

chomp で末尾の改行を削除して、1行ずつ処理する。
:encoding "extenc:intenc" の形で、外部/内部エンコーディングを指定する

ファイルがUTF-8 の場合
ruby -e 'File.foreach( "/mnt/c/Users/Owner/Documents/ファイル.txt", chomp: true ) { |line| puts line; break }'

ファイルがCP932 の場合
ruby -e 'File.foreach( "/mnt/c/Users/Owner/Documents/ファイル.txt", encoding: "CP932:UTF-8", chomp: true ) { |line| puts line; break }'

**デフォルトの名無しさん** · 2022/04/04(月) 14:42:22.56

>>430
特定の文字だけアウトです
本格的なのは別にあるのは知ってますが勉強用なら見やすいのがいいかなと思ってEasyIDECで始めたのでコンパイラはTinyCかと思います
対策調べてたらShiftJISで書くのがそもそもの間違いみたいな話があり困っておりました

**デフォルトの名無しさん** · 2022/04/04(月) 15:48:39.38

Windows 専用の環境依存文字じゃないの？

①、丸で囲まれた1とか、
髙、はしご高とか

CP932 の文字かも。
たぶん、sjis に含まれていないのかも

Shift_JIS, CP932(Windows-31J)の違いを調べてみれば？

**デフォルトの名無しさん** · 2022/04/04(月) 19:24:33.26

>>432
多分ダメ文字だね
ソ噂浬欺圭構蚕十申曾箪貼能表暴予禄兔喀媾彌拿杤歃濬畚秉綵臀藹觸軆鐔饅鷭
は2byte目が0x5cなのでエスケープ文字と誤認識して文字化けする
ダメ文字の後に半角￥を入れることで回避はできる
printf("表\示");
Borland C++のフリーの日本語版はもう手に入らないんだっけ