文字コード総合スレ part13

**デフォルトの名無しさん** · 2020/07/03(金) 20:53:47.08

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/

**デフォルトの名無しさん** · 2022/01/31(月) 21:38:18.36

そういえばあの頃はまだ1文字32bitだったよね

**デフォルトの名無しさん** · 2022/01/31(月) 22:38:52.91

>>353
当分の間は問題化しないというだけであり、理論上は問題がある
time_t型が64bitになったことで桁あふれが起きる時期が先送りされたのと似た問題

**デフォルトの名無しさん** · 2022/02/01(火) 21:11:53.44

>>357
Unicodeコードポイントの最大値は未来永劫U+10FFFFであると定められているので
32bitで足りなくなることはあり得ない。

**デフォルトの名無しさん** · 2022/02/01(火) 21:16:16.71

未来永劫ではなく現時点でしょ
未来なんて誰にもわからない
👽地球外生命体とコンタクトすれば全人類だけではなく地球外生命体の文字コードも網羅しなければならなくなる

**デフォルトの名無しさん** · 2022/02/01(火) 21:23:34.67

UTF-32の話をしているのにバカな事言わないで貰えますか？

**デフォルトの名無しさん** · 2022/02/01(火) 21:38:13.10

コンソーシアムがとち狂って個人のポートレートや企業ロゴを文字コードに採用したらあっという間に枯渇できる

**デフォルトの名無しさん** · 2022/02/01(火) 22:55:38.79

>>361
多分絵文字で枯渇する気が…

**デフォルトの名無しさん** · 2022/02/01(火) 23:15:37.24

過去・現在・未来の人類ひとりひとりに固有Unicode文字を割り当てたらあっという間に枯渇できるから安心してほしい
つまり歴代天皇や君も僕も人柱だ

**デフォルトの名無しさん** · 2022/02/01(火) 23:18:23.82

妄想はそれ位にしとけ
つまらないから

**デフォルトの名無しさん** · 2022/02/02(水) 01:38:55.00

やがて emoji に埋め尽くされ32bitでは足りなくなる

**デフォルトの名無しさん** · 2022/02/02(水) 06:08:48.50

すべての人がUTF文字コードとして記録されていくなんてすばらしいじゃないか
お墓いらずだ

**デフォルトの名無しさん** · 2022/02/02(水) 21:40:22.89

マイコちゃん

**デフォルトの名無しさん** · 2022/02/02(水) 23:56:56.99

全ての人だけでなく全ての動物もやろうとして破綻

**デフォルトの名無しさん** · 2022/02/03(木) 00:02:44.44

Unicodeが共同墓地として利用される日が来ないと言い切れるか？

**デフォルトの名無しさん** · 2022/02/03(木) 08:37:22.23

👱🏿‍♀
すでに32bitに収まってないやんけ
フルカラー&ゲーミング肌色も遠くないかもねー

**デフォルトの名無しさん** · 2022/02/04(金) 00:58:17.10

やはり1文字128bit必要か

**デフォルトの名無しさん** · 2022/02/04(金) 00:59:27.52

可変長に耐えられる仕様にしろ、がFAだよ

**デフォルトの名無しさん** · 2022/02/04(金) 01:00:35.02

あ、理論上無限な可変長って意味ね

**デフォルトの名無しさん** · 2022/02/05(土) 01:16:52.31

つらE

**デフォルトの名無しさん** · 2022/02/11(金) 16:39:52.03

vimにcocプラグイン入れて:CocUpdateコマンド使うと、
以下のような点字図形文字を使った待機アニメーションが出力されるね
⠇⠋⠙⠸⠴⠦

なるほど上手いなと思ったんだけど、既知？

**デフォルトの名無しさん** · 2022/02/11(金) 18:35:39.64

マルチプラットフォームなツールなのにMac版だけ点字クルクルアニメなのを見た気がする。何だったかな

**デフォルトの名無しさん** · 2022/02/11(金) 18:47:52.13

思い出した。flutterだ

**デフォルトの名無しさん** · 2022/02/11(金) 21:33:05.23

U+2572を使えばMSゴシックなどバックスラッシュが円マークで表示されるフォントでもそれらしく表示できるので以下のように待機アニメーションが可能
╲|/-

**デフォルトの名無しさん** · 2022/02/11(金) 21:36:04.16

あー思い出した、日本ファルコムの「ザナドゥ」って名前の昔のPCゲームで魔法Needleがまさに >>378 だった
魔法の描画が特殊な文字フォントとして表示される不思議なゲームだった

**デフォルトの名無しさん** · 2022/02/12(土) 01:38:51.31

ゲームは独自文字コードの話なんかがあるとわくわくしちゃう

**デフォルトの名無しさん** · 2022/02/12(土) 02:08:09.53

TeraTerm でフォントを MSゴシックにして送受信UTF-8にして LANG=ja_JP.UTF-8 になっている Linux から

perl -e 'binmode STDOUT,":utf8";print "\x{2572}\n"'

をやったら "?" が出た。

TeraTerm いまいちだな。

**デフォルトの名無しさん** · 2022/02/12(土) 05:58:06.53

記憶補正されてたみたいなので修正。ニードルの描画はバーティカルバーとハイフンを使わない。
╲/のみ。以下が実際のゲーム画面
[PC-88] Dragon Slayer II - Xanadu (1985) (Nihon Falcom)
https://youtu.be/QcQpec98nCA?t=397

**デフォルトの名無しさん** · 2022/02/12(土) 15:46:35.31

Tera Pad も、新し目の文字には対応していない

だから漏れは、サクラエディタに移行した

**デフォルトの名無しさん** · 2022/02/12(土) 21:10:02.53

ぼくはemEditorちゃん

**デフォルトの名無しさん** · 2022/02/13(日) 05:32:46.63

今日日Windows標準アプリのメモ帳(notepad.exe)でさえ╲を表示できるというのに

**デフォルトの名無しさん** · 2022/02/13(日) 16:46:47.29

デバッグ機能をもちいてnppを開くようにしているので、
メモ帳を見ることもない（できない）

**デフォルトの名無しさん** · 2022/02/16(水) 15:51:43.42

Oo　←　オー
Οο　←　オミクロン

**デフォルトの名無しさん** · 2022/02/16(水) 18:14:50.69

U+041Eが抜けてるからやり直し

**デフォルトの名無しさん** · 2022/02/16(水) 19:28:36.79

OOoを思い出した

**デフォルトの名無しさん** · 2022/02/16(水) 20:46:32.06

仮面ライダーOOOのことか

**デフォルトの名無しさん** · 2022/02/17(木) 02:53:07.08

○ ← 丸
◯ ← 大きな丸

**デフォルトの名無しさん** · 2022/02/18(金) 23:29:32.04

〇 ← 漢数字の0

**デフォルトの名無しさん** · 2022/02/18(金) 23:40:40.63

さほど大きくない

**デフォルトの名無しさん** · 2022/02/19(土) 21:56:34.84

>>389
Oracleになって一瞬でオワコンになったねOOo。

**デフォルトの名無しさん** · 2022/02/20(日) 15:09:08.00

(;´Д`)｡ｏＯ(　　)

**デフォルトの名無しさん** · 2022/03/26(土) 20:09:02.80

今日の某クイズ系YouTuberの問題。
俺らなら朝飯前だよな？

U+25CBは何の記号？

**デフォルトの名無しさん** · 2022/03/26(土) 22:37:56.00

（´-`）.｡oO(顔文字のなんでだろう.....その１8
https://mevius.5ch.net/test/read.cgi/kao/1624068762/

**デフォルトの名無しさん** · 2022/04/01(金) 06:35:47.75

全銀の半角カナは未来永劫続くのかな

**デフォルトの名無しさん** · 2022/04/02(土) 19:11:52.31

>>383
＞Tera Pad も、新し目の文字には対応していない
あれは新しい文字とかの区分でなく表示の仕様上の理由で使えるフォントが制限されてるだけ
テキストエディタの使い勝手の思想そのものが古いツール

**デフォルトの名無しさん** · 2022/04/02(土) 20:03:45.33

>>398
スーパーとかのレシートに書かれてる品目名もそういう後方互換性で半角になってるの？

**デフォルトの名無しさん** · 2022/04/02(土) 20:12:40.94

文字コードスレなのに半角とか言ってるのどうよ

**デフォルトの名無しさん** · 2022/04/02(土) 20:15:50.54

半角カタカナって意味でしょ
>>401 は行間読めない人？

**デフォルトの名無しさん** · 2022/04/02(土) 20:26:44.01

行間じゃなくて規格読もうよ

**デフォルトの名無しさん** · 2022/04/02(土) 21:18:46.01

HALFWIDTH KATAKANAって半角じゃないの

**デフォルトの名無しさん** · 2022/04/02(土) 22:30:54.56

それ全銀とは別の、HALFWIDTHとFULLWIDTHの両方を含んでる規格の話じゃね？

**デフォルトの名無しさん** · 2022/04/02(土) 22:48:46.74

>>400
どうなんだろうね
幅が半分で長い名前を表示ときに便利ということで使われてるほうが多いんじゃないかな
数字も個々の商品の価格は半角、合計額は全角で表示してたり

**デフォルトの名無しさん** · 2022/04/02(土) 23:50:05.15

国際化意識してない日本語環境においては、
表示、印字された日本語を見て全角とか半角になってるとか言うのは特におかしいことはないよ
JIS規格（「日本語文書の組版方法」）上、正しい表現

**デフォルトの名無しさん** · 2022/04/03(日) 02:46:37.16

文字コードとフォントの違いがわかってないやつが多いな。

**デフォルトの名無しさん** · 2022/04/03(日) 07:38:29.92

>>408
例えば「小田急線に乗りたい」と息子が言ったとする。そしていざ、小田急線のホームにつくと「違う」と言い出し、乗ろうとしない。よくよく聞いてみると息子の希望は、「小田急3000型の急行小田原行きに、新宿から小田原まで乗りたい」ということだったりする。

わかるかぁ！と思ったのを思い出した

**デフォルトの名無しさん** · 2022/04/03(日) 11:41:24.29

>>403
規格にもhalfwidthあるじゃん
明らかに半角からとった名前だしそれを半角と呼ぶのはおかしくないだろ

**デフォルトの名無しさん** · 2022/04/03(日) 11:55:34.75

じゃー聞くがそもそもその半角の角て何よ

**デフォルトの名無しさん** · 2022/04/03(日) 12:11:46.89

半角二次元っていう板があるから
そこで聞いてくるといいよ

**デフォルトの名無しさん** · 2022/04/03(日) 13:00:55.07

>>412
君、頭悪いってよく言われるでしょ？

**デフォルトの名無しさん** · 2022/04/03(日) 13:40:57.13

>>406
近所のコンビニのレシートでは所在地に全角数字、電話番号に半角数字が使われ
ドラッグストアのレシートでは所在地に半角数字、電話番号に全角数字が使われてる

**デフォルトの名無しさん** · 2022/04/03(日) 13:54:58.39

>>411
半角という一つの言葉にhalf widthって訳語を当てたんだろ

**デフォルトの名無しさん** · 2022/04/03(日) 14:07:53.41

「半角」は元々は活字の半分の面積を意味する印刷業界用語だよ

**デフォルトの名無しさん** · 2022/04/03(日) 15:32:39.46

そういやなんで「角」なんだろうね？

**デフォルトの名無しさん** · 2022/04/03(日) 15:51:29.35

活字における四角形の4つの角すべてを使用するから全角

**デフォルトの名無しさん** · 2022/04/03(日) 19:33:49.94

C勉強初心者なのだが文字コードの壁にぶち当たった
日本語使わなきゃいいだけなんだろうが例題は原文が日本語だし
それを英語に直して打ち込んで、出力結果の確認も英語でやるとかしんどすぎる

**デフォルトの名無しさん** · 2022/04/03(日) 19:48:22.38

英語が得意ではない
という意味?

**デフォルトの名無しさん** · 2022/04/03(日) 19:49:40.68

間違ってC++相談室スレに書き込んでしまったので改めて書き込む

半角全角使うな厨が絶滅しますように (AA略

**デフォルトの名無しさん** · 2022/04/03(日) 19:58:36.84

>>420
そうです。英語があまり得意ではありません。
日本語の入門書で学習しているのですが、その本が特に開発環境を指定しておらず、
自分が準備した開発環境(エディタがShift-JISらしいです)で例題を打ち込むと問題が起こります。
特定の文字に対処する方法はあるようなのですが、環境を変えて根本的な解決ができないか、と調べておりましたが、
そちらも色々ややこしそうで、結局全部英語でやらなきゃいけないのかなぁ、と。

**デフォルトの名無しさん** · 2022/04/03(日) 20:12:43.82

うむ。半角使うな厨はそろそろ世の中から退場して。

**デフォルトの名無しさん** · 2022/04/03(日) 20:28:35.14

半角カナ使う人に理由をきいてみたら、1バイトでもファイルサイズを減らすためと言われたのには色々驚いた
ちなみに文字コードはUTF-8

**デフォルトの名無しさん** · 2022/04/04(月) 00:40:27.15

>>422
真っ当なエディタ使え
フリーでいいものがいくらでもあるぞ

**デフォルトの名無しさん** · 2022/04/04(月) 07:21:12.86

>>425
ありがとうございます。
もう少し調べて設定を変えてみたら、作成済のexeファイル起動したときコマンドプロンプトで文字化けが起こったので、今のままじゃ対応できなさそうな感じです。
世の中の全ソフトがUTFなら問題は起こらないんだろうなあ。

**デフォルトの名無しさん** · 2022/04/04(月) 12:19:56.00

CP932 とか、ファイルパスにUTF-16 ？とか使っているのは、Windows だけでしょ？
Linux は、UTF-8 で統一されている

全言語はLinux用

Windows用言語は、C# のみ。
特殊なのは、Windows用のネイティブアプリを作る場合だけ。

普通にウェブ開発する場合は、Linux。
サーバー・クラウド・Docker も、すべてLinuxだから

開発者がLinuxしかいない。
それでWindowsでも、WSL2 でLinuxが使えるようにした

**デフォルトの名無しさん** · 2022/04/04(月) 12:30:01.86

真面目にやりたいならwindowsしか持ってないってのはまずいってわけか
初心者向けの学習ならごまかしつつ進められるところはあるのかもしれないが

**デフォルトの名無しさん** · 2022/04/04(月) 12:53:56.30

>>400
レシートに印字できる文字数やレジに登録できる文字数に制限がある
全角で表示しきれればいいけどだいたい足りないので半角で登録する
店舗名や住所などは３行とか４行表示できたりするのでスペース文字とかで調整して印字させたりした
１０年ぐらい前の話だけどな

**デフォルトの名無しさん** · 2022/04/04(月) 13:33:42.39

Shift JISであればWindowsのコマンドプロンプトで文字化けはしない
全てが文字化けするのか"表"のように特定の文字だけ化けるのか
コンパイラは何を使っているのか等々もう少し詳しく書かないとわからん

**427** · 2022/04/04(月) 13:55:29.24

WSL2, Ubuntu 18.04 で、Ruby の1-liner なら、これで日本語文字列が表示される。
ファイルパスに日本語が含まれていても、WSL2 が変換して正常に処理される

/mnt/c は、Windows 側のCドライブ

chomp で末尾の改行を削除して、1行ずつ処理する。
:encoding "extenc:intenc" の形で、外部/内部エンコーディングを指定する

ファイルがUTF-8 の場合
ruby -e 'File.foreach( "/mnt/c/Users/Owner/Documents/ファイル.txt", chomp: true ) { |line| puts line; break }'

ファイルがCP932 の場合
ruby -e 'File.foreach( "/mnt/c/Users/Owner/Documents/ファイル.txt", encoding: "CP932:UTF-8", chomp: true ) { |line| puts line; break }'

**デフォルトの名無しさん** · 2022/04/04(月) 14:42:22.56

>>430
特定の文字だけアウトです
本格的なのは別にあるのは知ってますが勉強用なら見やすいのがいいかなと思ってEasyIDECで始めたのでコンパイラはTinyCかと思います
対策調べてたらShiftJISで書くのがそもそもの間違いみたいな話があり困っておりました

**デフォルトの名無しさん** · 2022/04/04(月) 15:48:39.38

Windows 専用の環境依存文字じゃないの？

①、丸で囲まれた1とか、
髙、はしご高とか

CP932 の文字かも。
たぶん、sjis に含まれていないのかも

Shift_JIS, CP932(Windows-31J)の違いを調べてみれば？

**デフォルトの名無しさん** · 2022/04/04(月) 19:24:33.26

>>432
多分ダメ文字だね
ソ噂浬欺圭構蚕十申曾箪貼能表暴予禄兔喀媾彌拿杤歃濬畚秉綵臀藹觸軆鐔饅鷭
は2byte目が0x5cなのでエスケープ文字と誤認識して文字化けする
ダメ文字の後に半角￥を入れることで回避はできる
printf("表\示");
Borland C++のフリーの日本語版はもう手に入らないんだっけ

**デフォルトの名無しさん** · 2022/04/04(月) 19:35:35.38

開発環境はVisual Studio Community使えば良いのでは

**デフォルトの名無しさん** · 2022/04/04(月) 20:00:31.30

あとはソースをUTF-8で編集してビルドしてコマンドプロンプトでchcp 65001としてUTF-8に切り替えてから実行するとか
コマンドプロンプトのフォントはMSゴシックとかにしておいた方がいいと思う

**デフォルトの名無しさん** · 2022/04/04(月) 22:38:46.29

>>427
どこのLinuxの話？

**デフォルトの名無しさん** · 2022/04/04(月) 23:02:35.76

ありがとうございます
色々考えた結果学習は>>434の方法で続けてみることにします

**デフォルトの名無しさん** · 2022/04/05(火) 00:45:07.42

>>434の方法でも同じエラーが発生する
Shift-JISがゴミであることが分かった
コマンドプロンプトからいじるの面倒だしPC買い直す余裕ないしプログラム学習おわり

**デフォルトの名無しさん** · 2022/04/05(火) 00:59:13.18

PC買い直す必要まではないのか
しかし先が思いやられるのでプログラム学習はやめにするよ
特に目標があったわけでもないし
ありがとう

**デフォルトの名無しさん** · 2022/04/05(火) 01:02:33.14

SJISのような日本ローカルのキャラクタセットを外国が意識してくれると思っている方がおかしい。

**デフォルトの名無しさん** · 2022/04/05(火) 01:07:26.62

それはそうなんだが英語力を専門書読めるレベルに上げるなんて今更無理
日本語を母語として20年生きてきた普通の人がプログラミングやるなんて無理なんじゃない？

**デフォルトの名無しさん** · 2022/04/05(火) 01:09:38.64

全てを英語で学習するのが最良なのは間違いなさそうだが
全ての日本人プログラマーがそうしてる訳ではないよな？
どこかに道はあるような気はするが…もうどうでもいいわ

**デフォルトの名無しさん** · 2022/04/05(火) 01:54:42.17

UTFで統一すればうまく行くかもしれない

**デフォルトの名無しさん** · 2022/04/05(火) 02:09:00.43

>>444
8?16?32?

**デフォルトの名無しさん** · 2022/04/05(火) 02:12:52.85

OSがwindowsで設定言語が日本語なのでどこかで詰むのではないかと不安

**デフォルトの名無しさん** · 2022/04/05(火) 14:23:19.00

ダメ文字って、20～30年前の話じゃないの？

sjis が鬼門だから、日本人開発者は皆、Mac を使う。
プログラミング学校もMac限定

Windows 10 Home 版で、
VSCode, WSL2, Linux, Docker Desktop などが出来たのは、ここ2～3年

これでようやく、WindowsがMacと争えるようになった

Microsoft がLinux技術者を大量に採用して、WindowsからLinuxへ移行したから

**427** · 2022/04/05(火) 14:39:26.06

>>427
に書いたけど、全言語がBOM無しUTF-8 で、Linux 用

だから、これ以外の物がダメ。
つまり、Windows と、sjis がダメ

クラウドのすべての基幹技術が、Docker で、
AWS, Kubernetes, CircleCI などで使われている。

DockerはLinux の技術だから、
Microsoft も、Linux Foundation に入っている

Linuxを使わないと、インターネット・コンピューターが動かない

**デフォルトの名無しさん** · 2022/04/05(火) 14:51:52.85

・日本語でプログラミングの勉強しようと思ったら基本的にwindowsは使ってはいけない
・ここ数年はwindowsでもやれないことはない
ってこと？
とはいえ未だにコマンドプロンプトは良くなさそうだし学習ストップが無難か

**デフォルトの名無しさん** · 2022/04/05(火) 14:55:24.52

自分みたいな年寄りはともかく、家にwindowsしかない普通の家庭の子どもが何かのきっかけでプログラミングに興味を持ったとき、そこから先に進む可能性を閉ざしてしまうのが日本ってことになるな

**デフォルトの名無しさん** · 2022/04/05(火) 15:24:31.00

日本語で得られる範囲は対したことが無いので、将来への不安とか考えなくても良いよ

**デフォルトの名無しさん** · 2022/04/05(火) 15:28:13.39

プログラミングの勉強する前に英語の勉強しろってことだな
手遅れ感が否めないけど

**427** · 2022/04/05(火) 16:07:16.53

すべてのシステムは、インターネット・クラウドにあるから、
それを作っているのがLinux なので、全言語はLinux用に作ってある。
だから、全言語BOM無しUTF-8 を使っている

Windows(C#), iPhone(Swift), Android(Dart)など各端末用の言語は、特殊な部類

特にWindowsは、sjis 正確にはCP932 を使っていて、
こういうエンコードを知っている外人は、まずいない

だから、外人が作ったUTF-8, Linux用のコードを、
Windows用にコンパイルしても、日本語でバグる

だから、Ruby on Rails でも、Cloud 9 でクラウド開発するか、Mac を使う。
プログラミング学校もそう

YouTube のRailsの動画でも、
Windows 10, VSCode, WSL2, Linux, Docker Desktop などは、つい最近

**427** · 2022/04/05(火) 16:18:30.45

Microsoft(MS)のCEO・バルマーが「Linux はガン」と言って毛嫌いしていたけど、
すべてのシステムがクラウド・Linux へ移行して、世の中に取り残されてしまった

MSに残ったのは、Office だけ

それで、MSはLinux技術者を大量に雇い、
Linux Foundation にも入って、Linuxに貢献することにした

それと取り残されているのが、CP932。
世界はUTF-8になっている

**デフォルトの名無しさん** · 2022/04/05(火) 16:25:00.78

バルマーって昔壇上で叫んでた変なおっさんか

それはともかく
自分が英語できなさすぎるからかも知れんがMacのUI苦手でな…
もし学習するなら普段使い用とはPC自体分けたほうが良いのかもしれんな
そんな金はないが