文字コード総合スレ Part12

**デフォルトの名無しさん** · 2018/12/17(月) 16:48:24.47

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 http://mevius.5ch.net/test/read.cgi/tech/1516629503/

**デフォルトの名無しさん** · 2021/03/31(水) 09:35:15.80

>>685
crlfで正しいと思ってるよ、まあ蛇足だった

**デフォルトの名無しさん** · 2021/03/31(水) 09:41:35.38

Officeのalt/shift+retとかで特殊な改行したりするけど、ちゃんと対応するASCII制御文字入ってたんだなと感心してしまったもんで

**デフォルトの名無しさん** · 2021/03/31(水) 10:06:28.66

表の階層化にFS, GS, RS、複数行セルにVTとか使ってるねー、面白い
echoでコピペしてみたけどこれは受け付けてくれないっぽい…残念

**デフォルトの名無しさん** · 2021/04/02(金) 14:48:41.83

メモ帳で折り返しにCR CR LF入れるとかもこの流れなのかな？

**デフォルトの名無しさん** · 2021/04/04(日) 09:56:09.95

やはりBOMは必要だな

「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話
https://qiita.com/heeroo_ymsw/items/c6e15d5f9246b4e842eb

**デフォルトの名無しさん** · 2021/04/04(日) 11:25:45.54

>>689
きになる
Format>WordWrap?だよね

折返した状態で保存みたいなオプションがあるのかな

当たり前だけど保存しても改行してない（してたらバグだw
表示上だけ入れてるのかとコピペしても拾えない
内部で描画のコントロールに使ってるということ？かな？

**デフォルトの名無しさん** · 2021/04/04(日) 11:47:39.11

>>690
要するに
UTF-8、但しASCII/sjisとの共通部分はダメ、かつ英数字のみを使いたいということね

０１２０―ＡＢＣーＸＹＺ（ユニコfull-width latin

これで要件を満たせる！

**デフォルトの名無しさん** · 2021/04/04(日) 11:59:15.19

顧客が本当に求めていたモノ…

**デフォルトの名無しさん** · 2021/04/04(日) 20:11:30.38

BOM付きだな
頭でっかちの原理主義者はいつでも間違っている

**デフォルトの名無しさん** · 2021/04/05(月) 01:33:23.71

あほ過ぎる
UTF8 や本来のSJISやEUCはASCIIの完全上位互換なのがメリットなのに BOM 入れて互換性無くすとか素人の極み。
ASCIIと互換性無くていいんなら UTF16でも使ってろ。

**デフォルトの名無しさん** · 2021/04/05(月) 01:40:26.92

その考え方がそもそもの間違いだわ

**デフォルトの名無しさん** · 2021/04/05(月) 01:48:11.31

全角で納品したら楽しそうだからそれで

**デフォルトの名無しさん** · 2021/04/05(月) 07:02:33.51

ファイル名にいちいちBOMが入ってて、ASCII で書かれたファイル名と、UTF8で書かれたファイル名が、別ファイルとして扱われる世界。
考えただけでも吐き気がする。

**デフォルトの名無しさん** · 2021/04/05(月) 08:21:19.81

ファイル名にBOM入れる奴はさすがにいないだろ…
いないよね？

**デフォルトの名無しさん** · 2021/04/05(月) 09:04:19.64

BOMは"ファイル"に入れるのは別に悪くないと思ってる
明示できるものは明示すべきだろう、何でもutf-8の時代になりつつあるから、むしろ他のutfやsjis/eucに入れるのが時代にそぐう
もはやBOMじゃなくて単なるマジックナンバーだが

ファイル名…ってのは正直思いつかなかった
でもBOM付きの細かいテキストを文字列として継ぎ接ぎした時にトリムするのが面倒だった経験があるわ
やはりマジックナンバー、テキストファイル=マジックナンバー+テキストとして扱うべき
テキストファイル以外に付けるのは勘弁

**デフォルトの名無しさん** · 2021/04/05(月) 11:09:52.26

そりゃ仕様できっちりとBOMを入れませんと
なってるものにBOMを入れる必要ないだろ

テキストファイルの場合はいろんな文字コードが
歴史的な経緯で許可されてるフォーマットだから
BOMをファイル形式を判断するヘッダとし
て利用するというだけであって

**デフォルトの名無しさん** · 2021/04/05(月) 11:12:15.44

>>695
BOMはテキストファイルにおいて文字コードを判別するための仕組み
BOMによってSJISやEUCではないと判別できるのに
互換性がなんの関係があるのか？
SJISやEUCと互換性がないからこそ、文字コードを判別するのに利用できる

**デフォルトの名無しさん** · 2021/04/05(月) 11:51:41.26

なんで UTF -8 と SJIS の互換性気にせにゃならんねん。
これやから、ロートル多いスレは。
今からの時代 BOM なんかくてもデフォルトは UTF-8 だよ。
Linux とか Mac は既にそうなってるし、日本語WIndowsだって次か、次の次のメジャーバージョンくらいで SJIS 捨てて UTF-8 いくやろ。
過去に生きてるやつはBOM 必要かもしれないが、今が過渡期なのでそんな気がしてるだけや。
どうせ欧米がナロー系の文字コードは UTF-8 に一本化で動いてるんで、今さらどうにかなるもんでもない。

**デフォルトの名無しさん** · 2021/04/05(月) 13:58:26.49

>>703
すぐバレる嘘を付くな

> Linux とか Mac は既にそうなってるし、
Linuxはローケルの変更から日本語だとEUC-JPに対応しているしSJISも使える
https://www.early2home.com/blog/os/linux/post-1314.html

WindowsはNTは最初からUTF-16だ

**デフォルトの名無しさん** · 2021/04/05(月) 14:08:55.17

ぶっちゃけUTF-8をマトモに実装するのは難しいので勘弁してほしい
正規化とかわけわかんぬ…
プログラミング言語やライブラリの内部ではコードポイントそのままで固定長で扱いやすいUTF-32採用が多いね
後に成熟してきたら変換のオーバヘッド削る為にUTF-8に切り替える風潮だけど（pythonはじめ諸々

将来ネットワークのスループットが良くなればUTF32も受け入れられたりしないかな、それまで生き残ってればの話だが

**デフォルトの名無しさん** · 2021/04/05(月) 14:19:53.71

>>704
デフォルトって言葉の意味知ってる？

**デフォルトの名無しさん** · 2021/04/05(月) 15:36:03.55

>>706
WindowsのデフォルトはUTF-16です。
英語のアメリカでも日本語のSJISがデフォルトだとでも思ってた？
そんなんだから理解が浅いって言われるわけ

**デフォルトの名無しさん** · 2021/04/05(月) 15:37:39.57

>>705
UTF-32はもはや固定長じゃないよ

漢字1文字が最大8バイトUnicodeの「IVS」が
32bit、4バイトに収まるわけがない

**デフォルトの名無しさん** · 2021/04/05(月) 16:24:25.38

デフォルト、破産だよ
デフォルト国家、あの国やったろ

**デフォルトの名無しさん** · 2021/04/05(月) 17:09:09.07

>>707
日本語Windows のデフォルトの話してるのに、何で英語のアメリカとか関係してくるんや？
文字が読めない人なのだろうか？
お前の Windows 日本語インストールして直後のカスタマイズ無しの状態でコマンドプロプトで chcp って打ったら何と応えるの？

**デフォルトの名無しさん** · 2021/04/05(月) 17:09:52.54

日本語版Windowsのデフォルトコードページは今でもCP932だが？

**デフォルトの名無しさん** · 2021/04/05(月) 21:28:09.04

https://opcdiary.net/i18n-windows%E3%81%A8linux%E3%81%A7%E3%81%AE%E6%96%87%E5%AD%97%E5%87%A6%E7%90%86%E3%81%AE%E9%81%95%E3%81%84/

＞現状市場に製品としてリリースされているWindowsはベースのキャラクターセットとしてはUNCODEを用い、標準のエンコードはUTF-16LE。基本的にはOSの標準APIレベルでI18N,M17Nに対応している。

**デフォルトの名無しさん** · 2021/04/05(月) 21:45:31.84

うんこーど

**デフォルトの名無しさん** · 2021/04/05(月) 22:03:05.34

ユニコードには、UTF-8/16/32 の3つあって、
各OS・ファイルシステムによって異なるから、ややこしい

だから、システム関係には、ASCII 互換の部分だけを使えと言ってる。
128種類、7 bit ascii だっけ？

**デフォルトの名無しさん** · 2021/04/05(月) 22:20:28.93

>>711
何見て言っているのか知らんけどプログラムで文字列扱っていれば内部処理がUTF-16LEなのは知っているはず

**デフォルトの名無しさん** · 2021/04/05(月) 23:10:35.17

>>703
Windowsは当面過渡期のままだよ
「ワールドワイド言語サポートで Unicode UTF-8 を使用」って設定は登場から3年経ってもベータのままだし

**デフォルトの名無しさん** · 2021/04/06(火) 00:46:43.57

>>711
> 日本語版Windowsのデフォルトコードページは今でもCP932だが？

UTF-16だよ
だから日本語版Windowsで絵文字が使えるんだが？

CP932がどこで使われるのかわかってない？

**デフォルトの名無しさん** · 2021/04/06(火) 00:47:44.91

>>710
コマンドプロンプトの問題で
Windows全体（エクスプローラーやブラウザ等）には
当てはまらないと認めるかい？ｗ

**デフォルトの名無しさん** · 2021/04/06(火) 00:50:23.32

>>716
その上に「Unicodeに対応してない古いアプリの場合」って書いてあるやろ？ｗ

Unicodeに対応している新しいアプリはUnicodeだし

お前「Unicodeに対応してない古いアプリ」がUTF-8にしたら
動くようになるとでも思ってんの？Unicodeに対応してないのにｗ

**デフォルトの名無しさん** · 2021/04/06(火) 01:02:50.31

最近のwin10アップデで古いwinアプリが文字化けしだしたのはこれか？
設定で対応できるし内部で一貫してる限り問題はないけど

**デフォルトの名無しさん** · 2021/04/06(火) 01:05:08.37

>>720
どこの設定をどう変えたら対応できたんだ？

**デフォルトの名無しさん** · 2021/04/06(火) 01:18:09.92

>>721
うろ覚えだけど英語圏向けwin10固有の問題だったかと
日本語版と日本語設定の英語版が違うと言う罠
システムロケールを日本語(英語以外)に変えるとユニコにフォールバックするようで
コードページ切り替えオプションがまた別にあるけどグローバルに適用されるので今度は他が化ける、アプリごとに設定開くので非常に面倒くさい

**デフォルトの名無しさん** · 2021/04/06(火) 01:21:01.30

化けたメニューを記号として認識できるように訓練したから最近は弄ってない
高くても日本語版買おうね！

**デフォルトの名無しさん** · 2021/04/06(火) 01:27:04.53

ロートルが多いとか関係ないんだがな
若くたって古いシステムの吐くログを見ようと思ったらEUCだったりするんだよなあ

**デフォルトの名無しさん** · 2021/04/06(火) 01:33:59.26

ローカル版windowsには、スクリーン上に同時に存在するテキストを複数の方式でデコードする機能がある、でいいのかな

**デフォルトの名無しさん** · 2021/04/06(火) 02:47:28.83

>>719
ASCIIにしか対応してないソフトはそれで意外と動いたりするんだよな
Unicodeファイル名が普通に使えるようになったり、というかそのための設定
マルチバイト対応してるソフトは壊れるけど
今ならmanifestでアプリ単位でコードページをUTF-8にするのもあり

**デフォルトの名無しさん** · 2021/04/06(火) 03:58:58.47

どうしたらいいのか

**デフォルトの名無しさん** · 2021/04/06(火) 08:00:46.97

窓から投げ捨てればいいのさ

**デフォルトの名無しさん** · 2021/04/06(火) 08:27:12.05

>>722
> 日本語版と日本語設定の英語版が違うと言う罠

Windows自体はUTF-16で複数の言語に対応しているとは言え、
アプリは別の問題で、UTF-16に対応してない古いアプリは
特定の文字コードでしか動かないんだよ
その古いアプリも手厚くサポートしてるのがWindows

**デフォルトの名無しさん** · 2021/04/06(火) 10:13:01.08

>>729
新しいソフトでもナローAPI使ってるやつたくさんあるわ特に欧米産。
ワイドAPI (UTF16)が標準とか思ってる時点で何もわかってない。

**デフォルトの名無しさん** · 2021/04/06(火) 13:40:51.68

何で文字コードスレにこんな無知がいるんだろうなあ。

**デフォルトの名無しさん** · 2021/04/06(火) 15:39:19.88

>>730
そのアプリ、絵文字使えないってことだよね？
いまどきそんなのあるの？
3つぐらい名前言ってよ

**デフォルトの名無しさん** · 2021/04/06(火) 15:54:30.38

>>732
そんなことはない。どうして使えないと思った? もしかしてコードページの使い方知らないの？
コードページを CP65001 や CP1200 に設定すれば使える。
コードページが CP932 だと使えないのは、もちろんだが。

**デフォルトの名無しさん** · 2021/04/06(火) 16:20:50.90

>>733
コードページは関係ないナローAPIを使ってると
絵文字は使えない

**デフォルトの名無しさん** · 2021/04/06(火) 17:48:00.38

>> 734
「コードページは関係ないナローAPI」 ← 自己矛盾。
俺のいうナローは Windows ならコードページ、Linux ならロケール依存なんだが？
他にどんな意味で解釈したの？お前の定義を教えて。
その上で、お前の定義だとどうして絵文字が使えないのか解説して。

**デフォルトの名無しさん** · 2021/04/06(火) 18:33:56.50

絵文字のデータとしての扱いとフォント依存による表示の区別付かないのかよ

**デフォルトの名無しさん** · 2021/04/06(火) 22:47:03.03

>>735
ナローAPIとそうでないAPIを具体的に言ってみ

**デフォルトの名無しさん** · 2021/04/07(水) 01:36:05.17

>> 737
誤魔化さずに、まずはこっちの質問に答えろや？できるもんならな。
お前、まとともに複数の言語と文字コードに対応したプログラムとか組んだことないやろ？
中途半端な知識で知ったかぶりしてて、引っ込みつかなくなっただけなら、謝ればすむんやで。
匿名掲示板なんだから、謝ると負けとかはないぞ、勉強して出直せばいい。
謝るのが、めんどくさかったら ROM っとけ。

**デフォルトの名無しさん** · 2021/04/07(水) 01:55:04.39

しかし、あれだな。
ナロー系のデフォルトは今後 UTF-8 になっていくって話してるのに、
「ナローだと絵文字使えない」とか言い出すやつが湧くのは、どうしたもんだか。
基礎知識が足りてないのか、文脈読めないのか、その両方なのか。闇は深い。

**デフォルトの名無しさん** · 2021/04/07(水) 02:26:54.44

喧嘩腰なのはいいけどレスアンカくらいちゃんと書こうよ >>の後のスペースは不要

**デフォルトの名無しさん** · 2021/04/07(水) 04:00:51.96

ナロー系ってなんだ？
オレオレ用語で言ってても誰にも通じない

**デフォルトの名無しさん** · 2021/04/07(水) 04:16:35.54

あれや、トラックに引かれて死ぬが異世界に転生
そこではなぜかチートじみたものすごい能力が・・

◆QZaw55cn4c · 2021/04/07(水) 05:15:10.31

>>741
win32api の一部の api （文字列を与えるもの）は同一機能で W系とA系の両方が準備されていますが、
そのうちの A系のことをナロー系と呼んでいるのでは？

**デフォルトの名無しさん** · 2021/04/07(水) 07:09:32.19

>>735
Windowsでもロケールじゃないかな？
ここで言ってるコードページってどこで設定するやつ？

**デフォルトの名無しさん** · 2021/04/07(水) 09:06:06.52

Linuxはロケールの設定（LANGとかLC_ALL環境変数）でja_JP.UTF-8 みたいに
言語（ja_JP）と文字コード（UTF-8）の両方をいっぺんに設定するけど
本来この２つは別の概念

Windows NT系はOSが使う文字コードはUTF-16に統一されている
ロケールに相当する設定は「設定」の「地域」から「日本」等を選ぶ
これはUIで使用する言語やカレンダーの書式なんかを変更するが
文字コードはUTF-16しかないので変わることはない

これとシステムロケールの設定（コードページ）は別物
システムロケールの設定はUnicodeに対応してないアプリ（主にWin9x用）が
どの文字コードを使っているか？を推測するための互換機能
Windows 10でこのシステムロケールの設定としてUTF-8（ベータ機能）が追加されたから、
今後は（ユーザーがUTF-8に設定していれば）ANSI系APIでもUnicodeを使うことが可能になった。
もちろんOS内部はUTF-16に統一されてるので、UTF-8からUTF-16へ変換される

ANSI系APIでUnicodeが使えるようになったといっても、それはUTF-8対応で開発した新しくアプリの話
昔のSJIS前提で開発したアプリが自動的にUnicode対応に変わることはない。
Unicodeに対応してない古いアプリはASCII互換部分以外は文字化けする。
あくまで新しいアプリをUnicode対応で開発するときの選択肢の一つとして
ANSI系も使えるようになりましたよーという話
これはユーザーにUTF-8に変更してもらえる（＝古いアプリを使ってない）ことが前提

**デフォルトの名無しさん** · 2021/04/07(水) 09:06:55.52

>>741
俺も「ナロー」がそれほど良い用語だと思ってるわけではないけど Linux,Mac,Windows で共通の良い技術用語がないので、マシな方なんだよ。
Unix系の用語だと「ワイド文字」の対義語は「多バイト文字」なんだが、これだとさらに誤解する人多いしなあ。1バイト ASCIIでも「多バイト」ってなんだ？的な。

**デフォルトの名無しさん** · 2021/04/07(水) 09:15:40.29

コードページはLC_CTYPE相当であってLANGやLC_ALLではない

CP932はLC_CTYPE=ja_JP.SJISのようなもの(CP932≠ShiftJISだけど)
なのでWindowsのデフォルト日本語環境はmacOSやLinuxのja_JP.UTF-8とは違う

それにUTF-8に対応するCP65001だけでなくEUC-JPに対応するCP20932もだいぶ昔から
前から存在している

あとこの辺のロケール関係はISO C C95で規定
Windows固有の話ではない

**デフォルトの名無しさん** · 2021/04/07(水) 09:18:43.08

このスレの人たちはエディタで書いたソースを何で保存するの？UTF-8？
秀丸はデフォルトでSJISだったよね？(今は違うのか？)

**デフォルトの名無しさん** · 2021/04/07(水) 09:19:55.48

>>747
> Windowsのデフォルト日本語環境はmacOSやLinuxのja_JP.UTF-8とは違う

Windowsのデフォルト日本語環境は
1. OSの文字コード・・・UTF-16統一
2. ロケール（UIやカレンダーなど）・・・日本語
3. Unicode非対応の古いアプリ用、CP932に設定

いい加減システムロケールというのは
OSのデフォルトとは関係ないと認識してくれ

**デフォルトの名無しさん** · 2021/04/07(水) 09:21:37.00

>>748
ずっと前（Windows 2000の頃）から
Linuxと相互運用するものはUTF-8
Windowsでしか使わないソースコードはUTF-16だよ
Windowsでしか使わないものは少ないからほとんどUTF-8だけど

**デフォルトの名無しさん** · 2021/04/07(水) 09:24:13.21

あと秀丸とかとうの昔に使うのをやめた
遅くともSublime Text（2008年ごろ？）からUTF-8に統一
atomを経て今はvscode

それまでは何使ってたっけ？vimとかemacsとか一時期使ってたけど
そういや昔はLinuxではEUC-JPを使ってたね

**デフォルトの名無しさん** · 2021/04/07(水) 10:21:35.02

Win10 1803でANSI APIでUTF-8を使うようにする設定がベータで入ったけど、
結局MSは影響が大きすぎると判断したんだろう
代わりに1903で、システム全体じゃなくてアプリ単位でUTF-8を使えるようにする機能が入った
ANSI APIのデフォルトがシステム全体でUTF-8になるのは5年とか10年先の話じゃないかな

**デフォルトの名無しさん** · 2021/04/07(水) 11:34:30.51

> ANSI APIのデフォルトがシステム全体でUTF-8になるのは5年とか10年先の話じゃないかな
> 結局MSは影響が大きすぎると判断したんだろう

MSじゃなくても影響が大きいってわかるわ。デフォルトをUTF-8にするのは
古いアプリとの互換性を切り捨てるってことを意味する
デフォルトにしていいのは、既存のUnicodeに対応してないアプリが消え去って
互換性を気にしなくていい時代になってから。それぐらい時間がかかるのは当たり前だろう

アプリ単位でUTF-8が使えるならそれで十分でしょ
UTF-8用に作られたアプリは、システムロケールをUTF-8にするように
マニフェストかなにかで設定できるだろうし
Windows NTのデフォルトの文字コードがUTF-16に統一されてるわけだから
わざわざ古いアプリの方のデフォルトを変更する理由がない

**デフォルトの名無しさん** · 2021/04/07(水) 12:27:49.00

システムロケール（本来は古いアプリ用の設定）を
UTF-8に変更することの意味をわかってない人がいるようだから
くどいようだけどまとめておく

1. システムロケールでUTF-8を設定できるようになったのはWin10 1803から
2. 日本語をSJISで使うアプリが、システムロケールがSJISになってるのを前提としていたように
システムロケールがUTF-8になってることを前提としてアプリを作らなければいけない
3. つまりWin10 1803登場より前にシステムロケールUTF-8に対応してるアプリは存在しない

Windowsの本来の文字コードであるUTF-16に対応してるアプリ＝Unicodeや絵文字に対応してるアプリは
そもそもシステムロケールの設定には何も依存しない。

今現在システムロケールUTF-8に対応したアプリは殆どないのに
互換性を壊してまで今すぐデフォルトを変更してメリットあると思う？
そういう話。

これからはUTF-8前提で作られたアプリ（Linuxアプリ等）はWindowsに移植しやすくなりますよ。
これからはUTF-8前提で作ってもWindowsとLinuxに両対応出来ますよ。という話

**デフォルトの名無しさん** · 2021/04/07(水) 13:30:36.82

ASCII専用の欧米ソフトは案外その設定で動いたりするんだよ
ASCII圏のユーザーにとってはチェックを入れるだけでUTF-8が使えるようになる（かもしれない）便利設定
別に新しく開発するアプリのための設定というわけではない
マルチバイト圏のユーザーにとっては互換性壊すだけの余計な設定だが

ちなみにANSI APIでUTF-8を使う際には、パス名がMAX_PATHバイトまでしか扱えないという
重大な欠点があるのは注意な
Wide APIならMAX_PATHコードユニットだから、それに比べると扱える文字数は最悪1/3になる

**デフォルトの名無しさん** · 2021/04/07(水) 14:39:04.07

Unicode and Character Sets
https://docs.microsoft.com/ja-jp/windows/win32/intl/unicode-and-character-sets
Unicode in the Windows API
https://docs.microsoft.com/ja-jp/windows/win32/intl/unicode-in-the-windows-api

**デフォルトの名無しさん** · 2021/04/07(水) 16:22:47.71

>>753
間違い。昔から複数の文字コードで動くプログラムはある。
コードページ切り換えによって SJIS でも KOI8 でも BIG5 でも動くように作られているプログラムは、
修正無しで UTF-8 にも対応するようになる。
そもそもコードページの切り換えにちゃんと対応したプログラムはそうなってるのが普通。
SJIS専用処理とかしてるアホが作ったプログラムは、修正が必要だが、それは複数文字コード対応できてないんだから仕方ない

**デフォルトの名無しさん** · 2021/04/07(水) 17:58:42.18

アプリ単位でUTF-8が使えるようになってたの知らなかった
横からだけどありがとう
https://superuser.com/questions/1033088/is-it-possible-to-set-locale-of-a-windows-application-to-utf-8/1451686#1451686
のUpdateのところに対応方法がまとまってた

**デフォルトの名無しさん** · 2021/04/07(水) 20:05:39.59

>>757
一般論としてはそうだけど、WindowsのANSI系APIやVSのCRTが本当に全部UTF-8に対応してるんだっけ？

**デフォルトの名無しさん** · 2021/04/07(水) 21:05:32.99

コマンドプロンプトとサロゲートペア縛り
https://zenn.dev/zetamatta/books/b820d588f4856bcf836c/viewer/95bfb9

**デフォルトの名無しさん** · 2021/04/07(水) 22:56:12.09

>>759
Windows には山ほどライブラリ(DLL)があって、その中には対応できてなかったり、できてるはずなのにバグバグなやつとか多数ある。
今後のアップデートで直るかもしれないやつも多数あるけど、仕様上どうやって直すんだ？！みたいなやつもある。
一般論でしかないのは、その通り。過渡期なんだよ。
一方で Microsoft は CP_ACP はもう使うな CP_UTF8 使えとか言い出してる。

**デフォルトの名無しさん** · 2021/04/07(水) 23:51:48.85

> 一方で Microsoft は CP_ACP はもう使うな CP_UTF8 使えとか言い出してる。
そりゃそうだろ。CP_ACPは古いアプリが使ってるかもしれないが
それじゃUnicodeには対応できない。文字数とかサロゲートペアが
正しく判断できない。ANSI系でUnicode使うなら書き換えが必要

**デフォルトの名無しさん** · 2021/04/08(木) 01:14:14.46

>>762
ACP でも UTF8 や UTF16 が使えること知らない人は引っ込んでて。

**デフォルトの名無しさん** · 2021/04/08(木) 07:51:09.35

CP_ACPとかってMultiByteToWideChar以外どこで使うんだっけ

**デフォルトの名無しさん** · 2021/04/08(木) 08:24:03.75

相手するなよ

**デフォルトの名無しさん** · 2021/04/08(木) 14:33:47.10

過渡期30年
まだまだ続く過渡期

**デフォルトの名無しさん** · 2021/04/08(木) 16:48:36.55

コンピュータのコードなんてずっと更新中みたいなもんだけど。
MS が UTF-8 のサポートをまともに開始したのは 2017年から。
古い文字コードを捨てて,今後は UTF-8 のみを推奨ってアナウンスしたのが 2019年から。
30年が何を指すのかしらんけど、あと5年や10年くらいは待ってやれ

**デフォルトの名無しさん** · 2021/04/08(木) 16:51:08.06

バッチスクリプトをUTF8で走らせられるようになったの？

**デフォルトの名無しさん** · 2021/04/08(木) 17:54:09.52

中で呼び出すプログラムが code pege 切り換え対応、もしくは utf8 対応ならバッチできるよ
例えば UTF-8 で以下のようなバッチを書けば、日本語Windowsでも動くよ
chcp 65001
echo かな漢字 > file.txt
type file.txt
pause

**デフォルトの名無しさん** · 2021/04/08(木) 18:08:44.31

>>767
> 古い文字コードを捨てて,今後は UTF-8 のみを推奨ってアナウンスしたのが 2019年から。

古い文字コードを捨ててません。
新たにUTF-8対応を増やしただけです。

Linuxは古い文字コードを捨てましたか？捨ててないでしょう。
そんなアホなことをするOSなんてありませんよ。

**デフォルトの名無しさん** · 2021/04/08(木) 18:11:58.41

>>768
それはずっと前から出来る。
少なくともWindows 2000では確認した。
ただ画面の表示がおかしくなっていただけ
処理結果はまともだった

**デフォルトの名無しさん** · 2021/04/08(木) 18:17:12.48

マルチバイト文字を含むコマンド引数がただの文字列じゃなくて、ファイルパスだったりすると積むはず。

**デフォルトの名無しさん** · 2021/04/08(木) 18:27:11.87

ファイルパスも文字列だろ

ところでなんでcp932に設定していても
絵文字が含まれたディレクトリにcdできると思う？
絵文字はcp932には含まれてない。だから使えるはずがない
だけどコマンドプロンプトでcp932にしても普通にcdできる

答えは、cp932は古いアプリ用であって
コマンドプロンプト自体はUTF-16で動いてるからなんだよ
WindowsはNTの時代にすでに完全にUnicode対応を終えてる
OSはUnicode（UTF-16）で動いている

cp932とかいうのは互換性機能でOSとしては重要ではなく
互換性機能をなくすのは、それが不要になってからで十分なわけ

**デフォルトの名無しさん** · 2021/04/08(木) 19:21:17.04

>>770
「捨てる」っていうのが正確で無かったか？サポートをしないって意味ではなくて
「今後は書かれるプログラムは古い文字コードをサポートする必要はない。UTF-8 だけ排他的に使用することを推奨する」
という方針を打ち出したんだよ。もう前のことなのでニュース記事のリンクとか出せないけど、かなり話題になった。
開発者ドキュメント等を読めば買いてると思う。

**デフォルトの名無しさん** · 2021/04/08(木) 19:30:38.81

>>771
わかってて言ってるんじゃないかと思うけど、重要なのは echo の行ではなくchcp 65001 の話。
これで TYPE の行のように正しく画面表示されるし、他のバッチから呼び出されるプログラムも UTF-8 の切替わる。
pause の行のように言語が日本語から英語に切替わってしまうので、メッセージとか日本語じゃないと困る人には駄目な方式なんだが

**デフォルトの名無しさん** · 2021/04/08(木) 19:46:39.13

>>773
お前は、バッチファイルすらまとも使ったことないだろ？
内部コードと外部(入出力)コードの区別すらまともについてないくせに、いちいちコメントすんな。
Windowsの内部コードがUTF16のことなんて全員わかってるんだよ。
みんなが議論しているのは外部コードのはなし。コードページとかUTF-8とかも全部、外部コードに何を使うか。
バッチファイルの文字コードも外部コード。
マイクロソフトは外部コードを UTF-8 に統一する方向で動いてるって話をしてる。

**デフォルトの名無しさん** · 2021/04/08(木) 20:50:56.63

>>774
> 「今後は書かれるプログラムは古い文字コードをサポートする必要はない。UTF-8 だけ排他的に使用することを推奨する」

前からUnicode（UTF-16）推奨だったじゃん。
今後は書かれるプログラムは古い文字コードをサポートする必要はないのは
UTF-16でも同じことで、古い文字コードをサポートする必要なんてなかった

単にANSI系でもUTF-8が使えるようになりましたってだけだよ

**デフォルトの名無しさん** · 2021/04/08(木) 20:54:30.34

>>776
> マイクロソフトは外部コードを UTF-8 に統一する方向で動いてるって話をしてる。
そんな動きないよ

今だって標準はUTF-16だし、UTF-8もサポートしたと言うだけの話

**デフォルトの名無しさん** · 2021/04/08(木) 20:58:09.07

> みんなが議論しているのは外部コードのはなし。コードページとかUTF-8とかも全部、外部コードに何を使うか。

違うよ。コードページは古いアプリが使うコードのことだよ

**デフォルトの名無しさん** · 2021/04/08(木) 21:26:50.32

古いだの新しいだのそういう曖昧な言葉を使うのは良くない

**デフォルトの名無しさん** · 2021/04/08(木) 21:44:00.84

入出力時のデフォルトコードページの話だから古いか新しいかなんて関係ないんだけどな。

いい加減みんなこのバカ相手するのやめようぜ。

**デフォルトの名無しさん** · 2021/04/08(木) 22:03:05.49

マイクロソフト謹製のPowerShellは完全にコードページ依存だよ。
MSYSなどUTF8で出力する伝統的な実行バイナリとうまく共存できない。パイプが積む。それが現実。

**デフォルトの名無しさん** · 2021/04/08(木) 23:16:12.03

さすがに、このスレにいて Windowsの「メモ帳」アプリのデフォルト文字コードが「 UTF-8 (BOM無し)」に変更されたことを知らない人はいないだろ。
これはMSが UTF-8 BOM無しを今後の標準とすることに舵を切った結果だよ。
これが UTF-16 だったり BOM つきだったりしないのは、単なる気まぐれじゃない。

**デフォルトの名無しさん** · 2021/04/09(金) 01:54:21.80

BOM付きじゃなくてBOM無しUTF-8がデフォルトになったのは驚いた
そっちに舵を切ったのはそうだろう
だがExcelでBOM無しUTF-8なCSVが扱えないとか、リソースコンパイラで
BOM付きUTF-8すら自動判別してくれないとか個々のアプリはまだまだ対応不足

**デフォルトの名無しさん** · 2021/04/09(金) 01:56:45.03

デフォはありのほうがいいと思うんだがな