文字コード総合スレ part14

**デフォルトの名無しさん** · 2023/03/03(金) 15:46:58.08

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
文字コード総合スレ Part12 https://mevius.5ch.net/test/read.cgi/tech/1544931495/
文字コード総合スレ part13
https://mevius.5ch.net/test/read.cgi/tech/1593777227/

**デフォルトの名無しさん** · 2023/06/26(月) 10:16:30.84

>>358
ISO/IEC 9899:1990/Amendment1:1995(C95)の7.9.6.1と7.9.6.3より
printfの仕様はロケール対応では?

%sの代わりに%lsでワイドキャラクタを扱える

**デフォルトの名無しさん** · 2023/06/26(月) 10:35:51.62

>>358
商業UNIXはlibcレベルから各文字コード対応だったんだよ

**デフォルトの名無しさん** · 2023/06/26(月) 10:39:44.57

なんかCの仕様をわかっていない人がいるような

Cのプログラムをロケールを利用した国際化対応するには冒頭でsetlocale()を
呼ぶだけでなくて、文字をcharではなくwchar_tで扱い、fgetsの代わりにfgetwsを
使うなどワイドキャラクタ対応のw系関数で文字を処理するに変更するか、printfや
scanf系関数で%sの代わりに%lsで扱う

Cのユニコード関連の仕様はISO/IEC 9899:2011(C11)で導入され、6.4の\u,\U, u'',U''と
7.27のuchar.hで定義されたchar16_t, char32_tがユニコード関連
これらはロケールやwchar_tとは別概念なはず

**デフォルトの名無しさん** · 2023/06/26(月) 11:12:59.67

>>364
順番とか歴史を理解してる？
国際化するのに locale という仕組みが提案さてて wchar_t が導入され、OS標準ツールは言語や文字コードを切り替えられるようになった
その後に多言語化のために unicode と UTF-8 が出てきて locale 対応しているプログラムは変更なく多言語化できるようになった
比較的最近になって、もう新しいプログラムは unicode だけ対応していれば十分で locale 対応いらないんじゃね？という大雑把アメリカンな考えが出てきて char32_t みたいな仕組みが作られた
国ごとに仕組み違うし、言語ごとに文字の定義とか違うんだから unicode あっても locale 無くせないんだよ。というアメリカ以外からの当然の反発もあって
今は、真面目に国際化対応が必要なやつは locale, そんなん気にしなくて良いやつは生UTF-32, Windowsと互換性が最重要なら生UTF-16みたいな棲み分けになってる

**デフォルトの名無しさん** · 2023/06/26(月) 11:45:10.68

utf-8になってもロケールは必要だよね
言語や地域ごとに処理を変えないといけないから
例えば同じ文字を使っていても辞書順が違うことがある
発音記号の取り扱いとか

それからwchar_t+Unicodeのみで処理する枠組みはうまくいかなかった
ASCII文字だけ扱いたい時
Unicode以前旧世界との互換性
を考えると
結局世界はMBCSと付き合わざるを得ない事に納得し
wchar_t+Unicodeは速いindexingが必要な内部表現だけで使うことになった

**デフォルトの名無しさん** · 2023/06/26(月) 11:51:20.62

localeに対応しているlessコマンドはsjisファイルも読めるん？

**デフォルトの名無しさん** · 2023/06/26(月) 12:04:29.17

>>367
昔の商業UNIXにlessはなくてmoreだけど
ja_JP.sjis
に設定すれば

Solarisでは2byte目\問題もなかった
もちろん内部的にはMBCS stringとして扱ってる
euc-jpだってMBCSなのだから
ちなみにSolarisの場合はこの辺の処理は
ハードコーディングではなくテーブルドリブンだった

**デフォルトの名無しさん** · 2023/06/26(月) 12:07:04.06

ただこの辺の努力は全て水泡に帰して
GNU Linux全盛期に入ったわけだ
つまり文字コード対応はutf-8をベースにして
各言語対応は車輪の再発明をしなければならなかったし
まだ当時に追いついてもいない

**デフォルトの名無しさん** · 2023/06/26(月) 12:44:13.00

>>369
再発明とかはやってないぞ
普通に gnu tool も昔から locale 対応してるし、今もそう
ただ、まだマイナーなバグや使い難い仕様が一杯残ってるねってだけ。国際化でなくて、特に多言語化のまわりが熟れてない
ユーザーにも一部の開発者にも国際化と多言語化の違いとか、機構と文字コードの違いが良くわかってないやつがいて
本来は「多言語化に問題がある」というべきところを「UTF-8の処理に問題がある」という言い方をしがち

**デフォルトの名無しさん** · 2023/06/26(月) 12:54:23.97

ここでも知らんやつもいるかもしれないので、一応書いておくと
国際化(i18n): 文字コードとか言語とかを切り替えて使えるようにする機構
多言語化(m17n): 一つのテキストの中に複数の言語の文章を含めることができるようにする機構

**デフォルトの名無しさん** · 2023/06/26(月) 13:12:12.62

unicode という規格には
(A) 純粋に文字コードを定義している部分。どの文字にどのコードを割り当て、それをどのように符号化するか。UTF-8 は符号化の名前
(B) unicode を使ってどのように多言語化(m17n)を実現するかの部分。標準的な多言語化を提案する。IVSの対応とかはこっち
の2つが含まれてる。
今いろいろやってるのは (B) 側の話。UTF-8対応やってるんじゃなくて「多言語化」対応やってる

**デフォルトの名無しさん** · 2023/06/26(月) 16:20:01.13

多言語化は国際化に含まれますか?

**デフォルトの名無しさん** · 2023/06/26(月) 17:50:33.08

>>372
それもちょっと違うね
「(A) 純粋に文字コードを定義している部分」にUTF8は全く関係ない
そこでは各文字にコード割り当て定義されていてコードは一意に定まる
一方でUTF8やUTF16などはそのコードのエンコーディングの話であり文字コード割り当てとは独立した全く別の話になるね

**デフォルトの名無しさん** · 2023/06/26(月) 18:30:16.65

>>374
エンコードはコードじゃないという主張の人なの？珍しいな

**デフォルトの名無しさん** · 2023/06/26(月) 19:03:46.54

>>375
そこは全く異なるのがユニコードの基本
例えば「あ」はコードポイントU+3042と一意に定められている
これはエンコーディング方式に関係なく一意に定まる
エンコーディング方式が増えたり廃止されたりしても影響を受けない

一方でこのコードポイントを扱う時に環境や状況に応じて様々なエンコーディング方式を取ることができる
例えばコードポイントは16bitに収まりきらないので32bitに入れるのがUTF32
「あ」はコードポイントU+3042なのでUTF32だと0x00003042となる
UTF8は8bit前半をascii互換とし8bit後半の不定長列を非asciiに割り当てる
「あ」はコードポイントU+3042なのでUTF8だと0xE3 0x81 0x82となる

このようにコードポイント割り当てとエンコーディングは全く独立した別の分野

**デフォルトの名無しさん** · 2023/06/26(月) 19:14:59.15

>>376
それはISO-2022のフレームワークとさほど大差ない
特にShift JISも含めて考えた場合は

**デフォルトの名無しさん** · 2023/06/26(月) 19:27:42.67

バイト表現と文字コード体系は別の概念

**デフォルトの名無しさん** · 2023/06/26(月) 22:19:22.18

>>376
世間では一般的に
コードポイント(符号位置)＋エンコード＝文字コード
という認識なんだけどね。言葉の定義の問題なので、ここで議論しても始まらないか

**デフォルトの名無しさん** · 2023/06/26(月) 23:14:57.66

その感覚はないな
\uXXXXや数値文字参照で指定する値という認識じゃね？
コードポイントそのもの

**デフォルトの名無しさん** · 2023/06/27(火) 00:02:41.00

>>380
世間一般はSJISもEUC-JPもUTF-8も文字コードという認識なんだよ。厳密な言い方とはいえないが、そういもの
コードポイントだけを文字コードと呼ぶやつはかなり特殊、自覚しとけ

**デフォルトの名無しさん** · 2023/06/27(火) 00:31:42.23

character encoding system = encoding method + character set

**デフォルトの名無しさん** · 2023/06/27(火) 00:39:10.68

文字コードポイントとそのエンコーディングの区別ができてやつがいるな
例えばUTF8の0xE3 0x81 0x82を文字コードポイントとは言わない
あくまでも文字コードポイントはU+3042であり0xE3 0x81 0x82はUTFでエンコーディングした時のバイト列にすぎない

**デフォルトの名無しさん** · 2023/06/27(火) 01:24:36.76

>>382
+ の後ろを coded character set 「符号化文字集合」とした方がより良いな

**デフォルトの名無しさん** · 2023/06/27(火) 07:10:50.09

>>384
codedじゃ誤解しそうな人が出るので
numberedを付けるかどうか迷った

**デフォルトの名無しさん** · 2023/06/27(火) 09:02:31.09

>>385
規格によって用語の意味が違うので難しいところだねインターネットのRFCとかだと正式用語は
code character set + character encoding scheme
それぞれCCSとCESと略されることもある
一般的な日本訳は「符号化文字集合」と「文字符号化方式」かな

**デフォルトの名無しさん** · 2023/06/27(火) 09:03:47.40

>>386
dが抜けた。coded character set ね

**デフォルトの名無しさん** · 2023/06/30(金) 18:08:26.89

>>383
お前は文字コードとエンコードの区別はついているか？

**デフォルトの名無しさん** · 2023/07/01(土) 03:56:24.34

数学の写像だと考えればいいのでは

**デフォルトの名無しさん** · 2023/07/11(火) 16:13:44.17

てすと🌀🌀

**デフォルトの名無しさん** · 2023/07/27(木) 22:11:05.51

𝕏

**デフォルトの名無しさん** · 2023/07/28(金) 00:23:42.06

ﾌﾌﾌ

**デフォルトの名無しさん** · 2023/07/28(金) 00:51:45.87

文字コードって誰が作ってんの？

**デフォルトの名無しさん** · 2023/07/28(金) 02:16:49.64

>>393
誰が作っても良い。他人に使ってもらえるかは知らんが

**デフォルトの名無しさん** · 2023/07/28(金) 02:28:54.58

俺用の文字コードを作れば、漏洩して悪意ある他人が見ても文字化けで意味不明ってことか。

**デフォルトの名無しさん** · 2023/07/28(金) 19:41:58.97

まず13文字ずらします

**デフォルトの名無しさん** · 2023/07/29(土) 08:13:24.61

おおジュリアス・シーザー

**デフォルトの名無しさん** · 2023/07/29(土) 14:26:21.89

カエサル派にとっては意味不明ってことか。

**デフォルトの名無しさん** · 2023/08/04(金) 14:46:46.47

コードずらしただけだと出現頻度でばれるって話

**デフォルトの名無しさん** · 2023/08/04(金) 18:06:48.16

－・　・・－　・－・・　・－・・　・－－・　－－－

**デフォルトの名無しさん** · 2023/08/18(金) 15:49:14.73

macOS上の話ですが、'が’という名前のフォルダを作ってその名前をシェルで見ると

% ls | iconv -f utf-8 -t utf-16le | od -x -A n
304b 3099 000a

% echo * | iconv -f utf-8 -t utf-16le | od -x -A n
304c 000a

あれ、もしかしてシェル (zsh) がUnicodeの合成をしている?

**デフォルトの名無しさん** · 2023/08/18(金) 23:53:14.80

bashでやると元のままでコマンドを外部コマンドにしても変わらないから
globがそういう動作なんやね

**デフォルトの名無しさん** · 2023/08/19(土) 00:16:00.94

正確に言うと MacOS の zsh のグロブだな。

**デフォルトの名無しさん** · 2023/08/19(土) 01:35:51.14

>>403
もしかしてmacOS上以外のzshだと挙動が違ったりします?

**デフォルトの名無しさん** · 2023/08/19(土) 02:04:07.40

>>404
違う

**デフォルトの名無しさん** · 2023/08/19(土) 10:09:35.79

>>405
確かに、zshのソースを見てみたらMac上だとファイル名を加工する処理が入ってました:
https://github.com/zsh-users/zsh/blob/master/Src/utils.c#L5169

**デフォルトの名無しさん** · 2023/08/19(土) 10:21:56.98

が、果たしてそれはいい事なんだろうか。小さな親切大きなお世話という気もしないでもない

皆さんご存知macOS上のFSはファイル名がUnicodeの分解形になっているのだが、
上記により、シェル内でワイルドカードを使うとファイル名が合成形で得られる
その後、そのファイル名を加工して別のファイルを作ると、合成形でファイルが作られること
になる（macOSのUNIXレイヤーではパス名を分解形にすることは強制ではない）

結果、分解形のファイル名と合成形のファイル名がコンタミするではないか、と

**デフォルトの名無しさん** · 2023/08/19(土) 10:44:11.66

>>407
macOS には HFS+ と APFS というのがあってだな。

**デフォルトの名無しさん** · 2023/09/18(月) 15:14:20.26

awkが新しくなる！？本家AwkがUnicode (UTF-8)とCSV対応に！
https://qiita.com/ko1nksm/items/1a3e711bbd925657f5fd

やっぱりUTF-8に対応するにはアプリ側を修正しなきゃいけないって事ね

**デフォルトの名無しさん** · 2023/09/18(月) 17:45:11.83

>>409
そもそも、そういう用途は nawk じゃなくて gawk とか使ってるので今更 nawk が対応したと主張したところで意味無し
nawk は文字とバイトの区別すらついて無かった古典だし。POSIX？それ美味しいの？状態だったのがようやく今頃になって対応始めた感じ。まだ問題だらけなので文字コード区別必要な場面での使用は非推奨。

**デフォルトの名無しさん** · 2023/09/21(木) 17:13:01.39

事故の予感しかしない

**デフォルトの名無しさん** · 2023/10/05(木) 21:37:01.18

全ての開発者が知っておくべきUnicodeについての最低限の知識
https://gigazine.net/news/20231005-unicode/

**デフォルトの名無しさん** · 2023/10/06(金) 02:09:53.00

互換漢字のことを思い出してもいいですか

macOSのFinderで神というフォルダーを作ると神に変換される
Chrome上で神を検索すると神と神の両方にマッチする
Firefox上で神を検索すると神にはマッチしない
Firefox上で分解形の神︀で検索すると合成形の神にはマッチしない
Mozcで神︀を入力すると分解形がデフォ

みんなちがって、みんないい?

**デフォルトの名無しさん** · 2023/10/06(金) 09:13:41.28

おはよう
今起きたけど、UTF-8にBOMつけるか否か？結論は出た？

**デフォルトの名無しさん** · 2023/10/06(金) 09:59:40.01

UTF-8にBOは存在しない
↓
BOMなんて概念が不要

議論も何も無い

**デフォルトの名無しさん** · 2023/10/06(金) 11:34:57.64

>>413
>macOSのFinderで神というフォルダーを作ると神に変換される

このあたり、Appleには素のNFDとは少し違う独自の正規化を使うこだわりが
あったのだと思っていたけど、今は違うのかな?

**デフォルトの名無しさん** · 2023/10/06(金) 14:17:35.44

>>415
元来の用途で使う可能性が無いからこそ新しいより有用な目的を割り当てて使えるのですね

**デフォルトの名無しさん** · 2023/10/06(金) 17:44:51.54

>>415
お前が世間知らずなだけ
エディタでbomありutf8は普通にサポートされてる
当然これは需要があるから

**デフォルトの名無しさん** · 2023/10/06(金) 18:03:58.96

Firefoxの検索は半角カナの同一視もしてくれないからなあ

**デフォルトの名無しさん** · 2023/10/06(金) 21:14:36.66

How can I get WideCharToMultiByte to convert strings encoded in UTF-16BE?
https://devblogs.microsoft.com/oldnewthing/20231005-00/?p=108854

UTB-16BEからShift_JISに変換したいとかいろんな要望があるものだな

**デフォルトの名無しさん** · 2023/10/06(金) 21:24:18.57

>>415
正確には「UTF-8にバイトオーダーの違いはない」だな。

**デフォルトの名無しさん** · 2023/10/06(金) 22:08:49.33

JSONなどBOMを付与して送信してはいけないと明確に規定されていたり
BOMを取り扱わない規定やソフトウェアもあるため
UTF8ではBOMを付与しないほうが好ましい

**デフォルトの名無しさん** · 2023/10/06(金) 22:54:13.21

JSOINファイルに付けるなとは言ってないみたいよ

**デフォルトの名無しさん** · 2023/10/06(金) 23:20:11.94

#!shebangの邪魔になるだろ

**デフォルトの名無しさん** · 2023/10/07(土) 09:59:00.66

>>424
BOMを認識するようシステムコールを改修すればいいだけ
それをしないのはOS開発者の怠慢

**デフォルトの名無しさん** · 2023/10/07(土) 10:25:02.17

>>413
macOS/iOSのSafariではひらがなとカタカナを同一視するという挙動があるようで
みんなちがって、みんないいw

**デフォルトの名無しさん** · 2023/10/07(土) 10:55:59.28

>>425
execve の引数解釈が locale に従うのであれば BOM を付けるべきではない状況に該当すると思う。

**デフォルトの名無しさん** · 2023/10/07(土) 19:44:18.39

BOMなしがいいってのはAsciiしか対応してないレガシーソフトウェアに通したいから？
UTF8を意識できてるならBOMのありなしの両対応は簡単だし

**デフォルトの名無しさん** · 2023/10/07(土) 20:50:45.55

>>428
ファイルの接続とか分割にゴミ処理とかしないですむ。自分がいまから出力するのが先頭かどうか不明とかでも問題は起きない
ファイルの先頭とかには別の識別子置きたいアプリもある。先頭BOMが優先して使えるとか思い上がり。
そして何より、世の中すべて UTF-8 で情報交換すべきで、他の文字コードは内部コード以外は認めない。滅べば良いと本気で信じてるので BOM に使いみちなんかない。
だいたい最近の欧米の主張はこんな感じ。

**デフォルトの名無しさん** · 2023/10/07(土) 21:50:44.31

UTF8こそが不要で滅べば良い。I

**デフォルトの名無しさん** · 2023/10/08(日) 05:39:53.69

これからの時代は UTF-32

**デフォルトの名無しさん** · 2023/10/08(日) 05:43:54.93

なぁに。1バイトを32bitにしてしまえばエンディアンがどうのなどとつまらない事を考える必要もなくなる。BOMも不要。

**デフォルトの名無しさん** · 2023/10/08(日) 05:46:34.19

いいかげんチマチマと8bitづつ扱うようなケチな精神がいけない。
8bit CPU の事などもう忘れろ。

**デフォルトの名無しさん** · 2023/10/08(日) 12:38:49.49

>>431
文字結合あるからUTF32でも解決しない
結局可変ならUTF8が合理的という考え方もある

**デフォルトの名無しさん** · 2023/10/08(日) 13:46:55.09

>>434
つまり UTF1024 が必要ということだな

**デフォルトの名無しさん** · 2023/10/09(月) 13:08:59.15

えっ

**414** · 2023/10/09(月) 14:11:34.76

ふーん

結局UTF-8にBOMつけるか否か？まだ結論は出てないんだな？
じゃあ、今からまた寝るから結論出たら教えて…おやすみ

**デフォルトの名無しさん** · 2023/10/10(火) 07:39:18.70

結論は出ない、永遠に寝てろ

**デフォルトの名無しさん** · 2023/10/10(火) 08:43:04.58

結論も何も最初から規格上は「つけないことを推奨」。規格を無視するやつらは勝手につけてるだけ。
これ以上何に結論を出せと？

**デフォルトの名無しさん** · 2023/10/10(火) 09:13:29.30

禁止はしてないな。いくつか使用すべきではない状況はあるがそれ以外必要に応じて使ってよい。
まあいずれEUCと同じように淘汰はされていくと思うが。

**デフォルトの名無しさん** · 2023/10/11(水) 14:25:41.16

拡大解釈を結論としちゃうとそりゃ永遠に終わらんよな

**デフォルトの名無しさん** · 2023/10/11(水) 16:29:14.72

もう恥ずかしいからやめろよ

**デフォルトの名無しさん** · 2023/10/11(水) 16:32:12.66

文字コードの自動判定でBOMが欲しいんでしょ
だったら日本人的には当面ありの方がいいんじゃないの

**デフォルトの名無しさん** · 2023/10/11(水) 17:54:36.20

まじで文字コード判定でBOM必要とするなんてExcel以外にしらんし
他にならって決め打ちか失敗前提で推測する実装にしとけばこんなことにはならなんだ

**デフォルトの名無しさん** · 2023/10/11(水) 23:59:31.72

>>443
今はネット通信もローカルもUTF8を使うのが普通だからBOMは要らない
HTTPやHTMLならそこで文字コード指定できるし

**デフォルトの名無しさん** · 2023/10/12(木) 21:40:02.12

UTF8を使うのが普通だったりエンコーディングを指定できる所ばかりじゃないんだからBOMがあるのは仕方ない

**デフォルトの名無しさん** · 2023/10/12(木) 22:03:04.02

>>444
まさにExcelのためにBOM付けてる

>>445
早くWindowsのシステムロケールが標準でUTF-8になれば良いな

**デフォルトの名無しさん** · 2023/10/12(木) 22:26:37.40

visual studioもbom必要
設定でutf8指定したら不要だけど
外部のソースまでutf8前提になるので踏み切れない

**デフォルトの名無しさん** · 2023/10/12(木) 23:49:07.23

いわゆるWindows PowerShell（5.x系）も、日本語を含むスクリプトの場合は BOM付きUTF-8 で保存する必要がある

文字コード、改行コード（何らかのデミリタ）に関わる問題は果てしなく続く
そして、文字数カウント問題も...

**デフォルトの名無しさん** · 2023/10/13(金) 08:42:04.37

>>447
Mac, iPhone も Linux, android も BOM なし UTF8 オンリーで、十分いけてることを考ええると、
UTF8にBOM必要とかいってるやつも、日本語 Windows の system locale が UTF8 なったら手のひら返すだろうね

**デフォルトの名無しさん** · 2023/10/13(金) 09:08:31.59

必要だから使っているだけで、必要なくなったら使わなくなるだけ。
手のひら返すって発想が出るのはこれをなにか派閥争いや宗教的対立ととらえているんだろうな。

**414** · 2023/10/13(金) 09:49:50.49

みんなうるさいなぁ…全然寝れないじゃん！
結論は出ない…という結論が出てるんだから
もうみんな静かにしといて欲しいわ

ホントの結論が出たら起こしてねｗ

**デフォルトの名無しさん** · 2023/10/13(金) 09:59:16.16

UTF-8にBOMは不要だがBOMを要求する出来の悪いアプリが存在するというだけの話
アプリを修正すればいいだけなのに出来の悪い子のためにBOM付きファイルを広めようとするから迷惑がられる

**デフォルトの名無しさん** · 2023/10/13(金) 20:19:14.08

こう、「出来の悪い」とか要らん煽りをちょいちょい挟んでくるのがな

**デフォルトの名無しさん** · 2023/10/13(金) 21:36:36.55

環境のCPのエンコーディングとUTF-8を両対応したくてBOMを導入した設計は偏狭
専用の閉じたデータなら勝手にどうぞだけどCSVファイルだよ
出来が悪いにもほどがある

**デフォルトの名無しさん** · 2023/10/13(金) 22:08:36.81

一応Unicode規格に定められた仕様なわけだがそれを正しく実装しても出来が悪い呼ばわりするわけだな

**デフォルトの名無しさん** · 2023/10/13(金) 23:15:47.89

CSVファイルの一般的書式 (RFC4180 日本語訳)
http://www.kasai.fm/wiki/rfc4180jp

CSVファイルにBOM付けるな、なんてどこに書いてあるんだよ

**デフォルトの名無しさん** · 2023/10/14(土) 00:20:16.97

>>457
ABNF表記

そのRFCはメジャーではないし従う必要もないけどね

**デフォルトの名無しさん** · 2023/10/14(土) 12:58:12.11

VC++はコンパイルオプションでBOM無し通るようになったから許す

**デフォルトの名無しさん** · 2023/10/14(土) 23:17:30.52

あ、そうか。UTF-8なのにBOM入りにする理由はコードの自動判別のためか。

**デフォルトの名無しさん** · 2023/10/15(日) 01:20:23.94

>>460
Windows は文字コードの指定がないとシステムロカールに設定されている文字コード（日本語WiIndows11だとCP932=SJIS)という約束になっていて、これを変更せずに UTF－8 を使いたいがための苦肉の策だった(過去形）。
最近はマイクロソフトはこの約束を破棄して標準を UTF－8 にするよう要請してるし、将来システムロケールのデフォルトを UTF－8 に変更することは確実なので、単なる経過措置。

**デフォルトの名無しさん** · 2023/10/15(日) 01:39:21.51

メモ帳のデフォルトの文字コードは、BOM付きUTF-8