文字コード総合スレ Part11

**デフォルトの名無しさん** · 2018/01/22(月) 22:58:23.45

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/

**デフォルトの名無しさん** · 2018/12/15(土) 07:05:36.47

>>966
紹介サイトのURLとか貼れます？

**デフォルトの名無しさん** · 2018/12/15(土) 13:39:28.60

シラバス
https://www.ouj.ac.jp/hp/kamoku/2019/kyouyou/C/joho/index.html

この前見たのはこれだったかな
情報理論とデジタル表現（’１９）
の第11回　テキストの符号化

これもおすすめ
デジタル情報の処理と認識（’１８）
通信概論（’１４）

https://www.ouj.ac.jp/hp/bangumi/year_tv.html

公開番組もあり
https://vod.ouj.ac.jp/view/ouj/#/navi/vod?ca=489
https://www.youtube.com/channel/UCd8zAzjHkIcPbnTDyn-q50w/videos

**デフォルトの名無しさん** · 2018/12/15(土) 14:24:01.62

Windows 10 Insider Preview、メモ帳でBOMなしのUTF-8が選択可能に | スラドデベロッパー
https://developers.srad.jp/story/18/12/14/0345249/

ついに

**デフォルトの名無しさん** · 2018/12/15(土) 14:46:24.79

BOMカットするのなんてマなら簡単だろ

**デフォルトの名無しさん** · 2018/12/15(土) 15:14:00.77

マジかよ圧倒的シェアのWindowsがBOM付きだからという理由で自分は全部BOM月にしてたのに梯子外されたのかよ

**デフォルトの名無しさん** · 2018/12/15(土) 15:21:32.65

SJIS絶滅はよ

**デフォルトの名無しさん** · 2018/12/15(土) 15:27:12.87

>>975
わざとらしい。Windowsのネイティブ文字コードはUTF16なんだから普通はUTF16を使うだろ
メモ帳で保存するときに、Unicodeを選んだらUTF16になる
UnicodeといえばUTF16のこと

◆QZaw55cn4c · 2018/12/15(土) 15:27:58.81

>>975
そもそも Byte Order Mark の必要のない UTF-8 に BOM を付けていることが論理的に矛盾していますよね

**デフォルトの名無しさん** · 2018/12/15(土) 15:44:04.63

>>978
UTF-8の使用によると、BOMは文書がUnicodeであることを
自動判定するためにも用いられるらしい
だから名前がおかしいってのはあるけど、機能的には仕様どおりの使い方

◆QZaw55cn4c · 2018/12/15(土) 20:22:50.48

>>979
＞UTF-8の仕様によると、BOMは文書がUnicodeであることを自動判定するためにも用いられる

＞らしい
らしい、ですか…
本当にそうなのか確かめてみました。RFC3629 https://tools.ietf.org/html/rfc3629　の記述は

The UCS character U+FEFF "ZERO WIDTH NO-BREAK SPACE" is also known
informally as "BYTE ORDER MARK" (abbreviated "BOM").

BOM は本来は「ゼロ長割り込みなしスペース」という意味らしいですね…
ながながとあれやこれは書いてあったのですが結論はよくわからないです、誰か英語のできる人、どこを読めばいいか教えてください…

**デフォルトの名無しさん** · 2018/12/15(土) 21:51:17.49

ISO10646では誤解を受けそうなBOMという呼び名は使われていなくてSignatureと言うらしい。
現在ではU+FEFFは専らSignatureを表すものとして、もともとのゼロ幅ノーブレークスペースの意味で
使用することは推奨されていない。代わりにU+2060 WORD JOINERを使用することになっている。

**デフォルトの名無しさん** · 2018/12/15(土) 23:06:31.96

やはり頭悪いのはunicodeと符号化を混同してる
文書は符号化されたunicodeということになる

2つ以上のｵｸﾃｯﾄを使う符号単位で
BOM入れないﾔﾂは池沼だからな

**デフォルトの名無しさん** · 2018/12/16(日) 00:59:01.64

WindowsがなぜUTF-16のことをUnicodeといっているかというと、
Windows NT 初代の3.1（1994年）当時は世界中の文字は16bitで
全て表現できると思われていたからだよ。

Windows NTは最初からUnicodeに対応したOSなのだが、
当時はUnicode = 16bit = UTF-16が成り立っていた

それが間違っているとわかってUnicodeが21bitに拡張されたのが
Unicode 2.0 （1996年7月）

メモ帳がUTF-16をUnicodeと表現するのはその名残りだよ
そういう歴史を知らないで語ると恥をかく

**デフォルトの名無しさん** · 2018/12/16(日) 02:37:42.34

その当時の話をするならUCS-2じゃないの？

**デフォルトの名無しさん** · 2018/12/16(日) 05:34:39.63

寿司と言えば江戸だったから江戸前って名前になった、まで読んだ。

**デフォルトの名無しさん** · 2018/12/16(日) 11:01:00.63

時すでにお寿司

**デフォルトの名無しさん** · 2018/12/16(日) 12:33:16.52

>>985
��

**デフォルトの名無しさん** · 2018/12/16(日) 12:35:57.48

寿司と言えば江戸ではなかったから、
江戸の寿司と強調したいときは、わざわざ江戸前寿司というようになった
ではないのか？

**デフォルトの名無しさん** · 2018/12/16(日) 13:50:47.39

寿司食いねえ! 🍣

**デフォルトの名無しさん** · 2018/12/16(日) 15:02:40.57

押し寿司とかなれ寿司が寿司だよな。
酢で酸っぱくした寿司なんかフェイク寿司もいいところ。

**デフォルトの名無しさん** · 2018/12/16(日) 18:49:12.48

押し寿司も酢飯使ってるよ

**デフォルトの名無しさん** · 2018/12/16(日) 20:12:23.42

火縄銃といえば種子島だから種子島って名前になった、まで読んだ

**デフォルトの名無しさん** · 2018/12/16(日) 20:40:53.56

違うぞ。種子島の種とは、
子種のことだぞ。

種子島＝子種島＝ザーメン島

**デフォルトの名無しさん** · 2018/12/16(日) 21:01:19.88

だから鉄砲はぴゅぴゅっと出るんですね

**デフォルトの名無しさん** · 2018/12/16(日) 21:10:12.52

>>987
日本語でok

**デフォルトの名無しさん** · 2018/12/17(月) 16:59:55.19

新スレ

文字コード総合スレ Part12
http://mevius.5ch.net/test/read.cgi/tech/1545032904/

**デフォルトの名無しさん** · 2018/12/17(月) 21:10:45.75

ドイツ語だと植物の種子も同じだからどうでもいい。

**デフォルトの名無しさん** · 2018/12/17(月) 21:18:37.04

次スレ

文字コード総合スレ Part12
https://mevius.5ch.net/test/read.cgi/tech/1544931495/

**デフォルトの名無しさん** · 2018/12/17(月) 22:43:33.00

>>996
thanx

**デフォルトの名無しさん** · 2018/12/18(火) 01:01:53.52

次スレなぜか分裂

**1001** · Over 1000

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 329日 2時間 3分 30秒