文字コード総合スレ Part12

**デフォルトの名無しさん** · 2018/12/16(日) 12:38:15.61

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/

**デフォルトの名無しさん** · 2019/06/16(日) 11:45:02.01

これもなんで金になるのか判らんやつ
と
でいいのに
https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcRN0np1ZmeG8ZgXTV8K1Vjx-yF9KCNZgu3AKkiOYyYxdnnl-wk7

**デフォルトの名無しさん** · 2019/06/16(日) 13:03:35.22

木天火土水で6人目のゴールドは光です・・・

**デフォルトの名無しさん** · 2019/06/16(日) 17:16:00.47

>>479-480
わらったw

**デフォルトの名無しさん** · 2019/06/18(火) 06:18:41.06

プログラム板にキチガイ降臨中！botに一晩も反応する異常さ
一般人(学校恩師)に殺害予告をしているのでスレ建て通報してください。
https://mevius.5ch.net/test/read.cgi/tech/1559872586/

142 名前：a4 ◆700L1Efzuv 投稿日：2019/06/18(火) 05:29:55 ID://qVkzO
>>141
名古屋の人な　俺ね、君の問題を大橋先生と混ぜないことにする。つまりね、
片桐孝洋のことをボコろうと思う。普通に顎の骨を折る。これくらいで警察来るか？
一般市民とかさ、普通にさ、俺らの秘密なんだけどさ、日本人なんて復活ねーから。

**デフォルトの名無しさん** · 2019/06/22(土) 01:57:21.14

>>482
釣られてそのスレ見に行ったけど
寧ろそのa4っていう小手の人が被害に遭ってるように思えたけどな

**デフォルトの名無しさん** · 2019/06/25(火) 03:50:40.53

ヲシテ文字って使えないの？

**デフォルトの名無しさん** · 2019/06/25(火) 05:40:01.35

Unicode協会が配布してるプログラムでシェルスクリプトでUTF-8文字列を扱えるデータってないかな。
入力されたUTF-8文字列が何文字かを判定したりするのに都合の良いスクリプト。

**デフォルトの名無しさん** · 2019/06/25(火) 06:09:39.19

にほんごでおｋ

**デフォルトの名無しさん** · 2019/06/25(火) 06:42:32.78

CLDR for shellみたいなのがないかなと。

**デフォルトの名無しさん** · 2019/06/25(火) 13:49:53.45

Unicode協会って書かれると、アグネスがやってるパチモンに見えてくる

**デフォルトの名無しさん** · 2019/06/28(金) 22:59:11.92

使えないよ
その手の文字が登録されたことはあるのかな

**デフォルトの名無しさん** · 2019/06/29(土) 01:02:31.02

Dohentaiyagana

**デフォルトの名無しさん** · 2019/06/29(土) 01:49:55.29

神代VSでまとめてしまおう

**デフォルトの名無しさん** · 2019/06/29(土) 02:20:12.41

最近Kenのツイートが酷い
LunaticとかAdobe的にいいのか

**デフォルトの名無しさん** · 2019/06/30(日) 02:04:42.75

絵文字をリガチャとして実装するという話を聞いたことがあるが
良いアイデアだと思う。
これ以上貴重な符号位置を占有しないで欲しい。

**デフォルトの名無しさん** · 2019/06/30(日) 02:44:42.35

絵文字ガチャに見えた

**デフォルトの名無しさん** · 2019/06/30(日) 18:46:20.88

https://symbolset.com/
これとか。素晴しい発想だと思いませんこと？（お嬢様風）

**デフォルトの名無しさん** · 2019/06/30(日) 19:55:14.68

全然

**デフォルトの名無しさん** · 2019/06/30(日) 20:32:53.74

見る側の環境によって、絵文字を使った側の人が意図しなかった単語に化ける現象が発生してしまう

**デフォルトの名無しさん** · 2019/06/30(日) 21:02:05.57

>>497
実はそれを意図しているんだな、これが。
Webフォントが使えなかった場合に，意味不明な私的領域のコードポイントではなくその絵文字の「意味」の単語になるっていうフェールセーフ。
この発想はアクセシビリティの面からしてすごいと思う。
今までも↑こういうことを実現する手段はあったが（aria-*とか::beforeとかを活用する），
いささかハックじみた手法だったのに対して，この方法はほとんど何のひねりもないし，かつ
高いアクセシビリティを誇る。

**デフォルトの名無しさん** · 2019/06/30(日) 21:31:19.26

なんか公式ページの説明が簡素すぎてよく分からん。
素晴らしさを伝える記事とかないの？

**デフォルトの名無しさん** · 2019/06/30(日) 22:16:35.89

>>498
全然意図してないと思うぞ。＞使った側の人が意図しなかった単語に化ける現象
これがアクセシビリティ向上になるのは入力者が単語と絵文字の対応を把握している場合だけで、
把握してない場合は入力者が知らない結果が出力される謎フォールバックになる。

入力者が絵文字パレットから選ぶ仕組みなら単語を把握してない可能性が高まるし、
個別に校正かけるなら元々あるimg altとかではなくWebフォントを使う強みは何？ってなるし

**デフォルトの名無しさん** · 2019/06/30(日) 23:23:56.67

どのフォントでどこからどこまでリガチャっていう指定を含めないといけないからプレーンテキストで利用できない
リッチテキスト使えるなら画像でいい

**デフォルトの名無しさん** · 2019/07/01(月) 00:12:01.52

This is a pen��.とか[�� Download Now!]みたいにもともと並べて使うことも多いしな。
This is a penpen.や[Download Download Now!]は変やろ。あとThat is a ��guin.の誤爆避けも必要になる。

**デフォルトの名無しさん** · 2019/07/01(月) 05:12:02.84

https://8beat-studio.net/how-to-use-ligaturesymbols/
とか？ >>499

**デフォルトの名無しさん** · 2019/07/01(月) 05:12:32.89

>>500
Webフォントを使う強みはページ読み込み速度の向上だと思うよ。

**デフォルトの名無しさん** · 2019/07/01(月) 05:13:03.16

>>500
あ、それと色とか大きさとかをCSSでより柔軟に調整できる。

**デフォルトの名無しさん** · 2019/07/01(月) 12:02:58.02

SVGベタ書きがいいと思う

**デフォルトの名無しさん** · 2019/07/01(月) 13:38:09.58

WebフォントってDL待ちでむしろ遅いイメージしかないな…

**デフォルトの名無しさん** · 2019/07/01(月) 16:21:02.28

日本語だとどうしても…
サブセット化もこれから足してくコンテンツ考えるとあんまりいいソリューションとは…

**デフォルトの名無しさん** · 2019/07/01(月) 19:16:16.83

>>507
>>508
絵文字リガチャフォントだと高々100個くらいだから
日本語Webフォントの常識は当て嵌らんぞ

**デフォルトの名無しさん** · 2019/07/01(月) 21:01:31.88

推すなあ。
あえてこれ使いたいと思うならもちろん自由に使えばいいと思うが、
正直これを選ぶメリットがある局面はすごく限られてる気しかしない。

**デフォルトの名無しさん** · 2019/07/04(木) 14:48:01.78

ISO/IEC 10646:2017/Amd 2:2019 - Nandinagari, Georgian extension, and other characters
https://www.iso.org/standard/73773.html

いつの間にか完成していた。

**デフォルトの名無しさん** · 2019/07/05(金) 07:31:35.09

JISにも取り込まれるかな？

**デフォルトの名無しさん** · 2019/07/12(金) 14:32:58.64

>>97
BCってなに？

**デフォルトの名無しさん** · 2019/07/12(金) 23:51:11.25

ブラックキャップ

**デフォルトの名無しさん** · 2019/07/13(土) 19:08:40.33

まじめに答えてほしかった。。。

**デフォルトの名無しさん** · 2019/07/13(土) 20:43:48.97

��?

**デフォルトの名無しさん** · 2019/07/13(土) 22:47:35.97

>>516
何これ？

**デフォルトの名無しさん** · 2019/07/14(日) 01:25:41.28

ブラックキャップ

**デフォルトの名無しさん** · 2019/07/14(日) 09:54:29.74

ワロタ

**デフォルトの名無しさん** · 2019/07/14(日) 22:04:02.29

>>513
>>97じゃないから確かなことは言えないけど
「better choice」じゃないかな？
つまり絵文字を「入れざるを得ない」ってことね。

**デフォルトの名無しさん** · 2019/07/15(月) 03:44:17.27

単に後方互換だろ…

**デフォルトの名無しさん** · 2019/07/15(月) 04:14:22.81

BA-90使いたいのに斑の黄顔になるのはなんだかなー

**デフォルトの名無しさん** · 2019/07/16(火) 23:08:05.64

IC: 相互互換性
FC: 前方互換性
BC: 後方互換性
UC: 上位互換性
LC: 下位互換性
ちい覚えた

**デフォルトの名無しさん** · 2019/07/17(水) 11:56:39.82

LeftとかRightとかCorrectは無いんか

**デフォルトの名無しさん** · 2019/07/17(水) 16:54:36.95

>>524
correctはともかく左右は確実にねーだろw

**デフォルトの名無しさん** · 2019/07/18(木) 14:33:21.11

共産とりっけんと社民社と国民主と令和革命はLC互換

**デフォルトの名無しさん** · 2019/07/18(木) 23:12:28.17

>>526
わろたw

**デフォルトの名無しさん** · 2019/07/23(火) 15:56:55.39

https://github.com/qntm/base65536
↑Unicodeの基本多言語面を使ったエンコード方法w

**デフォルトの名無しさん** · 2019/07/23(火) 17:04:19.76

高度に発達したエンコードはMojibakeと見分けがつかない

**デフォルトの名無しさん** · 2019/07/24(水) 00:37:51.21

基本多言語面って制御文字含んでるよね。
それbaseXXの本来の意味を成してないw

**デフォルトの名無しさん** · 2019/08/18(日) 16:07:01.10

W3Cのwebページが文字化けしてて草。
文字コードの本元の一つがこんな体たらくでいいのだろうか…w
https://www.w3.org/People/mimasa/xmldev.html.ja.sjis

**デフォルトの名無しさん** · 2019/08/18(日) 17:27:15.46

読めるけど...?

**デフォルトの名無しさん** · 2019/08/18(日) 23:04:31.46

ISO-2022-JP のくせに content-type: text/html; charset=shift_jis で送ってきてるからなあ

**デフォルトの名無しさん** · 2019/08/19(月) 01:20:35.42

(´・・∀・・`)ほう

**デフォルトの名無しさん** · 2019/08/19(月) 06:07:28.33

>>533
あ、そういうことか。と思ったけどChromiumだとどうしようもねぇわ。
最近のブラウザって文字コードを修正する機能みたいなのって消えてるね。

**デフォルトの名無しさん** · 2019/08/19(月) 07:31:42.15

>>535
Firefox68には文字コード指定が残ってる
通常は無効になってるけど>>531のリンク先を表示したときは有効になって
ISO-2022-JPを指定すると文字化けなしで読めた

**デフォルトの名無しさん** · 2019/08/19(月) 08:38:57.28

ところでW3Cって文字コードの制定とかに関わってたっけ？
XMLが使う符号化文字集合にUnicodeを推奨してるくらいじゃない？

**デフォルトの名無しさん** · 2019/08/20(火) 11:37:07.61

>>531
これはひどいω

**デフォルトの名無しさん** · 2019/08/20(火) 11:39:07.12

>>533
ファイル名まで .sjis つけてるくせになんで iso-2022-jp で保存してるのかイミフ

**デフォルトの名無しさん** · 2019/08/20(火) 18:30:12.77

なんか同じような原因で文字化けしてるページに対して
同じようなレスをした記憶が…と思ったら前スレにあった。
記憶障害じゃなくてよかったw
https://mevius.5ch.net/test/read.cgi/tech/1516629503/821-843

**デフォルトの名無しさん** · 2019/08/20(火) 21:44:07.86

HTMLをiso-2022-jpにするのって
どこの文化なんだろうか？

Windowsはsjisだからありえないし
Linuxも昔の普通はEUC-JPだろ？

iso-2022-jpはメールにしか使われてなかったはずだが

**デフォルトの名無しさん** · 2019/08/20(火) 21:47:57.43

>>531
イシカワマサヤスというのは誰だろうね。

**デフォルトの名無しさん** · 2019/08/20(火) 21:51:25.41

イシカワマサヤスさんでは？

**デフォルトの名無しさん** · 2019/08/20(火) 21:52:36.86

石川雅康と石川哲志は親族だろうか？

どちらもICT業界から去ったのかな。

**デフォルトの名無しさん** · 2019/08/20(火) 21:54:13.55

またつまらんものを

**デフォルトの名無しさん** · 2019/08/20(火) 21:58:33.22

XHTMLが終わってしまって、そのまま放置の石川さん。

**デフォルトの名無しさん** · 2019/08/20(火) 22:46:49.05

>>541
sjisやeuc-jpが整う前は、HTMLをiso-2022-jpにするのも選択肢の一つだったらしい
ttp://www.tohoho-web.com/lng/199801/98011002.htm

**デフォルトの名無しさん** · 2019/08/20(火) 23:01:02.75

>>547
http://の先頭のhを取っても付けても同じですよ。

**デフォルトの名無しさん** · 2019/08/20(火) 23:43:43.88

> どこかの雑誌で、「charset=iso-2022-jp は自動判別の指定」と堂々と紹介された
http://web.archive.org/web/19980116120529/http://www.pro.or.jp/~fuji/horrible/horrible.kanji.html
えぇ……。

**デフォルトの名無しさん** · 2019/08/21(水) 00:08:09.19

1998年当時のWebブラウザはキャラクタセットの判定すら怪しかった。

**デフォルトの名無しさん** · 2019/08/21(水) 02:35:13.27

>>549
そのリンク先に書いてあるけど、iso-2022-jp が使われてるのはMSが発端なのか？

> name="GENERATOR" content="Microsoft FrontPage 2.0"
> というのが各HTMLファイルの先頭にあることから、Microsoft の FrontPage が漢字コードがシフトJISのファイルであるにもかかわらず、iso-2022-jp の指定するからではないかと思われます。

**デフォルトの名無しさん** · 2019/08/21(水) 03:44:23.93

>>540
流れは似てるが今回は指摘されてるURLが問題なんだろ
よりによってアイツがってやつさ

**551** · 2019/08/21(水) 05:07:33.18

あ、違ったわ。MSのはMicrosoft FrontPage 2.0がmetaタグの指定を間違ってるって話で
HTMLの内容がiso-2022-jpというのはまた別問題か

sjis以外あるかな？ってやってみたら他のエンコーディングも見つかったし
>>531は単なる文字コード変換ミスかな？

https://www.w3.org/People/mimasa/xmldev.html.ja.aaaaa

**デフォルトの名無しさん** · 2019/08/21(水) 14:49:37.63

拡張子付け間違いか

**デフォルトの名無しさん** · 2019/08/22(木) 06:16:14.71

ブラウザって一時だけでも拡張子によって文字コードを判断してた時期があったの？
俺の記憶にはないのだけども……。

**デフォルトの名無しさん** · 2019/08/22(木) 06:36:57.94

だからこれはjisという拡張子でHTTPヘッダのcharsetもshift_jisなのに
中身がiso-2022-jpなんだってば

iso-2022-jpが使えるテキストエディタで書いたか
sjisに変換すべきところをiso-2022-jpに変換してしまったということ
昔のWindowsで書いたならsjisになるだろうから変換ミスかなって話

**デフォルトの名無しさん** · 2019/08/22(木) 08:04:31.58

jisって拡張子ならiso-2022-jp(JISコード)なのは意図通りだろ
HTTPヘッダのcharsetが食い違ってるだけで

**デフォルトの名無しさん** · 2019/08/22(木) 09:50:35.92

鯖の仕様が変わってcharsetのデフォが変わったからな
サーバー引越のときに設定間違えた可能性はあり得る

**デフォルトの名無しさん** · 2019/08/22(木) 10:23:09.36

>>557
拡張子はjisじゃなくてsjisな
だからドキュメントの文字コードが明らかに間違ってるんだよ

**デフォルトの名無しさん** · 2019/08/22(木) 10:30:34.86

昔のブラウザはHTTPヘッダのcharsetよりも
ドキュメントからの文字コード判定の方を重視していた。

なぜならセキュリティというかサーバー運営者がよくわかっておらず
設定変更の必要性を理解できていなかったので設定されてなかった
たとえ設定変更ができるサーバーでもユーザーが理解していなかった

そんな時代だからブラウザで表示できれば良し程度のレベルが普通で
今からするとチェックが甘かった。その当時の間違った文字コードのページが今も残っている。

たぶんこんなところ

**デフォルトの名無しさん** · 2019/08/22(木) 10:33:49.69

>>559
お前のレスの >>556 には jis って書いてあるだろω
お前が原因

**デフォルトの名無しさん** · 2019/08/22(木) 10:35:00.76

>>561
単なる書き間違えじゃね？
リンク先見ればわかるでしょ

**デフォルトの名無しさん** · 2019/08/22(木) 10:38:26.99

>だからこれはjisという拡張子でHTTPヘッダのcharsetもshift_jis

こういうおっちょこちょいが >>531 みたいなミス連発するんだろうな

**デフォルトの名無しさん** · 2019/08/22(木) 15:58:03.72

皆さん落ち着いて

**デフォルトの名無しさん** · 2019/08/23(金) 17:29:19.40

なんでUTF8以外違法になった今そんな話してんだか・・・

**デフォルトの名無しさん** · 2019/08/23(金) 17:59:07.09

× 違法 ○ 非推奨

**デフォルトの名無しさん** · 2019/08/24(土) 00:05:20.43

秘宝とか緋水晶とか何の話をしてるんだ？

**デフォルトの名無しさん** · 2019/08/25(日) 20:34:39.12

ムーンプリズムパワー!メイクアップ!

**デフォルトの名無しさん** · 2019/08/25(日) 22:05:01.03

ﾀﾘｽﾏﾝ

**デフォルトの名無しさん** · 2019/08/25(日) 22:36:09.44

ｸﾘﾏﾀｽﾐ

**デフォルトの名無しさん** · 2019/08/28(水) 13:35:52.48

ひまだ

**デフォルトの名無しさん** · 2019/08/28(水) 19:19:16.62

サクラエディタがとうの昔にUTF32対応していた事実をいまごろ知った。

**デフォルトの名無しさん** · 2019/08/28(水) 20:04:07.93

じっさい32じたいそんな使わないだろｗ

**デフォルトの名無しさん** · 2019/08/29(木) 18:28:30.40

でもUTF-16の「どんな文字でも固定ビット幅」という利点が失われてしまった今，
固定ビット幅が実現できる唯一の規格であるUTF-32は希少では。

**デフォルトの名無しさん** · 2019/08/29(木) 18:42:08.11

読むぶんにはナイーブな実装で足りるからいいけど実際使うとなったら00が無駄に思えてきて敬遠しがち
だからもしかすると文字コードでさえ適材適所なのかと考え始めている

**デフォルトの名無しさん** · 2019/08/29(木) 18:49:00.69

内部表現は32bit単位で固定長の方が楽
ファイル読み書きのときはutf-8で勝利
あとはcps932が滅ぶのを待つだけ

**デフォルトの名無しさん** · 2019/08/29(木) 19:05:33.35

OSのインターフェースはUTF-8，内部表現はUTF-32が一番いいのかもね。
UTF-32だとASCIIに比べて単純計算で四倍弱の容量を食ってしまうのが難点。
でもOSの本体くらいならそもそもテキストとして表現されてるファイルも少ないし案外肥大化は防げるのかも。

**デフォルトの名無しさん** · 2019/08/29(木) 19:09:37.98

という会話を何年も前にこのスレで観た