文字コード総合スレ Part10 [転載禁止]©2ch.net

**デフォルトの名無しさん** · 2015/10/14(水) 20:29:00.08

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/

**デフォルトの名無しさん** · 2015/11/09(月) 14:08:54.96

Unicode 10.0あたりになったら収録されるんだろうか?

**デフォルトの名無しさん** · 2015/11/09(月) 22:16:17.29

>>49
そうなの？文字として？

**デフォルトの名無しさん** · 2015/11/09(月) 23:44:45.41

ビットコインマーク、Unicodeに収録へ | スラド IT
http://it.srad.jp/story/15/11/09/055230/
Bitcoin 'B' Approved By Computer Text Standards Body
http://www.coindesk.com/bitcoin-unicode-symbol-approval/
http://www.unicode.org/L2/L2015/15229-bitcoin-sign.pdf

**デフォルトの名無しさん** · 2015/11/10(火) 12:10:29.99

ペリカもはよ

**デフォルトの名無しさん** · 2015/11/11(水) 22:12:58.76

ぼ
さ
ん

& ◆Pw.ZL0FkaP42 · 2015/11/11(水) 22:13:45.21

**デフォルトの名無しさん** · 2015/11/11(水) 22:23:37.04

GB2312に平仮名、片仮名が収録されているというのも不可解なもんだ。
あいつら反日、嫌日のはずなのに。

**デフォルトの名無しさん** · 2015/11/11(水) 23:13:58.34

シュエエアィサィ的な使い方を想定していたんじゃなかろうか

**デフォルトの名無しさん** · 2015/11/12(木) 23:09:21.24

しかも簡体字フォントの仮名のデザインが脱力。
日本語版Windowsにも標準で付いている。たぶんMacにも。

**デフォルトの名無しさん** · 2015/11/13(金) 14:48:06.39

韓国のKS C 5601(KS X 1001)にも平仮名、片仮名入ってるし
単にJIS C 6226(JIS X 0208)の構造コピーして必要なところ以外はそのまま放置しただけなんじゃ……。

**デフォルトの名無しさん** · 2015/11/13(金) 16:17:05.05

日本語の文章捏造するために必要だから

**デフォルトの名無しさん** · 2015/11/13(金) 17:57:15.36

GBKはX 0208をベースに作った
韓国はX 0208をパクった上に起源を主張し出した

**デフォルトの名無しさん** · 2015/11/14(土) 12:15:58.19

そういうのは嫌韓嫌中スレでやってねw

**デフォルトの名無しさん** · 2015/11/14(土) 16:21:16.08

Androidでのダウンロードしたアプリのapkファイルを取り出してESファイルエクスプローラというアプリでapkファイルの拡張子をzipにして中身を見てるんだけど文字化けしてみえない
どの文字コードにしても見えない

**デフォルトの名無しさん** · 2015/11/14(土) 16:31:04.02

文字コード関係なし

**デフォルトの名無しさん** · 2015/11/18(水) 16:49:52.57

すみません
今ISO-IRの資料を収集してるんですが

http://www.itscj.ipsj.or.jp/ISO-IR/232mapping.txt

の対応表ファイル持ってる方いらっしゃいませんか？
PDFはサーバーにデータ残ってるみたいで保存出来たんですが
他は消されちゃったみたいなんですよね。。。

**デフォルトの名無しさん** · 2015/11/19(木) 01:28:49.91

これ？
https://www.itscj.ipsj.or.jp/iso-ir/232mapping.txt

**デフォルトの名無しさん** · 2015/11/20(金) 02:58:25.44

人名漢字など「文字情報基盤」約6万字の暫定私用コードと対応フォント公開 -INTERNET Watch
http://internet.watch.impress.co.jp/docs/news/20151117_731123.html

**デフォルトの名無しさん** · 2015/11/20(金) 16:27:32.87

>>66
そう、これです！
ありがとうございます！

ずっと
http://www.itscj.ipsj.or.jp/～
と
http://kikaku.itscj.ipsj.or.jp/～
の方ばかり探してたんですが、
https://の方にまだあったんですね、気付かなかった。。。

ありがとうございました。

**デフォルトの名無しさん** · 2015/11/21(土) 03:23:51.12

gbkのひらがなはEUC-JPと互換性がある

ひらがなが含まれてるgbkなテキストファイルを自動判別すると
EUC-JPと認識される

**デフォルトの名無しさん** · 2015/11/21(土) 06:36:56.04

お前かお前の使ってるクソソフトが認識したことを
さも普遍的であるかのように「認識される」と書かれても

**デフォルトの名無しさん** · 2015/11/21(土) 14:00:50.43

>>70
EmEditor と日本語しか対応してないものはすべて同様なんだが

英語圏の方がまとも

**デフォルトの名無しさん** · 2015/11/21(土) 14:57:31.75

全てって…
具体名を十個挙げてみてくれ。

**デフォルトの名無しさん** · 2015/11/22(日) 15:40:38.08

仕様と実装をごちゃ混ぜにしないでほしい

**デフォルトの名無しさん** · 2015/11/24(火) 07:50:30.03

grepをutf16対応にして欲しいわ

**デフォルトの名無しさん** · 2015/11/24(火) 12:09:48.94

>>73
ANSI(SJIS) / JIS / EUC(EUC-JP) / UNICODE / UTF-8
だけしか対応してないんなら仕様だろうけど

EmEditorはgbk / big5も表示可能だが自動識別はダメ

**デフォルトの名無しさん** · 2015/11/24(火) 16:09:46.89

EUC系の自動判別には限界があるってだけの話じゃないのそれ

**デフォルトの名無しさん** · 2015/11/24(火) 17:13:28.90

馬鹿に言ってもしょうがないんだよなあ

**デフォルトの名無しさん** · 2015/11/24(火) 21:06:35.37

文字コードの仕様の話と製品の仕様(実装)の話をごっちゃにしないでください

**デフォルトの名無しさん** · 2015/11/25(水) 13:54:24.53

文字化けし辛い・自動判別に強いという意味ではISO-2022-JP最強だな

**デフォルトの名無しさん** · 2015/11/25(水) 21:01:53.81

>>74
utf-8でガマンガマン

**デフォルトの名無しさん** · 2015/11/26(木) 10:04:26.60

プログラミングやマークアップで場面によって"utf8"だったり"utf-8"だったり"UTF8"だったり"UTF-8"だったりするのは何とかならんのですかね

**デフォルトの名無しさん** · 2015/11/26(木) 18:52:12.64

>>81
それな。
動きおかしいと思ったらハイフンついてたとかある。

**デフォルトの名無しさん** · 2015/11/26(木) 20:23:24.34

>>79
https://ja.wikipedia.org/wiki/ISO-2022-JP
独自拡張しすぎだろ

utf-8最強なのだが
Win9x時代に ANSI(s-jis) + utf-8(※s-jisに無い文字をutf-8にしてる) なんてファイル作る糞ソフトがあったな

**デフォルトの名無しさん** · 2015/11/26(木) 22:39:18.80

>>82
utf-8に関しては-が付いてておかしくなる方がおかしい。

**デフォルトの名無しさん** · 2015/11/26(木) 22:43:40.69

>>83
> ANSI(s-jis)

糞表現w

**デフォルトの名無しさん** · 2015/11/26(木) 23:24:19.12

>>85
悪かったな

糞やろう。

**デフォルトの名無しさん** · 2015/11/26(木) 23:37:04.25

そんなのはプログラミングやマークアップでの指定方法の仕様次第
おかしくなると思うのはバカ

**デフォルトの名無しさん** · 2015/11/26(木) 23:41:50.71

お前が馬鹿だ

**デフォルトの名無しさん** · 2015/11/27(金) 07:32:51.99

>>74
がまんしないで、要望をかいたほうがいいとおもう
どういうgrepがいいのかな？
コマンドですか？　GUIですか？
コマンドなら、画面の環境に依存したりする

**デフォルトの名無しさん** · 2015/11/27(金) 15:43:44.97

>>89
検索対象のデータだけでなく、
引数や端末のencoding systemも関係するからねえ。

**デフォルトの名無しさん** · 2015/11/30(月) 21:59:17.66

「して欲しい」じゃなく自分でやってみればいいのに。

**デフォルトの名無しさん** · 2015/11/30(月) 22:34:12.03

UTF-8って日本語はほぼ3バイトだと思っていいんだっけ？

仕事仲間がそう言ってたけど不安。

**デフォルトの名無しさん** · 2015/11/30(月) 22:58:14.64

そういう曖昧な表現なら答えはyesでありnoでもあるだろう

**デフォルトの名無しさん** · 2015/12/01(火) 02:33:52.32

iconv -f Shift_JIS -t UTF-8 file_name > new_file
サイズを比較
new_fileは、file_nameより1.5倍おおきい

# 日本人にとってUTF-8がいいわけない

**デフォルトの名無しさん** · 2015/12/01(火) 02:44:11.35

ほとんど3バイト
Japanese, Chinese and Korean characters are almost entirely (if not entirely) 3 bytes on UTF-8.

3バイトは、UTF-16をつかう理由になる。
the three-byteness of CJK characters is an often-cited reason to use UTF-16 instead of UTF-8.

http://forum.dlang.org/post/hum5gl$2hfm$1@digitalmars.com

**デフォルトの名無しさん** · 2015/12/01(火) 03:51:29.82

>>94-95
ファイルサイズの事を書くならもっと考慮すべきだな

UTF-8に変換するとどの程度ファイルサイズが膨らむのかは文書の内容により異なる
例えばこのスレの95までのdatファイルの場合は次のようになっていて
元のファイルに対してUTF-8は約 1.25 倍、UTF-16は約 1.5 倍だった

$ wc -c 1444822140-*
 26775 1444822140-cp932.dat
 40234 1444822140-utf16.dat
 33434 1444822140-utf8.dat

ワープロなどの独自形式の内部でUCS2を使うことは十分に意味があると思う
しかしSHIFT_JISのプレーンテキストを変換する場合は、おおよそUTF-8が最大1.5倍
なのに対してUTF-16は最大2倍になる事を忘れてはいけない

**デフォルトの名無しさん** · 2015/12/01(火) 10:01:27.63

UTF-8で日本語が基本3バイト、はもう慣れたけど
ブログやらWikiで日本語使うと1文字につき9バイト必要なのはさすがにちょっと萎える

%E3%81%8B%E3%81%A3%E3%81%B1%E3%81%88%E3%81%B3%E3%81%9B%E3%82%93

とかたった数文字を表すのに長すぎだっての。
文字コードというかUTF-8をパーセントエンコーディング？する時の問題だけれど。

**デフォルトの名無しさん** · 2015/12/01(火) 19:29:51.08

パーセントエンコーディングって単語自体が長くてめんどい。
もっと短く、パンコとかで通用するようにならないかな。

**デフォルトの名無しさん** · 2015/12/01(火) 20:03:05.10

別に人が手作業でやってるわけじゃないのに
なにぶつぶつ言ってるんだろ

**デフォルトの名無しさん** · 2015/12/01(火) 20:18:47.62

>>94
そんな程度のことでutf-8を辞める訳にはいかない。

**デフォルトの名無しさん** · 2015/12/01(火) 20:40:03.81

>>99
完全に隠蔽されてりゃいいけど
日常生活で目に入ってしまうんだから
糞としか言いようがない

**デフォルトの名無しさん** · 2015/12/01(火) 22:44:13.88

URLのパーセントエンコーディングは脆弱性の宝庫になるくらいでただ使う側としてはどうでもいいけど
punycodeはまじでやめろ

**デフォルトの名無しさん** · 2015/12/01(火) 23:03:02.39

なんでやめないといけないぷに？
いいじゃないかぷに。

**デフォルトの名無しさん** · 2015/12/02(水) 01:31:49.86

日本語のソート順くらい日本人に決めさせろや

**デフォルトの名無しさん** · 2015/12/02(水) 09:35:48.18

人の感覚じゃなくて、機械的な感覚がないと・・・

**デフォルトの名無しさん** · 2015/12/02(水) 10:05:36.38

>>104
提案しろよ。
そもそも読みがわからんとソート出来ないのが日本語なんで、
単漢字のソート順なんて大したこだわりないだろ。
植物、人の名前なんか、音読み、訓読み、当て読みと
二種類以上あるの珍しくないからな。

**デフォルトの名無しさん** · 2015/12/02(水) 10:18:22.35

JISコードに頼ったソートも今のコンピュータ環境じゃ、笑・・・・

脆弱性ってのは未熟もんがやるからとかでは
やりこんでる人でもバグは残ることも　あ・・・

**デフォルトの名無しさん** · 2015/12/02(水) 13:55:56.97

日本語のソート順で思い出したが、
JIS(X 0208)が第1水準と第2水準で違う並べ方してるのも意味分からん。
代表音訓でも部首画数順でもいいから統一して欲しかった。

**デフォルトの名無しさん** · 2015/12/04(金) 12:30:36.89

最近勉強し出したのか？
ソート順は確かに面倒だけど他の仕様との絡みを知ればこうするしかないと思う。
理想は理想で持っておけばいいんじゃね？
将来、漢字表刷新するかもしれんし、シフトJIS死滅するかもしれんし。

**デフォルトの名無しさん** · 2015/12/04(金) 12:38:17.66

シフトJIS死滅するのは構わないが、漢字の文化的側面を理解しようともしない欧米人が適当に並べた順でソートされるのは納得いかん。

**デフォルトの名無しさん** · 2015/12/04(金) 12:53:33.88

でもJISコードなら希望通りのソートができるわけでもないだろ

**デフォルトの名無しさん** · 2015/12/04(金) 14:24:16.07

何のために仮名文字があると思っているのか。

**デフォルトの名無しさん** · 2015/12/04(金) 18:29:07.64

文字コード順でソートしてるアホ

**デフォルトの名無しさん** · 2015/12/04(金) 20:17:25.57

いつまでたっても文字集合順序バカはいなくならないね。

全てのいじたいに

**デフォルトの名無しさん** · 2015/12/05(土) 09:09:04.31

半角ｶﾀｶﾅで読みもかいておく。ひとにかいてもらうとかまぁたいへんだけど…
昇順にするとき、半角ｶﾀｶﾅで比較して行を並べ替える

**デフォルトの名無しさん** · 2015/12/05(土) 10:43:28.38

なんでメモ蝶を保存するときに
シフトジスでなくアンジーって表示されてんの?

**デフォルトの名無しさん** · 2015/12/05(土) 11:20:47.89

>>116
アメリカ人がバカだから

**デフォルトの名無しさん** · 2015/12/05(土) 19:58:46.22

>>117
Unicodeもね。
なんで符号化方式の名前じゃなくて制定した組織の名称なのかは謎。
しかも日本語環境ならANSI(=ASCII)ですらないっていう嘘表記。

**デフォルトの名無しさん** · 2015/12/05(土) 20:50:07.85

>>116
あれアンジーって読むのか。
なんとなくアンザイとかだと思ってた。

**デフォルトの名無しさん** · 2015/12/06(日) 00:47:45.72

英語でもWindows-1252であってANSI関係ないけどなー
後にISO/IEC 8859-1になるものが昔ANSIのドラフトとして提案されてたってのが名前の由来らしいけど
Windowsのはそれ更に独自拡張したやつだし

**デフォルトの名無しさん** · 2015/12/06(日) 09:58:13.03

>>119
普通はアンシだけど、調べてみたらアンジでもいいみたい。

アンシ以外は聞いたことがなかった。

**デフォルトの名無しさん** · 2015/12/06(日) 10:48:45.84

お前らも意味不明な文章を見たときに
「日本語でおＫ」って言うだろ？
それと同じ事だ

**デフォルトの名無しさん** · 2015/12/06(日) 11:36:05.85

答えるの面倒な質問だよなw
ANSI==932じゃない
Winowsが繁体字版なら950で保存される

**デフォルトの名無しさん** · 2015/12/06(日) 12:39:48.92

>>120
8859-1だけじゃなくて8859の8bit使うコーディングシステムの変種という理解だろうね。

**デフォルトの名無しさん** · 2015/12/07(月) 08:05:52.84

>>120
なるほど。
ドラフトに噛んでただけなのか

**デフォルトの名無しさん** · 2015/12/09(水) 07:55:39.86

というか昔はANSIが決めてISOが追認って規格がたくさんあった。
アメリカではANSIの規格名で呼び続けることもあった。

**デフォルトの名無しさん** · 2015/12/09(水) 08:29:25.15

ほうほう、シフトジスもANSIが決めたのですか
それは初耳です

**デフォルトの名無しさん** · 2015/12/09(水) 09:52:29.63

>>127
>>124みたいな話でしょ

**デフォルトの名無しさん** · 2015/12/09(水) 16:27:04.50

カメラのフィルムに書いてある数字のこと昔はASA感度って言ってたのに気が付いたらISO感度ってみんな言うようになってたなみたいな話かna

**デフォルトの名無しさん** · 2015/12/09(水) 22:54:10.41

朝感度
磯感度

**デフォルトの名無しさん** · 2015/12/10(木) 08:01:54.07

>>127
えっ!?何言ってんの⁇

**デフォルトの名無しさん** · 2015/12/18(金) 18:25:49.47

>>108
NDL-70のマネだからな
http://www.wdic.org/w/WDIC/NDL-70

**デフォルトの名無しさん** · 2015/12/19(土) 00:00:59.61

第一水準のなんでこの漢字訓読みなんだって漢字もそれ由来なん?

**デフォルトの名無しさん** · 2015/12/19(土) 09:33:24.36

たとえばおしえて

**デフォルトの名無しさん** · 2015/12/19(土) 22:28:28.39

NDL-70の「扱」は「圧」と「安」の間

**デフォルトの名無しさん** · 2015/12/20(日) 02:41:57.27

あっあっあん

**デフォルトの名無しさん** · 2015/12/20(日) 10:16:50.75

しごく
こく

**デフォルトの名無しさん** · 2015/12/20(日) 10:19:07.37

音読みが表外

**デフォルトの名無しさん** · 2016/01/01(金) 03:45:50.30

あけまして

**デフォルトの名無しさん** · 2016/01/01(金) 10:51:09.09

しめました

**デフォルトの名無しさん** · 2016/01/01(金) 23:48:50.10

ISO/IEC 10646のAmd.はもう無料公開されないのかしら

**デフォルトの名無しさん** · 2016/01/03(日) 11:09:11.17

安岡センセイ絶賛ステマ中
http://srad.jp/%7Eyasuoka/journal/599105
＞MZ-80Kの文字コードはなぜ変態的だったのか

**デフォルトの名無しさん** · 2016/01/06(水) 19:04:13.23

年寄りの昔話だな

**デフォルトの名無しさん** · 2016/01/06(水) 20:12:47.63

書き起こして記録しておくことは大切

**デフォルトの名無しさん** · 2016/01/06(水) 20:53:18.67

確かに。

**デフォルトの名無しさん** · 2016/01/15(金) 16:58:58.27

特定機種の話でアレだが
スマホのXperiaがZ4かZ5か知らんけどUnicodeの補助文字(BMP外の文字)表示出来るようになってたわ
俺のZ3では豆腐でがっかりだったのに、いつの間に。

**デフォルトの名無しさん** · 2016/01/15(金) 18:41:54.97

豆腐になるっていうのは普通に考えると
表示能力はあるけどフォントが無いだけだからフォント入れれば済む話では

**デフォルトの名無しさん** · 2016/01/16(土) 01:02:26.88

何個の豆腐かにもよるんじゃなかろうか

**デフォルトの名無しさん** · 2016/01/19(火) 13:39:56.61

http://srad.jp/%7Eyasuoka/journal/599766

安岡センセイ荒れてるけど
Unihanフリーだから論文に使ってもいいんじゃないの？