文字コード総合スレ Part10 [転載禁止]©2ch.net

**デフォルトの名無しさん** · 2015/10/14(水) 20:29:00.08

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/

**デフォルトの名無しさん** · 2015/12/06(日) 09:58:13.03

>>119
普通はアンシだけど、調べてみたらアンジでもいいみたい。

アンシ以外は聞いたことがなかった。

**デフォルトの名無しさん** · 2015/12/06(日) 10:48:45.84

お前らも意味不明な文章を見たときに
「日本語でおＫ」って言うだろ？
それと同じ事だ

**デフォルトの名無しさん** · 2015/12/06(日) 11:36:05.85

答えるの面倒な質問だよなw
ANSI==932じゃない
Winowsが繁体字版なら950で保存される

**デフォルトの名無しさん** · 2015/12/06(日) 12:39:48.92

>>120
8859-1だけじゃなくて8859の8bit使うコーディングシステムの変種という理解だろうね。

**デフォルトの名無しさん** · 2015/12/07(月) 08:05:52.84

>>120
なるほど。
ドラフトに噛んでただけなのか

**デフォルトの名無しさん** · 2015/12/09(水) 07:55:39.86

というか昔はANSIが決めてISOが追認って規格がたくさんあった。
アメリカではANSIの規格名で呼び続けることもあった。

**デフォルトの名無しさん** · 2015/12/09(水) 08:29:25.15

ほうほう、シフトジスもANSIが決めたのですか
それは初耳です

**デフォルトの名無しさん** · 2015/12/09(水) 09:52:29.63

>>127
>>124みたいな話でしょ

**デフォルトの名無しさん** · 2015/12/09(水) 16:27:04.50

カメラのフィルムに書いてある数字のこと昔はASA感度って言ってたのに気が付いたらISO感度ってみんな言うようになってたなみたいな話かna

**デフォルトの名無しさん** · 2015/12/09(水) 22:54:10.41

朝感度
磯感度

**デフォルトの名無しさん** · 2015/12/10(木) 08:01:54.07

>>127
えっ!?何言ってんの⁇

**デフォルトの名無しさん** · 2015/12/18(金) 18:25:49.47

>>108
NDL-70のマネだからな
http://www.wdic.org/w/WDIC/NDL-70

**デフォルトの名無しさん** · 2015/12/19(土) 00:00:59.61

第一水準のなんでこの漢字訓読みなんだって漢字もそれ由来なん?

**デフォルトの名無しさん** · 2015/12/19(土) 09:33:24.36

たとえばおしえて

**デフォルトの名無しさん** · 2015/12/19(土) 22:28:28.39

NDL-70の「扱」は「圧」と「安」の間

**デフォルトの名無しさん** · 2015/12/20(日) 02:41:57.27

あっあっあん

**デフォルトの名無しさん** · 2015/12/20(日) 10:16:50.75

しごく
こく

**デフォルトの名無しさん** · 2015/12/20(日) 10:19:07.37

音読みが表外

**デフォルトの名無しさん** · 2016/01/01(金) 03:45:50.30

あけまして

**デフォルトの名無しさん** · 2016/01/01(金) 10:51:09.09

しめました

**デフォルトの名無しさん** · 2016/01/01(金) 23:48:50.10

ISO/IEC 10646のAmd.はもう無料公開されないのかしら

**デフォルトの名無しさん** · 2016/01/03(日) 11:09:11.17

安岡センセイ絶賛ステマ中
http://srad.jp/%7Eyasuoka/journal/599105
＞MZ-80Kの文字コードはなぜ変態的だったのか

**デフォルトの名無しさん** · 2016/01/06(水) 19:04:13.23

年寄りの昔話だな

**デフォルトの名無しさん** · 2016/01/06(水) 20:12:47.63

書き起こして記録しておくことは大切

**デフォルトの名無しさん** · 2016/01/06(水) 20:53:18.67

確かに。

**デフォルトの名無しさん** · 2016/01/15(金) 16:58:58.27

特定機種の話でアレだが
スマホのXperiaがZ4かZ5か知らんけどUnicodeの補助文字(BMP外の文字)表示出来るようになってたわ
俺のZ3では豆腐でがっかりだったのに、いつの間に。

**デフォルトの名無しさん** · 2016/01/15(金) 18:41:54.97

豆腐になるっていうのは普通に考えると
表示能力はあるけどフォントが無いだけだからフォント入れれば済む話では

**デフォルトの名無しさん** · 2016/01/16(土) 01:02:26.88

何個の豆腐かにもよるんじゃなかろうか

**デフォルトの名無しさん** · 2016/01/19(火) 13:39:56.61

http://srad.jp/%7Eyasuoka/journal/599766

安岡センセイ荒れてるけど
Unihanフリーだから論文に使ってもいいんじゃないの？

**デフォルトの名無しさん** · 2016/01/19(火) 20:31:34.42

使ったならちゃんとそう書けって話で
使うなということではない

**デフォルトの名無しさん** · 2016/01/22(金) 19:46:47.72

[要出典]
てか

**デフォルトの名無しさん** · 2016/01/22(金) 20:00:04.23

アホの安岡が
『「常用漢字表と人名用漢字表を元にしてテキストを作成した[1]」のが事実なら』
と鍵かっこで強調してるというのに
日本語も読めないのかこの馬鹿(>151)は

**デフォルトの名無しさん** · 2016/01/25(月) 22:08:23.80

Unicodeには常用漢字表も人名用漢字表も含まれてるから、
結局のとこ、Unihanで無問題な希ガス

**デフォルトの名無しさん** · 2016/01/25(月) 22:37:19.56

そんな甘い考えでやっちまったんだろうなあ

**片山博文MZ** ◆T6xkBnTXz7B0 · 2016/01/29(金) 15:58:28.60

与えられたテキストがUCS16に合致するか判定するアルゴリズムってある？

**デフォルトの名無しさん** · 2016/01/29(金) 16:42:21.91

iconvはルールが厳しいから
入ロクおかしければ変換失敗する

**片山博文MZ** ◆T6xkBnTXz7B0 · 2016/01/30(土) 22:17:33.35

nkfは、ライブラリとしては中途半端なんだよな。
スタティックライブラリとして利用可能にしてほしい。

**デフォルトの名無しさん** · 2016/01/31(日) 00:56:53.78

nkfって厳密さより何となく動くこと重視してるし
変換も自然とは言いがたい独自なのあるから注意

**デフォルトの名無しさん** · 2016/02/01(月) 00:21:45.94

ほええそういうものなのか

**デフォルトの名無しさん** · 2016/02/03(水) 21:14:57.17

シフトJISを作るときに2バイト目が0x00-7Fを避けるようにはできなかったのかな？
こうすればダメ文字問題も起こらないのに。

**デフォルトの名無しさん** · 2016/02/03(水) 21:41:36.87

>>160
半角カナは1バイト
漢字は2バイト
って制約があるから無理

**デフォルトの名無しさん** · 2016/02/03(水) 21:50:14.56

>>161は会話のできないあすぺ

**デフォルトの名無しさん** · 2016/02/03(水) 21:58:17.93

できなくはなかっただろうな
FFと1バイト目の半角カナを避けても
63×127=8001文字は使える

**デフォルトの名無しさん** · 2016/02/03(水) 23:45:43.20

Unicodeがあるのに今さらという感じはするけど
半角文字は1バイト全角文字は2バイトのままで
2バイト目が00-7Fにならない新文字コードがあってもいいと思う。

**デフォルトの名無しさん** · 2016/02/03(水) 23:58:17.15

そして三水四水を入れる領域が足りなくなり後のMSに恨まれると。

**デフォルトの名無しさん** · 2016/02/04(木) 12:35:29.01

>>164
文字コードと符号化の違い分かってる？
そもそもシフトJISをサポートしてないソフトでシフトJISを使ったら問題出たってだけでしょ

**デフォルトの名無しさん** · 2016/02/04(木) 13:06:32.74

>>164
もう全く必要ない

**デフォルトの名無しさん** · 2016/02/04(木) 14:58:00.09

シフトJISの反省の上に？作られたのが0x00-7FをASCIIにしか使わない日本語EUC(EUC-JP)なんだから
それでいいじゃんって気がするのだけど
そんなに半角カナが大事か

>>163
ISO/IEC 2022の94*94を47*188に変換するって分かりやすさ優先でこうなったんだっけ？

**デフォルトの名無しさん** · 2016/02/04(木) 16:01:14.78

>>168
EUCはISO 2022ルールに則っとってる
ISO 2022はすでに存在した
半角カナも使える

**デフォルトの名無しさん** · 2016/02/04(木) 19:20:10.85

>>169
>>168は半角カナを1バイトに納めることがそんなに優先かと言ってる

>>168
確証は無いけど、分かりやすさ・計算の単純さ優先の結果だと思ってた

**デフォルトの名無しさん** · 2016/02/04(木) 23:06:09.90

>>166
もっと昔からある EUC を処理するには 8ビットクリーンなプログラムであれば事足りる。
ISO 8859 もそうだ。だからコンパイラも特別な処理などしなかった。
シフトＪＩＳもそうできなかったのかという話じゃないのか？

**デフォルトの名無しさん** · 2016/02/04(木) 23:35:33.23

むしろ解釈できない文字コードを通すことがおかしい
たまたま問題が見つからなかった、コンパイラがエラーを出さずに処理を終えたからOKとするなんてアホ

**デフォルトの名無しさん** · 2016/02/05(金) 02:34:16.13

>>171
8ビットクリーンならEUC-JPを問題なく使えるかというとそうでもなくて
上位バイトと下位バイトが別れちゃう問題は発生しうる

シフトjisの「表」のあとに\を入れるみたいなバッドノウハウが目立つのでシフトJISに
問題があるように見えるのかもしれないけど、本質的には対応してないものを
勝手に使って文句言ってるだけじゃないかな

**デフォルトの名無しさん** · 2016/02/05(金) 02:44:24.24

上位バイトと下位バイトが別れる件はダメ文字とは別件だから
最初の人の要求に対しては問題にならない

**デフォルトの名無しさん** · 2016/02/06(土) 14:03:11.00

>>173
対応してないから出来ないなんてことが起こるのはシフトＪＩＳだけだよ。
ダメ文字のせいで正規表現すら書けない。誰もやりたがらないような裏技はあるけどね。

**デフォルトの名無しさん** · 2016/02/06(土) 15:14:13.70

自分が間違ったやり方をしていたけど問題になったのはAだけだ
→だからAが悪い

まさにこういう発想がクソ
しかも自分の知っている文字コードが全てだと勘違いしていてたちが悪い

**デフォルトの名無しさん** · 2016/02/06(土) 15:45:39.28

ビットマップのフォントデータ(16×16)を使って
レトロな電光掲示板を作ってみよう、と思う
http://i.imgur.com/owubbp4.png

**デフォルトの名無しさん** · 2016/02/06(土) 18:59:39.30

UTF-8なら漢字やかなに00-7Fは使わないけどな
って、そういう話をしてるわけじゃないのか。

**デフォルトの名無しさん** · 2016/02/06(土) 19:36:29.58

>>176
しかしShift JISはかなり質が悪い

**デフォルトの名無しさん** · 2016/02/06(土) 19:41:15.78

どうしてWindowsは出来の悪い方ばっかり選択するんだろうか
cp932といいUTF-16といい…

**デフォルトの名無しさん** · 2016/02/06(土) 20:34:21.53

>>178
そういう話をしてるつもりだけど、そうでない人もいるようだ。

**デフォルトの名無しさん** · 2016/02/07(日) 08:00:22.03

エスケープシーケンスよりCP932の方がまだマシだし、
CP932よりUCS-2の方が多少はマシだったからでしょ

**デフォルトの名無しさん** · 2016/02/07(日) 13:34:15.00

>>173
今更だけど、文字が分断される可能性についても公平を期すために触れておくよ。
単純にバイト数で分割する場合等を除けば、ほとんどはパターンマッチにおける誤マッチが原因だろう。
strchr や strstr 、あるいはもっと高度なライブラリを使った結果かもしれない。
探すパターンに [\100-\176] にマッチする文字が含まれているなら EUC では誤マッチは起こらない。
シフトＪＩＳではダメ文字のせいで誤マッチが起こりうる。
実際に問題になるのはほとんどがこのケース。
grep "\]"
などとやろうものなら悲惨なことになる。
探すパターンがマルチバイト文字だけなら EUC でもシフトＪＩＳと同程度には誤マッチが起こりうる。
しかし実際にはほとんど起こらない。
もちろん起こるときは起こるし対策も出来るが対策は速度の低下と引換だ。
30 年前の CPU クロックは 10MHz 程度だったので速度も重要だった。
ほとんど起こらない上に致命的でもないなら速度を犠牲にしてまで常に対策を講じる必要は無い。
ちなみに対策だが、EUC で grep する場合なら
egrep "^([\000-\177]|\216[\240-\337]|\217[\241-\376][\241-\376]|[\241-\376][\241-\376])*$pattern"
的なことをするプログラムを grep_euc とかそういう名前で作っておけばいい。
シフトＪＩＳの場合はこれに加えてシフトＪＩＳな部分を 8 進エスケープシーケンスに置き換える必要がある。
同じやり方で iso-2022-jp も処理できる。
シフトＪＩＳしか通さない grep など技術的には邪魔なだけだよ。

**デフォルトの名無しさん** · 2016/02/07(日) 13:49:06.41

>>183
長文の駄文乙
文字処理を文字単位でなくバイナリデータで行うのをやめた方がいいぞ

**デフォルトの名無しさん** · 2016/02/07(日) 15:37:08.80

>>183
"\]"←おおESC、これでアニメ作ったもんじゃ

>>184
ビット操作は頭の体操になるよ↓
http://i.imgur.com/ibjeaA8.png

**デフォルトの名無しさん** · 2016/02/07(日) 20:14:33.59

grepはいつutf16対応してくれるんじゃぁ
ふだんLinux使ってるんだがwinのソースコードはなぜかutf16なんでいつも困っとるんじゃぁ
nkfで変換するのめんどいんじゃあ

**デフォルトの名無しさん** · 2016/02/07(日) 21:05:14.46

utf16のそーすとか見たこと無いな

**デフォルトの名無しさん** · 2016/02/08(月) 01:36:20.73

>>180
UTF-16はそのころUCS-2しかなかったんだから仕方ないやろ

個人的にWindowsはAとWはそのままでもいいから
標準CライブラリとC++ライブラリはUTF-8を使ってくれるようにしてくれれば不満ないんだけどな。

**デフォルトの名無しさん** · 2016/02/08(月) 05:19:47.55

>>188
全然仕方なくないどころか、むしろまた先走ってやっちまったとしか

**デフォルトの名無しさん** · 2016/02/08(月) 09:34:53.73

UTF-16固定とか基地外沙汰
ackやagもUTF-16は華麗にスルー

**デフォルトの名無しさん** · 2016/02/08(月) 22:30:39.07

EUCは目糞鼻糞だし、当時の記録媒体でUTF-8とか頭おかしいレベルなのに
一体どうしたかったのか

**デフォルトの名無しさん** · 2016/02/08(月) 22:35:16.47

ただマイクロソフトを非難したいだけのキティGUYに何を。
こういうのは誰でもいいから攻撃対象を設けてガス抜きさせてやらないといかん。

**デフォルトの名無しさん** · 2016/02/08(月) 23:02:30.93

SHIFT_JISよりEUC-JPの方がマシ、UTF-16よりUTF-8の方がマシってだけでしょ
マイクロソフトを非難したいだけに見えるとしたら相当なバイアス掛かってると思うよ

**デフォルトの名無しさん** · 2016/02/09(火) 00:48:21.70

>>191
> 当時の記録媒体でUTF-8とか頭おかしいレベルなのに

kwsk

と言っても
> EUCは目糞鼻糞だしょ
なんて言ってる奴のいうことが理解できるかどうか…

**デフォルトの名無しさん** · 2016/02/09(火) 05:16:13.78

UTF-8のRFCが出たのは2003年
その頃には80GBのHDDを一般人が変える時代
テキストの容量が問題になるとか無いわ

個人的にはいつまで経ってもsetlocaleでUTF-8を指定出来ない、代替の方法も用意されないWindowsは非難されて当然だと思うけどな。

**デフォルトの名無しさん** · 2016/02/09(火) 07:15:08.73

Windowsの今の文字コードの設計のベースは1991年か1992年に
Unicode1.0.0をもとに作られたはず

ちなみにその頃から「～」はU+FF5Eに存在した

**デフォルトの名無しさん** · 2016/02/09(火) 07:20:39.41

当時の記録媒体言ってるのはWindowsNTの時代な
その当時にUTF-8みたいな実装してもｱﾎでしょ

それとUTF-8を率先して使用してる理由ってEUC環境が糞だったからでしょ
EUC環境の時代って外人様のソフトウェアで漢字の表示すらままならなかったよね

**デフォルトの名無しさん** · 2016/02/09(火) 07:37:26.98

まあなんにせよUnicodeでデータ交換できるようになって
EUCゴミ環境が消えテクノは良い事だわ
EUCありがとうバイバイ

**デフォルトの名無しさん** · 2016/02/09(火) 08:47:31.92

同じようにWindowsのCP932もさっさと消えてほしいんだけどな

**デフォルトの名無しさん** · 2016/02/09(火) 11:12:55.58

今でも新規作成の全文章を統計取ると、
cp932の方が多いんじゃないか。
結局全くプログラムかかないひとが
何の文字コード使ってるかが焦点で、
プログラム書く人間の文字コードなんざ焦点じゃないんだよね。

**デフォルトの名無しさん** · 2016/02/09(火) 11:31:59.64

>>200
最多はwordでunicodeでしょ
ちなみにwordをunicode化したのは日本人

**デフォルトの名無しさん** · 2016/02/09(火) 11:32:56.66

MSは昔からAPIを移行改善していくのが下手

**デフォルトの名無しさん** · 2016/02/09(火) 22:21:12.66

電話用のWindowsもCP932とUTF16ならそのまま安らかに死んでほしいんだけどどうなん？

**デフォルトの名無しさん** · 2016/02/09(火) 22:44:37.32

死ぬことはないよ
生まれてすらいないからね

**デフォルトの名無しさん** · 2016/02/10(水) 05:29:25.59

産まれる前に死ぬってあると思うけど？

**デフォルトの名無しさん** · 2016/02/10(水) 20:10:05.19

文字コードはUnicodeで統一されつつあるけど
改行コードが統一される動きはないよな

**デフォルトの名無しさん** · 2016/02/10(水) 20:11:34.12

>>187
英語だけなら問題ないが日本語でコメントかくととたんにやっかい
おそらくwinの内部処理がutf16なんでvcでコンパイラ作る→utf16しか受け付けない
になるんだと思う

**デフォルトの名無しさん** · 2016/02/10(水) 20:14:06.58

何言ってんだこいつ

**デフォルトの名無しさん** · 2016/02/10(水) 20:19:14.56

おまえはお馬鹿な発言する人にいつもくってかかるのか

**デフォルトの名無しさん** · 2016/02/10(水) 20:27:11.86

>>208>>209
バカ乙

**デフォルトの名無しさん** · 2016/02/10(水) 20:58:07.57

絵に描いたような「バカと言う奴がバカ」

**デフォルトの名無しさん** · 2016/02/10(水) 22:46:23.85

最近のMSVCはUTF-8のソースコード食ってくれるよ
新しくMSVCで読み込んだソースがUTF-8なのにBOMがないと自動判定に失敗して意味不明なコンパイルエラーになることも多いけど

**デフォルトの名無しさん** · 2016/02/11(木) 00:53:59.61

>>206
そうか?
ローカルデータで復帰付けてるのWindowsくらいじゃないか?
HTYP, SMTPなんかは復帰改行だけど

**デフォルトの名無しさん** · 2016/02/11(木) 21:55:56.34

1バイトの英数字を平仮名と同じ幅で表示するフォントがあれば
全角英数字は使わないと思うんだが全角英数字も互換性のためだけに残されていると考えていいのか

**デフォルトの名無しさん** · 2016/02/11(木) 23:11:32.22

>>214
JIS X 0208は、ASCIIやJIS X 0201と併用せずに使うことも想定されてる
だから文字集合に英数記号が含まれるのは当然
併用する場合ISO 2022的には重複符号化禁止だから本来使っちゃいけない
けど運用では守られてなかったし、併用前提の文字コードもあった
Unicodeは過去の利用例をほぼ取り込むのが前提だから
互換文字として全角文字を取り込んだ

**デフォルトの名無しさん** · 2016/02/11(木) 23:19:16.34

ではU+3000が互換文字領域に無いのは何故なんだぜ

**デフォルトの名無しさん** · 2016/02/11(木) 23:22:30.10

なんとか空白はどうしても入れたい奴があったから全部入れることにしたんじゃないのかね
最初から20種類くらいあったでしょ

**デフォルトの名無しさん** · 2016/02/12(金) 00:18:36.22

つまり全角を貫いたおおたさん大勝利ってことだな

**デフォルトの名無しさん** · 2016/02/12(金) 14:58:04.35

空白もそうだけど横棒も統合せずに放り込んだのが多すぎ
U+2015 HORIZONTAL BARってどこから生えて来たんだろ

**デフォルトの名無しさん** · 2016/02/12(金) 22:43:58.37

VERTICALなら生えてきそうだけどHORIZONTALに生えるイメージは無いな

**デフォルトの名無しさん** · 2016/02/13(土) 10:24:02.68

————
――――