文字コード総合スレ Part10 [転載禁止]©2ch.net

**デフォルトの名無しさん** · 2015/10/14(水) 20:29:00.08

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/

**デフォルトの名無しさん** · 2017/12/27(水) 21:38:26.15

>>951
勝手に誤解して悲しがってるあなたのほうが悲しいが

**デフォルトの名無しさん** · 2017/12/28(木) 00:39:28.23

存在自体が見えないZWJじゃなくて
非対応の組み合わせでは+マークを表示するルールの新結合文字作ったほうがよかったんじゃないかね

**デフォルトの名無しさん** · 2017/12/30(土) 18:56:44.40

漢字6万字て、馬鹿か。
取るに足りない些細な違いをもって同じ文字と認めない。
最う駄目だ。

**デフォルトの名無しさん** · 2017/12/30(土) 23:54:24.56

＞945
まあ、異字体を丹念に拾ってくれるのはありがたいけれど、
漢文をTeXで扱う場合に、Adobe Japan 1-5(20313字)にない
文字が時々出てくる（例えば『列子』など）時など、ＩＰＡＭＪに
その文字があると、助かる。
出来れば、中国の古典籍に出てくる文字を積極的に
IPAMJに収録するようにしてもらいたいとおもっている。

もっとも、戸籍用の文字を収録することは、行政上から
いえば、最優先事項であることは理解できるのだが。

**デフォルトの名無しさん** · 2017/12/31(日) 10:25:58.42

超漢字で17万文字

**デフォルトの名無しさん** · 2017/12/31(日) 10:27:32.66

>>954
＞取るに足りない些細な違いをもって同じ文字と認めない

その手の議論はCJK統合漢字の時に散々やったんじゃないの？

**デフォルトの名無しさん** · 2017/12/31(日) 11:52:08.16

やったから、なに？

**デフォルトの名無しさん** · 2017/12/31(日) 11:54:37.82

＞956
「超漢字」というのは東大で開発したGTフォントなのですが、
ただ、いかんせん。フォントが綺麗でないので、
例えば本文を「ヒラギノ」や「小塚明朝」で組んだ時に
GTフォントを入れると、かなり違和感を感じるので、
現在は、Adobe Japan 1-5やIPAMJにない字は、
Adobe Illustratorで作字している

**デフォルトの名無しさん** · 2018/01/01(月) 13:59:19.71

テキストエンコードに詳しい方、教えてください

下記リンクは日本語サイトの日本語テキストファイルですが
「ファイル名」が文字化けして文字コードが不明です（ファイルの本文は Shift_JIS でした）
「正しいファイル名」および「ファイル名の言語」（外国語？）が分かれば教えてください

また言語不明のファイル名を簡単に判別する方法があれば教えてください

http://www.monzen.org/doc/fonts/free/all/%e3%81%a6%e3%81%82%e3%81%a8%e3%82%8b%ef%bc%91%ef%bc%96/%e9-%e9%e1%e9%e3%e9%da%e9P%e9U.TTF%e9+%e9-%e9%f3%e9-.txt

**デフォルトの名無しさん** · 2018/01/01(月) 23:24:57.94

明けましておめでとうございます
2018年の文字コード業界はどうなるやら(去年の使い回し)

**デフォルトの名無しさん** · 2018/01/02(火) 12:20:49.37

>>960
て: e381a6
あ: e38182
と: e381a8
る: e3828b
１: efbc91
６: efbc96
/より後半は知らん

**デフォルトの名無しさん** · 2018/01/02(火) 12:36:54.34

http://www.monzen.org/doc/fonts/free/all/てあとる１６/
ここの中身見たけどファイルが5個あって

1)てあとる１６/てあとる１６.TTFについて.txt
2)てあとる１６/てあとる１６.TTF
3)てあとる１６/(化けてる).TTF(化けてる).txt
4)てあとる１６/(化けてる)16.TTF
5)てあとる１６/Theatres16.zip

たぶん (3) をダウンロードしたんだと思うけど
zip の中をみると (1) と (2) しかないから
サイズも同じだし (1)-(3) と (2)-(4) は同じ名前(文字列)なんだろうね

**デフォルトの名無しさん** · 2018/01/02(火) 12:49:17.66

コード見ると

てあとる: e92de9e1e9e3e9da
１６: e950e955
について: e92be92de9f3e92d

なんだろうけど
e92d が「て」だけじゃなくて「つ」と思われる部分にも使われてるのが謎

**デフォルトの名無しさん** · 2018/01/02(火) 13:15:02.16

あとは「てあとる」をどっかの言語のコードページとかで適当に変換してみて「e92de9e1e9e3e9da」のバイト純になるものを探せ
http://docs.python.jp/3/library/codecs.html#standard-encodings

**デフォルトの名無しさん** · 2018/01/02(火) 22:57:59.20

「１６」の部分がE950 E955なのはShift_JISから来たのかなと思うけど(Shift_JISでは8250 8255)
「てあとる」「について」は謎だな

**デフォルトの名無しさん** · 2018/01/03(水) 04:10:39.66

>>962-966
レスありがとうございます>>960です

「てあとる16」というフリーフォントをググってこのURLに辿り着いたのですが
Firefoxのエンコード設定をいくら弄っても正規ファイル名がわからなかったので質問させていただきました

わざわざファイル名を変えてアップしてるということは何らかの意図があると思うのですが
中国語や韓国語でもなさそうだしUnicodeでも化けるので・・・　MacとWindowsを行き来して化けたとか？

管理者さんに聞くのが近道だと思いますがディレクトリ勝手に掘ったとか怒られても嫌なので放置しています

**デフォルトの名無しさん** · 2018/01/03(水) 12:59:16.54

(>>967の続き)
あと素人臭い質問ですいませんが、下記テキストファイルをWindows環境で表示する方法はありますか？
同ディレクトリにあるotf(お試しフォント)はDLできるのですがテキストファイル3個は表示もDLもできませんでした

http://www.monzen.org/doc/fonts/free.next/%e3%83%a2%e3%83%88%e3%83%a4%e3%81%8a%e8%a9%a6%e3%81%97/UD%e3%83%a2%e3%83%88%e3%83%a4%e6%98%8e%e6%9c%9d2B/ntnum2bmst/%e6%96%87%e5%ad%97%e7%a8%ae%e4%b8%80%e8%a6%a7.txt

**デフォルトの名無しさん** · 2018/01/04(木) 01:19:32.08

欧文環境かなんかで文字化けしたままzipばらしたっぽいな

**デフォルトの名無しさん** · 2018/01/04(木) 01:35:20.16

>>968
403 Forbiddenが返ってきてるから、おそらくパーミッションの問題でWebサーバが
そのファイルを読み出せない

**デフォルトの名無しさん** · 2018/01/04(木) 09:46:56.03

>>969-970
ありがとうございます
TXTのみDLできない設定なのですね

**デフォルトの名無しさん** · 2018/01/04(木) 20:41:42.26

>>967
元はShift_JISで書かれたサイトっぽいけど「webサーバー側」の文字コード設定が間違ってて
HTMLとしてすでに正しくない文字コードというかバイト列が出力されてしまってる感じで
さらにfirefoxが文字コード検出を間違ったまま表示してる感じがする
ちなみに文字化けしたままでもfirefoxでマウスオーバーしたときに左下に出て来る日本語はたまに正常たったりする
文字化けにも色々あるけど文字通り壊れたバイト列だともうどうしようもない

**デフォルトの名無しさん** · 2018/01/04(木) 21:05:29.96

>>968
サーバー側の設定が間違ってると間違った文字コードでリクエストしてファイルは存在してても
違うバイト列だからファイルシステム上に見つからないとかいう状態になってそうなので
あとはだめもとでHTML側のURLを使わずに
判ってる方のファイル名
www.monzen.org/doc/fonts/free.next/モトヤお試し/UDモトヤ明朝2B/ntnum2bmst/文字種一覧.txt
を自分でURLエンコードしてリクエストしてみるとか

**デフォルトの名無しさん** · 2018/01/04(木) 22:02:18.09

上の階層のntnum2bmst.zipなら落とせた。

**デフォルトの名無しさん** · 2018/01/04(木) 23:05:06.84

>>972-974
ありがとうございます
該当のテキストがどうしても読みたいというよりも
＜何故こういう現象が起きてるのか？＞のほうに興味があって質問させていただきました
文字コードの世界って本当に奥が深いですね

文字フォントについても色々疑問があるのですが、それはフォントスレで質問するべきですね
(PCにインストールしていいフォント数の上限とか)

**デフォルトの名無しさん** · 2018/01/05(金) 00:49:01.50

ためになるスレだなあ

**デフォルトの名無しさん** · 2018/01/05(金) 17:51:46.56

無理やり読ませるとそれなりの割合の人間に急性ショック症状を起こすスレでもある・・・

**デフォルトの名無しさん** · 2018/01/08(月) 12:30:50.80

今年でJIS漢字制定40周年なんだな。

**デフォルトの名無しさん** · 2018/01/08(月) 13:20:24.34

40cmくらいのウンコード出た
長過ぎて一回で流れなかった
5回目くらいでやっと視界から消えた

**デフォルトの名無しさん** · 2018/01/09(火) 07:25:31.13

ウンコ駆動ですね判ります

**デフォルトの名無しさん** · 2018/01/09(火) 11:13:21.97

ためになるスレだなあ

**デフォルトの名無しさん** · 2018/01/11(木) 01:29:58.58

【しつもん①②】

①Windowsで同一フォルダ内に全く同じファイル名＋拡張子があって不審に思い
ファイル名をメモ帳にコピペしても瓜二つ
でもWordにコピペすると片方は「ジ」や「ペ」の後ろに空白文字が出てくる

②ニコニコ動画をDLしてるとたまに「グ」が「ク_ 」に文字化けする

①②の発生原因は分りますか？　（どれもネットから落としたファイルです）

**デフォルトの名無しさん** · 2018/01/11(木) 01:41:04.05

Wordを持ってるならその空白文字の後ろでAlt+Xしてみ
そしたら文字コードに変換されるから何がついてるか分かる

**デフォルトの名無しさん** · 2018/01/11(木) 02:16:47.71

>>983　ありがトン
①「ジ　」が「シ3099」に変わった
②「ク_ 」が「ク005F」に変わった

①は↓の「Unicode正規化」ってやつですかね？　②は分らないけど
http://tech.albert2005.co.jp/501/

**デフォルトの名無しさん** · 2018/01/11(木) 12:49:11.03

2は、ダウンロードするソフトがファイル名に使えなさそうな文字をアンダースコアに変えてるのでは

**デフォルトの名無しさん** · 2018/01/11(木) 16:02:48.08

合成済み文字と結合文字列の違いは
Windowsとmacでデータのやりとりをしていると稀によくある

**デフォルトの名無しさん** · 2018/01/11(木) 17:06:01.77

>>985-986　ありがトン

②　ニコニコ動画の無料アニメ２本　上の「グルグル」は文字化けしないが、下のは化ける

http://www.nico　　　video.jp/watch/1499326505
魔法陣グルグル　PV

http://www.nico　　　video.jp/watch/1500538647
魔法陣ク?ルク?ル　第1話「旅立ち！ジミナ村！」

下の動画タイトルをWordにコピペ＆Alt+Xすると「ク3099」なので、上とは違った文字コードで書かれてる模様
ブラウザ上では見分けがつかないが、DLすると「ク_ 」＝「ク005F」に化ける
ニコ動はブラウザで見ることを前提にしてるのでクレームをつけるわけにもいかないが
バラバラの文字コードで書かれるとモヤッとする

**デフォルトの名無しさん** · 2018/01/13(土) 18:28:46.68

>>987
「魔法陣グルグル　」だけを抜き出してみると

魔法陣グルグル　PV
¥u9b54¥u6cd5¥u9663¥u30b0¥u30eb¥u30b0¥u30eb¥u3000
魔法陣グルグル　第1話「旅立ち！ジミナ村！」
¥u9b54¥u6cd5¥u9663¥u30af¥u3099¥u30eb¥u30af¥u3099¥u30eb¥u3000

下の方は半角カナ（ｸﾞﾙｸﾞﾙ）から変換したとかかなあ

ウェブブラウザでは一見区別が付かないのも困りものだ

**デフォルトの名無しさん** · 2018/01/13(土) 19:15:50.63

MacとかiPhoneとか、Apple製品は濁点を結合文字列で扱うのがデフォだったはず

**デフォルトの名無しさん** · 2018/01/13(土) 19:16:22.00

半角カナから単純に変換したのであればク゛(30af 309b)になってそうだけど

**デフォルトの名無しさん** · 2018/01/14(日) 06:16:21.53

ものかのとかいう奴がそんな訳語を提唱してたっけw

**デフォルトの名無しさん** · 2018/01/16(火) 16:24:03.09

Combining Character Sequence
公式日本語訳の「結合文字の並び」は何だか使いにくいし

**デフォルトの名無しさん** · 2018/01/16(火) 21:25:09.69

単一の文字を表すくせに文字列と呼ぶのもいまいちだし悩ましいところだな

**デフォルトの名無しさん** · 2018/01/16(火) 21:58:19.78

「結合文字列」って、「合州国」みたいなもんか

**デフォルトの名無しさん** · 2018/01/17(水) 15:56:04.49

合衆国の誤字だっけ

**デフォルトの名無しさん** · 2018/01/20(土) 12:33:26.67

http://www.gakkai.ne.jp/jss/bulletin/guide1.php

**デフォルトの名無しさん** · 2018/01/21(日) 14:15:27.16

ttp://ufcpp.net/blog/2018/1/getunicodecategory/

ASCII 圏の人、ほんとに Unicode 追加面を知らない
・「こんなのほっといてもすぐに追加されるだろう」とか甘い
・たぶん、日本人か中国人が言い出さないと進まない

**デフォルトの名無しさん** · 2018/01/21(日) 22:23:53.16

Unicodeはただの絵文字コードに成り下がったよ

**デフォルトの名無しさん** · 2018/01/22(月) 02:43:08.18

ユニコードにきちんと対応してほしいフリーソフトは多い

IrfanView
Lhaz
FileSum

**デフォルトの名無しさん** · 2018/01/22(月) 02:44:17.64

ついでに埋め

次スレが立ったらまたよろしく

**1001** · Over 1000

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 830日 6時間 15分 17秒

**1002** · Over 1000

5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。

───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php