文字コード総合スレ Part12

**デフォルトの名無しさん** · 2018/12/16(日) 12:38:15.61

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/

**デフォルトの名無しさん** · 2019/01/10(木) 14:02:26.62

形状バリエーションも欲しい
巻きうんち/一本糞/ビチグソ

**デフォルトの名無しさん** · 2019/01/10(木) 18:35:20.73

POO WITH TURBANとかもほしい

**デフォルトの名無しさん** · 2019/01/14(月) 01:16:50.95

U+FFFCとU+FFFDの違いってなんだろう。
一応https://www.unicode.org/charts/PDF/UFFF0.pdf←ここを読んでみたんだが
U+FFFCが「Unicodeの範囲で異常」、U+FFFDが「Unicodeですらない」
ことを示す文字なのかな？

**デフォルトの名無しさん** · 2019/01/14(月) 11:40:16.54

Unicodeですらないのに「U+～」という表記はこれ如何にｗ

**デフォルトの名無しさん** · 2019/01/15(火) 16:00:55.99

Replacement Characters: U+FFFC–U+FFFD

U+FFFC. The U+FFFC object replacement character is used as an insertion point for objects located within a stream of text.
All other information about the object is kept outside the character data stream.
Internally it is a dummy character that acts as an anchor point for the object’s formatting information.
In addition to assuring correct placement of an object in a data stream, the object replacement character allows the use of general stream-based algorithms for any textual aspects of embedded objects.

U+FFFD. The U+FFFD replacement character is the general substitute character in the Unicode Standard.
It can be substituted for any “unknown” character in another encoding that cannot be mapped in terms of known Unicode characters.
It can also be used as one means of indicating a conversion error, when encountering an ill-formed sequence in a conversion between Unicode encoding forms.
See Section 3.9, Unicode Encoding Forms for detailed recommendations on the use of U+FFFD as replacement for ill-formed sequences. See also Section 5.3, Unknown and Missing Characters for related topics.

**デフォルトの名無しさん** · 2019/01/15(火) 18:43:18.89

>>115
sorry Japanese only please

**デフォルトの名無しさん** · 2019/01/15(火) 20:15:36.54

>>116
なんで卑屈なの？

**デフォルトの名無しさん** · 2019/01/16(水) 11:07:49.88

朝鮮人クオリティ

**デフォルトの名無しさん** · 2019/01/17(木) 14:01:24.86

消えゆく「黒電話」マーク…時代とともに変化
https://www.sankei.com/premium/news/190117/prm1901170009-n1.html

**デフォルトの名無しさん** · 2019/01/17(木) 14:27:36.24

一方、保存ボタンには相変わらずフロッピー��

**デフォルトの名無しさん** · 2019/01/17(木) 21:08:16.21

今はこうですよ
https://www.appps.jp/wp-content/uploads/2017/01/20170131-tell-icon-news-008.jpg

**デフォルトの名無しさん** · 2019/01/17(木) 21:10:53.89

ダウンロードかな

**デフォルトの名無しさん** · 2019/01/18(金) 04:13:25.86

山

↑
の方が合ってると思うけど
現実は
↓

下載

**デフォルトの名無しさん** · 2019/01/18(金) 15:39:10.11

直訳かよ

**デフォルトの名無しさん** · 2019/01/19(土) 00:58:09.98

>>115
これ使われてるの？

**デフォルトの名無しさん** · 2019/01/19(土) 01:02:48.22

使われてるよ

**デフォルトの名無しさん** · 2019/01/20(日) 06:25:45.86

>>115
んーつまり基本的にはU+FFFDを使っとけばいいのかな。
マジで英語が読めんので当てずっぽうだがw

**デフォルトの名無しさん** · 2019/01/20(日) 19:36:07.54

FFFC はオブジェクト用。変換のときに絵でも音楽でも写真でも、主に文字以外のものが埋め込まれていた場合用。
FFFD は文字用。変換のときに他の文字コードでは表現できる文字がユニコードでは表現できなかった場合用。

**127** · 2019/01/21(月) 07:51:07.97

>>128
なるほど「オブジェクト」ってそういう意味か！
ありがとう。
つまり基本的に（Unicode環境で）「文字化け」した場合は
U+FFFCを目にすることはない訳だ。
（Webブラウザなら画像は別の形で表示されるし
端末なら8bitキャラクタの集合としてU+FFFDが使われるし）

**デフォルトの名無しさん** · 2019/01/21(月) 10:29:40.20

そもそも外部に公開するドキュメントにU+FFFC,U+FFFDが存在すべきでないということでは。
アプリケーションが内部で使ってよい領域という意味と受け取ったわ。

◆QZaw55cn4c · 2019/01/22(火) 01:05:00.00

漢字コードのことでわからなくなりましたので質問いたします。
よろしくお願いいたします。

https://pc.watch.impress.co.jp/docs/column/config/1158344.html
＞文字データをシフトJISではなく、Unicodeで保存するとどんないいことがあるのか。
＞たとえばUnicodeならあらゆる言語の文字を混在させることができる。
＞Wordでしか文書を書かないエンドユーザーにはそんなこと当たり前じゃないかと言われそうだが、

これって本当ですか？

私見では日本語の漢字と中国語の漢字を同一文書にて同時に表示できないし混在もできない、と思っていたんですが…。
CJK 漢字統合の影響はもう過去の話になってしまったんでしょうか？

**デフォルトの名無しさん** · 2019/01/22(火) 02:31:06.16

字体とか書体を文字としてどう考えるか、で答えが変わるだろ

◆QZaw55cn4c · 2019/01/22(火) 02:34:15.81

>>132
現に存在するUTF-32/UTF-8 という文字コードの集合を使用した場合に日本語と中国語の漢字を
①：同一文書に含ませることは可能でしょうか？②：①が可能であったとして、PC の画面にて同時に表示することは可能でしょうか？

**デフォルトの名無しさん** · 2019/01/22(火) 02:59:07.23

どっちも可能

**デフォルトの名無しさん** · 2019/01/22(火) 07:59:46.55

新しめのブラウザでUTF-8の文書を書いて、中国圏の自体にしたい文字を
<span lang="zh">
みたいに指定してやると全く同じコードポイントでも違う字形になる。

**デフォルトの名無しさん** · 2019/01/22(火) 13:07:54.27

>>131
こいつはプログラマじゃないからな
かなり適当な理解で記事描くな

**デフォルトの名無しさん** · 2019/01/22(火) 14:56:00.21

>>131
Unicodeは全世界の文字に対応した文字コード
混在して使えるのは当たり前

**デフォルトの名無しさん** · 2019/01/22(火) 23:10:13.56

>>133
より正確に言えば、
保存するときにローカルの文字コードに変換してるソフトかもしれないのでそのソフトの仕様による
例えば英文フォントしかないPCだと漢字は表示できないだろうから表示できるかどうかは環境による
だろう

>>131
あらゆる言語とは言うけど、縄文時代の日本語を混在させるのは無理だと思うがなあ

**デフォルトの名無しさん** · 2019/01/23(水) 08:37:00.98

>131
私?では日本?の?字と中国?の?字を同一文?にて同?に表示できるし混在もできるが。

**デフォルトの名無しさん** · 2019/01/23(水) 08:38:04.03

あちゃー。unicode文字が全部?になってしまった。

**デフォルトの名無しさん** · 2019/01/23(水) 12:18:22.13

>>138
> あらゆる言語とは言うけど、縄文時代の日本語を混在させるのは無理だと思うがなあ
縄文時代の日本語が文字コードで表せるならばUnicodeで表せる

**デフォルトの名無しさん** · 2019/01/23(水) 20:08:35.75

>>141
文字がないのに文字コード化できるの？

**デフォルトの名無しさん** · 2019/01/23(水) 23:59:31.81

漂流する論点

**デフォルトの名無しさん** · 2019/01/24(木) 10:44:11.21

論点ずらしは朝鮮人のはじまり

**デフォルトの名無しさん** · 2019/01/24(木) 14:09:11.07

>>142
俺に言うな。>>138に家
縄文時代の日本語を混在できないとしたら、
それは例えば「文字がない」ことなのに、
Unicodeだから無理みたいな言い方してるんだから

**デフォルトの名無しさん** · 2019/01/24(木) 14:37:04.33

Unicodeだからできないなんて、誰も言ってないと思うのだが。
被害妄想にとりつかれた朝鮮人みたいだな。

**デフォルトの名無しさん** · 2019/01/24(木) 14:59:51.89

> あらゆる言語とは言うけど、縄文時代の日本語を混在させるのは無理だと思うがなあ

じゃ、この発言で言いたかったことは何だって言うの？
「私（>>138）は馬鹿です。」以外に何も思いつかないんだが

**デフォルトの名無しさん** · 2019/01/24(木) 23:03:59.13

>>147
>じゃ、この発言で言いたかったことは何だって言うの？

（unicodeならすべての言語を混在できるという話しを受けて）
あらゆる言語とは言うけど、縄文時代の日本語を混在させるのは無理

だろ。他に何があるってんだ？

**デフォルトの名無しさん** · 2019/01/25(金) 11:58:11.28

横からすまんが元レスをたどると>>131「あらゆる言語の文字を混在させる」だぞ。
それを>>138がしょっぱなから「あらゆる言語を文字で混在させる」に読み違えてるように思える。

**デフォルトの名無しさん** · 2019/01/25(金) 12:36:50.26

宇宙の惑星や生命体の多さから言って
UNICODEじゃ全然足りないのは明らか

**デフォルトの名無しさん** · 2019/01/25(金) 14:50:56.20

>>148
縄文時代の日本語ってなに？
参考リンク教えて

**デフォルトの名無しさん** · 2019/01/25(金) 21:01:41.10

これ誰かがわざと論点動かして遊んでるだけだな…

**デフォルトの名無しさん** · 2019/01/25(金) 21:59:31.32

>>149
だから文字のない言語は無理だろ？
という話だけなのに、なんでひねくれてるの？

**デフォルトの名無しさん** · 2019/01/26(土) 15:18:19.02

>>152
朝鮮人メンタル

**デフォルトの名無しさん** · 2019/01/26(土) 17:43:06.71

なぜ文字コードスレで文字の無い言語の話をしようと思ったのか

**デフォルトの名無しさん** · 2019/01/27(日) 20:08:40.52

そこに文字がないから

**デフォルトの名無しさん** · 2019/01/28(月) 17:43:32.30

win32apiスレ荒すな！

**デフォルトの名無しさん** · 2019/01/29(火) 08:22:23.73

なんか旧かなキチガイと同じ臭いがする

**デフォルトの名無しさん** · 2019/02/01(金) 11:28:25.54

いきなりですが質問失礼します

とあるオンラインゲームをやってまして
そこで名前のソートの規則から、そのゲームが採用している文字コードの符号化方式を知りたいのですが
各コードにおいての文字の並びと、実際のゲーム内での文字のならびに違いがあったので素人の私にはお手上げ状態です

素人なりに6時間ほどぐぐってみたりしたのですが、それらしい符号化方式は特定できませんでした

スプレッドシートに、ゲーム内で実際にソートされていた文字を順番も合わせてまとめました
文字コードや符号化のスペシャリストのみなさんにこれを見てもらって、一番近い符号化方式をお教えいただけたらうれしいです

文字ソートまとめ、上から下に向かって昇順になっています
https://docs.google.com/spreadsheets/d/1QbN1zHY8BLnUampdKYVIRzK34SrTdq2gkMBgct03Fu8/edit?usp=sharing

それではよろしくお願いします

**デフォルトの名無しさん** · 2019/02/01(金) 11:40:45.63

このサイトを参考に文字コード引っ張って来てみました
http://ash.jp/code/unitbl21.htm

区点 JIS SJIS EUC UTF-8 UTF-16 字

01 86 2176 8196 A1F6 EFBC8A FF0A ＊
84 06 7426 EAA4 F4A6 E78699 7199 熙
17 77 316D 898D B1ED E78795 71D5 燕
44 80 4C70 96EE CCF0 E79FA2 77E2 矢
27 71 3B67 8E87 BBE7 E7B4AB 7D2B 紫
01 49 2151 8170 A1D1 EFBD9D FF5D ｝

ゲーム内では熙　燕　矢　紫の順にソートされており
引っ張ってきた文字コードを見ると、数字と文字のソート関係が昇順で一致していたのがUTF-8かUTF-16だったので
その2つかな？と思ったのですが、実際にそれらの符号化のサイトを見てみたら、ゲーム内のソートとはまた違う規則性のようでした

実験として、符号化の一番値の大きい文字である「FF5D ｝」を文字として使ってみたところ
先の4つの漢字の下にソートされたのでUTFあたりが近そうなのですが、それ以上は素人にはわからないので困ってしまっている状況です。
どうかご助言の方なにとぞよろしくお願いします。

**デフォルトの名無しさん** · 2019/02/01(金) 13:28:31.64

区別しない文字があるんだから文字コード外のルールでソートされてるんだろ
特定の符号化を示唆する特徴が見られたとしてもそれは実際に採用されてる符号化と直接の関係がない

**デフォルトの名無しさん** · 2019/02/01(金) 14:36:54.05

StrCmpLogicalWとか知らなそう?

**デフォルトの名無しさん** · 2019/02/01(金) 18:36:04.25

回答ありがとうございます
本当に助かります

>>161
あーそういう感じですか・・・
ってことは自分で調査しないとだめそうですね
返答ありがとうございました

>>162
ほとんど初心者なので知りませんでした　こういう関数があるんですね
専門用語とかだけでも出してもらえて嬉しいです
何も知らないのでぐぐる事もできなかったので助かります

単語さえわかればあとはこちらで調べますので
他にも関連した情報がありましたら用語だけでも教えてもらえると嬉しいです

**デフォルトの名無しさん** · 2019/02/01(金) 19:29:42.41

Unicode(UTF-8, UTF-16)はコードポイント順とは別にソート順のデータが定義されてるんだけど
記号類がアルファベットの前に来るってのはそれっぽいような
http://www.unicode.org/Public/UCA/latest/allkeys.txt

でも〆の位置は明らかに違うなぁ

**デフォルトの名無しさん** · 2019/02/01(金) 22:48:31.77

>>161
ほんそれ

**デフォルトの名無しさん** · 2019/02/01(金) 23:10:01.58

例えば韓国製のゲームなら韓国語での文字コード順になってるかもな

データベースにMySQLを使ってるかもしれないという前提だと
MySQLでのソート順序はCollationという

http://variable.jp/2009/07/14/mysql-collation/
> MySQL5.0では，126種類でMySQL5.1では，127種類のCollationが用意されている。
> 一つの文字コードに複数のCollationが用意されていて、文字データの場合，文字コードによって，
> 並びが変化する。

127種類のうちUTF8系だけで21種類の順番が存在する

**デフォルトの名無しさん** · 2019/02/04(月) 15:09:00.52

中国製なら中文系かもな。「Big5」とか「CNS11643（EUC_TW）」とか、「GB2312（EUC_CN）」とか。

**デフォルトの名無しさん** · 2019/02/05(火) 19:23:22.90

日本製でもCO-59とかの可能性がある。

**デフォルトの名無しさん** · 2019/02/06(水) 14:24:15.52

230 New Emojis in Final List for 2019
https://blog.emojipedia.org/230-new-emojis-in-final-list-for-2019/

**デフォルトの名無しさん** · 2019/02/06(水) 15:28:47.74

絵文字ちゃうやん
ただの絵

**デフォルトの名無しさん** · 2019/02/06(水) 21:57:35.71

>>169
ブリックパックの右二つがなんだかわからない

**デフォルトの名無しさん** · 2019/02/07(木) 00:13:13.64

だんだんレゴみたいになってきたな

**デフォルトの名無しさん** · 2019/02/07(木) 18:52:35.59

>>171
南アの飲み物マテと牡蠣じゃねーの

**デフォルトの名無しさん** · 2019/02/08(金) 04:31:41.05

なんか真珠できてない？

**デフォルトの名無しさん** · 2019/02/08(金) 19:56:39.86

真珠を絵に入れるなら pearl oyster にしとけばいいのに

**デフォルトの名無しさん** · 2019/02/09(土) 15:36:03.22

>>110
SSIDって英数字だけじゃないの？

**デフォルトの名無しさん** · 2019/02/09(土) 16:49:37.43

>>176
ほとんどのルーターで禁止されているけど、ルーターのWebUIでSSIDを設定する時に
JavaScriptの文字列チェックを外して強引にUTF-8で設定させるのが一部で流行っているらしい。

**デフォルトの名無しさん** · 2019/02/10(日) 00:42:00.71

内部UTF-8なの？

**デフォルトの名無しさん** · 2019/02/10(日) 00:57:47.38

内部では単なるヌル終端のバイト列として扱ってるだけなんだろう

**デフォルトの名無しさん** · 2019/02/10(日) 15:54:10.44

無理やり設定しても繋げられなくなる気がする

**デフォルトの名無しさん** · 2019/02/10(日) 19:57:18.23

💩
うんこ
🍭
あめ

**デフォルトの名無しさん** · 2019/02/10(日) 20:01:32.56

🍭
あめ
☔
雨

**デフォルトの名無しさん** · 2019/02/10(日) 22:34:53.92

>>180
見えているのに到達できない場所みたいだな

**デフォルトの名無しさん** · 2019/02/10(日) 23:37:08.37

ユニコードの文字の説明（#から右の部分）がのっているテキストファイルの置き場所って
どこかわかります。できれば、日本語だけでなく全文字が欲しい。

↓こんなやつがずらっと。
0x878D U+337E # SQUARE ERA NAME MEIZI [2000]

**デフォルトの名無しさん** · 2019/02/10(日) 23:45:31.96

https://unicode.org/Public/MAPPINGS/
ここは知っています。

**デフォルトの名無しさん** · 2019/02/11(月) 18:36:04.22

そこ知ってるならもう辿り着けたも同然なのに
一つ上がってみよう

**デフォルトの名無しさん** · 2019/02/12(火) 17:07:51.47

一昔前に、大塩平八郎のLANや応仁のLANというSSIDが話題になったことがあるよね。
俺は見たこと無くて何とも言えないのだけど、実際に接続できたのだろうか？

**デフォルトの名無しさん** · 2019/02/14(木) 19:27:45.79

文字化け先生はなんかあったのか

**デフォルトの名無しさん** · 2019/02/14(木) 21:24:21.21

境界判定するつもりが教会判定することになり異端審問にかけられた。

**デフォルトの名無しさん** · 2019/02/15(金) 10:47:46.35

Nobody expects the Spanish Inquisition!

◆QZaw55cn4c · 2019/02/15(金) 21:47:29.13

>>190
Nobody knows the trouble i've seen, nobody knows but Jesus!

**デフォルトの名無しさん** · 2019/02/23(土) 21:24:43.04

https://unicode.org/cldr/utility/character.jsp?a=1D00
↑ここにアクセスしても空白のページが表示されるだけなんだけど
みなさんもそう？

前までは確かに存在したページの筈……。

**デフォルトの名無しさん** · 2019/02/24(日) 11:44:00.18

確かに空白だな、と思ってソース見たらtofuが並んでた

**デフォルトの名無しさん** · 2019/02/24(日) 14:46:38.10

Service Temporarily Unavailable

**デフォルトの名無しさん** · 2019/02/24(日) 17:25:45.84

そうか…
あのページはすごい便利に使わしてもらってたのに、利用できないとは残念

**デフォルトの名無しさん** · 2019/02/25(月) 10:45:27.39

>>192 がトドメ刺したんか

**デフォルトの名無しさん** · 2019/02/25(月) 10:51:17.50

こっちか
http://cldr.unicode.org/

**デフォルトの名無しさん** · 2019/02/27(水) 18:11:26.22

>>197
そのページから個々の文字に関する情報って見れなくね？

**デフォルトの名無しさん** · 2019/03/06(水) 23:53:15.90

unicode 12.0 出てた

**デフォルトの名無しさん** · 2019/03/07(木) 07:31:58.41

>>199
unicode、すっかりグダグダたな。なんだよ絵文字って。

**デフォルトの名無しさん** · 2019/03/07(木) 08:59:33.50

Announcing The Unicode Standard, Version 12.0
http://blog.unicode.org/2019/03/announcing-unicode-standard-version-120.html

**デフォルトの名無しさん** · 2019/03/07(木) 11:12:32.47

仕事する馬鹿ほど面倒なものはない

**デフォルトの名無しさん** · 2019/03/07(木) 20:32:36.31

U+32ffにはplaceholderも入れてないのか

**デフォルトの名無しさん** · 2019/03/08(金) 07:46:36.72

>>201
「ゑ」の小さい字もできるんだ、
「ぇ」みたいに。

**デフォルトの名無しさん** · 2019/03/08(金) 14:51:06.96

概出？
https://qiita.com/yumetodo/items/54e1a8230dbf513ea85b

**デフォルトの名無しさん** · 2019/03/08(金) 18:46:01.42

その読みにくい文体、中学のマイコン部の先輩が部誌に書いてたコラムに似てるなと思った

**デフォルトの名無しさん** · 2019/03/08(金) 18:58:34.86

内容はともかく

> それに、今みたいなポリコレ棒が猛威を振るう時代だったら、CJK統合は行われなかったでしょうね。
> 部外者が他文化の文字に対してもの申す事は、文化への攻撃・侵害・侵略として糾弾されたでしょうから。
> 日本人や中国人側からではなく、米国や欧州の国々の方から強い反対が出たでしょう。
<https://qiita.com/yumetodo/items/54e1a8230dbf513ea85b#comment-ba92e82cf5ff8a829c10>;

↑これはなるほどと思った。政治的正当性についてとやかく言うつもりはないが
CJK統合はマジでそのCJK文化圏にいる利用者からは扱いずらすぎるからな……。
「意味や字形が似ている文字なら同じ符号を割り当てていい」のなら，
フラクツゥールを態々用意せずに，lang=de-x-Frakみたいな指定があったときに
文字「A」を「𝔄」という字形で表示すればいいのに，そうしてない。

**デフォルトの名無しさん** · 2019/03/08(金) 19:17:05.59

苦情が出た時のために拡張領域があるんだから許してあげてよ。

**デフォルトの名無しさん** · 2019/03/08(金) 20:40:25.47

小さいゐゑヰヱは "used to write archaic Japanese" なんだけど
小さいヲンは実は典拠が微妙
同じワ行音ってことで何となく入っちゃった

**デフォルトの名無しさん** · 2019/03/08(金) 20:41:24.22

同じってのはヲの方だけど