X



文字コード総合スレ Part11
■ このスレッドは過去ログ倉庫に格納されています
0001デフォルトの名無しさん
垢版 |
2018/01/22(月) 22:58:23.45ID:UK/uqEp5
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
 (スレ再利用)UnicodeとUTF-8の違いは? http://pc12.2ch.net/test/read.cgi/tech/1177930957/
 (隔離スレ)UnicodeとUTF-8の違いは? その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
0747デフォルトの名無しさん
垢版 |
2018/08/18(土) 14:48:48.76ID:/4eOy7p1
wchar_t自体はcharset/encoding独立だとしても、実際にEUC-JPを格納する実装が
存在していたとは知らなかったな。
0748デフォルトの名無しさん
垢版 |
2018/08/18(土) 14:55:58.85ID:KC80I9ck
>>746
知らないなら、変な知ったかぶりせずに黙ってるべき。
実装によって色々差があるけど最上位ビットとかをフラグに使用して16ビットに詰め込んでたんだよ。
うろ覚えだけど、例えば
0021-007e に ascii
00a1-00fe に jis kana
2121-7e7e に 0208
a1a1-fefe に 0212
とか、そんな感じ。
0749デフォルトの名無しさん
垢版 |
2018/08/18(土) 15:23:20.80ID:bNUWoVQ1
やけに wchar_t にこだわる(かみつく)奴がいるけど理由がわからん
内部がどういうエンコーディングかはプログラマは意識する必要ないのに
0750デフォルトの名無しさん
垢版 |
2018/08/18(土) 15:32:18.21ID:KC80I9ck
>>747
16ビットでなくて 32ビットで良いなら、今でも FreeBSD は EUC-JP をそのまま wchar_t に入れてる。
32bit なのでフラグ操作とかもなくて生のまま 0x008fa2be とか 0x00008ea0 とか。
0751デフォルトの名無しさん
垢版 |
2018/08/18(土) 16:04:03.91ID:M4v7ary7
低学歴低知能のククソニートどもや底辺ドカタどもは
自分がどんだけ知恵遅れなこと書いてるのか
なかったことにししてる

サマータイムスレでも同じだからな
コイツラ
0752デフォルトの名無しさん
垢版 |
2018/08/18(土) 19:02:32.17ID:IyhzoKxX
>>742
漏れの知ってる答えは
1も2もそういうコード書く奴はクビ
0758デフォルトの名無しさん
垢版 |
2018/08/24(金) 18:18:47.09ID:mVdVBkdF
すいません 文字コードについて教えてほしいことがあります マジものの初心者なんですがどうかおねがいします

Unicodeの一種(?)で65280文字ある種類のものを、なんと呼ぶのでしょうか。
(最初の方は透明に見えるフォントで始まり、最後の方は全角英数などが割り当てられています
http://www.m-hoz.com/jsp/unicode.jsp?Bgn=0&;End=65536
このページと想定しているものはまったく同じです)
WikipediaなどでUnicodeの記事を読んだのですが、バージョンや面やサブセットなどたくさんの種類があり
私が利用したいと思っている65280文字を含むUnicodeの一集合のことをなんと呼べばいいのか分かりませんでした。
というか 正直、Unicodeというのは65280文字(0xFFFF番目ですから)までしかないものと思っていましたが
なんかそれを遥かに凌ぐ量の文字が収録されていると書いてあり 余計に混乱してしまいました
文字コードに関する知識がほとんどなく おかしい文章になってしまいすいません よろしくおねがいします。
0759デフォルトの名無しさん
垢版 |
2018/08/24(金) 18:42:02.68ID:NFTQhSIK
65536-256
0761デフォルトの名無しさん
垢版 |
2018/08/24(金) 19:19:57.24ID:wXpFbMeR
>>758
基本多言語面
https://ja.wikipedia.org/wiki/%E9%9D%A2_(%E6%96%87%E5%AD%97%E3%82%B3%E3%83%BC%E3%83%89)#%E5%9F%BA%E6%9C%AC%E5%A4%9A%E8%A8%80%E8%AA%9E%E9%9D%A2

Unicodeは似てる文字を一つにまとめて約6万5000文字(16bit)に収めるぞーって
言っていたのが、案の定無理だと破綻し(だから言っただろうがバカメリケンが)、
21bitを使い最大で約111万文字収録可能になってる
最新のUnicode 11.0 では13万7439文字が収録されてる
0762デフォルトの名無しさん
垢版 |
2018/08/24(金) 19:24:24.02ID:wXpFbMeR
Unicodeはもはや文字コードじゃない
文字シーケンスというべきだろう
複数の文字を使って1文字を表している
0763デフォルトの名無しさん
垢版 |
2018/08/24(金) 20:11:02.68ID:mVdVBkdF
>>761
「基本多言語面」
ありがとうございます! すみません。言い方がボケナスで余計な労力をお掛けしました。
この言葉が知りたかったのです。

ちなみに極めてどうでもいいことですが
マインクラフトというゲームのフォントを変えたいと思っており
その為のフォントおよび文字コードの勉強していこうとしていたところでした。
0764デフォルトの名無しさん
垢版 |
2018/08/25(土) 06:50:31.16ID:gxBSyOuw
HTML のフォント指定は、こういう感じ。
「html フォント指定」で検索!

HTMLの文字コードは、UTF-8

<font face="候補1,候補2,候補3">フォントを変更します</font>

<p><font face="MS P明朝,MS 明朝">これは明朝体を指定</font></p>

それとも、マインクラフトはHTMLじゃないのか?
0765デフォルトの名無しさん
垢版 |
2018/08/25(土) 07:11:24.89ID:5ar3I1wr
>>762
合字はそうすることが自然だからそうなってるんだと思ってるんだけど、全部個別に文字コードを割り当てたほうがいいってこと?
0766デフォルトの名無しさん
垢版 |
2018/08/25(土) 09:10:13.50ID:2/0/KxdV
>>764
マインクラフトのフォントは
./assets/minecraft/textures/font
というディレクトリに16ドットフォントが16列16行配置されたPNG形式の画像が0xFF枚格納されてる
というような仕様になってますね
HTMLはあんまり関係ないです。
0768デフォルトの名無しさん
垢版 |
2018/09/10(月) 17:53:51.80ID:wWJP5KoS
Unicodeの公式サイト(http://unicode.org/)で,Unicodeの最新安定バージョンがなにかを調べるにはどこを見ればいいんですかね。
今11.0だそうですが,他サイトの情報なので,なるべく本家本元の情報が欲しいんです。
0769デフォルトの名無しさん
垢版 |
2018/09/10(月) 19:07:05.53ID:Xr++yj7Q
>>768
ちゃんとメニューを見よう。

サイトの左側のメニューから The Unicode Standard プルダウンの中にある Latest Version を選べばよい。
というわけで、現時点では 11.0 が最新という認識で正解です。
0771デフォルトの名無しさん
垢版 |
2018/09/12(水) 15:59:00.59ID:DAmcAY4y
Unicodeって,なんで初めに多バイト文字のことを考えなかったんだろう。
そもそも多バイト文字を統一するために設立したようなもんなんだから,
2^16では済まないことくらい予測できた筈なのにね
0773デフォルトの名無しさん
垢版 |
2018/09/12(水) 16:39:35.87ID:1j3hWxX7
>>771
アルファベット二十数文字しか使ってない奴らが
六万文字もあれば世界中全部の文字カバーできるよな
って雑に考えたから
0774デフォルトの名無しさん
垢版 |
2018/09/12(水) 17:33:44.29ID:lrlSblfi
>>773
ちょっと漢字の知識があっても漢字が5万字くらいだろ?
漢字で5万使って残り1万5千だな、余裕だろって感じだったんだろうな
0776デフォルトの名無しさん
垢版 |
2018/09/12(水) 22:25:38.00ID:yfKtIfo2
で、バカは5マンの漢字全部読めるの?
で、バカは5マンの漢字全部書けるの?
で、バカは5マンの漢字全部使えるの?
で、バカは5マンの漢字全部使ってるの?
0777デフォルトの名無しさん
垢版 |
2018/09/12(水) 22:30:26.22ID:yfKtIfo2
卜部の卜
トナカイの卜
見た目でも違いなんかまったくわからない
0778デフォルトの名無しさん
垢版 |
2018/09/13(木) 02:31:52.28ID:cMp+qWRQ
でもコンピュータに合わせて世界を
作り変えることができるなら、
65535文字に抑えるだろうな

サマータイムもない世の中
文字も16進数が基本かな
電気の流れもマイナスからプラスへだ
0779デフォルトの名無しさん
垢版 |
2018/09/13(木) 08:51:11.89ID:wI3BpnoI
君が代によれば、天皇の世は八千代続くので、
元号の合字も8000個必要になる。
Unicodeのどこかの面にまとめて確保できないものだろうか。
0781デフォルトの名無しさん
垢版 |
2018/09/13(木) 09:54:19.07ID:l9KSlvFS
>>774
宇宙人と交信する予定は無かったのか
0782デフォルトの名無しさん
垢版 |
2018/09/13(木) 09:56:12.02ID:l9KSlvFS
>電気の流れもマイナスからプラスへだ

これいつかやっても良いと思うけど
どこにどんな影響が出るんやろね
数学の外積の定義とかも変えたくなりそう
0783デフォルトの名無しさん
垢版 |
2018/09/13(木) 16:01:34.38ID:Mtznb6SP
>>782
電子がマイナスからプラスへと流れると電流がプラスからマイナスへ流れるという理解で問題ない
0784デフォルトの名無しさん
垢版 |
2018/09/13(木) 17:09:43.69ID:1sKEH3Wo
数字が連続してない符号化文字集合ってあるのかな。
EBCDICとかは英語が連続してないことで有名だけど。
0785デフォルトの名無しさん
垢版 |
2018/09/13(木) 19:23:35.05ID:U1nKZv8x
C言語の規格で'0'から'9'は連続していることになってたと思うから
そうじゃない文字コードがあったとしてもとっくに淘汰されてるのでは
0786デフォルトの名無しさん
垢版 |
2018/09/13(木) 19:34:24.00ID:l9KSlvFS
どうせ文字集合じゃねーって言われるけど
漢数字
0790デフォルトの名無しさん
垢版 |
2018/09/13(木) 21:35:44.08ID:1sKEH3Wo
漢数字がそれが表わす数字順に並ばないって結構有名だったのか……恥かしい
0791デフォルトの名無しさん
垢版 |
2018/09/14(金) 06:35:40.18ID:gu26jl1+
>>788
9って手で書くときはqみたいな形じゃない?
なんでコンピュータのフォントだと丸まるんだろう。
0792デフォルトの名無しさん
垢版 |
2018/09/14(金) 07:22:37.60ID:jXQgdfuV
>>791
ビリヤードの玉なんかわざわざ区別のつかないような字形にした上で
区別が付くように線を引いてるんだぜ
0793デフォルトの名無しさん
垢版 |
2018/09/14(金) 12:40:21.98ID:5xDSXwp0
>>788
RとЯ
0794デフォルトの名無しさん
垢版 |
2018/09/14(金) 15:58:06.01ID:V0YFlSa+
1960年代1970年代では、
コーディングシート上で「O(オー)」」と「0(ゼロ9)とを
区別するために

Fortranは「「O(オー)」の上に傍線を書いたし、
COBOLでは、「0(ゼロ)」に斜線を引いて区別
してたような気がする。

「I(あい)」と「1(いち)」の場合は、「I(アイ)」を
小文字の「i」を使っていたような気がする。

なにぶん、古い話なので、間違っているかもしれないが
一応参考までに
0796デフォルトの名無しさん
垢版 |
2018/09/14(金) 16:32:11.43ID:jXQgdfuV
>>795
本当だ!
って、なぜVS?重ね書きでいいのだから合成では、って探したらU+0338 U+0030でもいいらしい……
二重収録……
0797デフォルトの名無しさん
垢版 |
2018/09/14(金) 18:22:58.68ID:q3l06dS7
まーーた「異字体」という概念を欧米のやつらがめちゃめちゃにしやがったな
0798デフォルトの名無しさん
垢版 |
2018/09/14(金) 19:03:02.27ID:YqXme0/t
>>794
Dも横線入れたり、Uは必ず小文字のヒゲ書いたな
今でも手書きアルファベットでついやっちまうw
0800デフォルトの名無しさん
垢版 |
2018/09/14(金) 21:49:17.28ID:J5fDz/kR
斜線入りゼロの全角版もU+FF10 U+FE00で規定しようとしてるな。
もうアホかと。
0802デフォルトの名無しさん
垢版 |
2018/09/14(金) 22:50:34.15ID:G7suMYm4
21bitも使わせるからそんな浪費するんだよ。16bitで我慢させておくべきだった。
0803デフォルトの名無しさん
垢版 |
2018/09/15(土) 00:35:10.02ID:RLWLi0Yo
多コードポイント文字(←?)なのでビット数関係ない
むしろ、16bitに詰め込むために合成やVS、ZWJのような小細工が作られてしまって
それが乱用されてる
0804デフォルトの名無しさん
垢版 |
2018/09/15(土) 00:49:16.31ID:KIanXBkQ
UCS-4でコードポイントで利用できる領域は21bitまでときまってる
コードのレンジはMSBを除く31bitまで

コードポイントのビット数とエンコードのビット数は関係ない

相変わらず低学歴知恵遅れは
意味不明なことばっかりいう
0805デフォルトの名無しさん
垢版 |
2018/09/15(土) 08:00:03.75ID:JGlclHBn
>>804
知恵遅れは自分の思慮の浅さを認識出来ないから知恵遅れなんだぞ
仮に間違っていても何らかの意図や思惑があって発言したものを
意味不明と思考停止した時点で自分が馬鹿だと宣言するようなものだから
賢いつもりならもっと謙虚な態度を取るべきだ

>>803は複数のコードポイントのシーケンスで一文字を表す体系を採用した時点で
コードポイントが何ビットかはそれほど重要な問題じゃないと言っているわけだし
基本面しかなかったころにUCS2でコードポイントを16bitで表現していたのだが
賢いつもりならそれを分かっててそんな馬鹿のことを書いてるのか?
0806デフォルトの名無しさん
垢版 |
2018/09/15(土) 10:09:57.93ID:RLWLi0Yo
お、おう……ありがとう
「誰一人エンコーディングの話はしてねーだろ幻視かそれともセレクタ知らんのか」ぐらいは書こうとしたんだが
0807デフォルトの名無しさん
垢版 |
2018/09/16(日) 22:47:16.05ID:R5KpyTLY
>>796
U+0030 U+FE00は標準化されてるけどU+0030 U+0338の方はそうじゃない
スラッシュ0っぽいものになるかもしれないという程度
あとVSは検索時には無視されるんで0030と等価になる
0808デフォルトの名無しさん
垢版 |
2018/09/18(火) 13:57:58.92ID:5qlr0JT7
>>807
従来のやり方に合わせるとU+0030 U+0338に対応するNFC形式を用意して検索は互換分解で対応ってならね?
逆にVSを検索時無視するという仕様を活用するなら、互換分解よりもそっちが良かったって文字が他に沢山ない?
まあ、今更言ってもなんだ
0810デフォルトの名無しさん
垢版 |
2018/09/18(火) 22:20:07.57ID:rWjVnVL/
なんで混同している人がいるのかえあからないけど合字と変種は別のものだよ。
合字はもとの文字と別物として扱われるのに対して、変種はあくまで同じ文字の字形違い。
0811デフォルトの名無しさん
垢版 |
2018/09/21(金) 03:58:13.13ID:dtC8HZuo
すいません
「�����������d」
という文字列を解読したいです。
$ echo '<当該文字列>' | od -A xn -t x1
の結果は
000000 ef bf bd ef bf bd ef bf bd ef bf bd ef bf bd ef
000010 bf bd ef bf bd ef bf bd ef bf bd ef bf bd ef bf
000020 bd 64
のような感じです。
個人的には\0x0eや\0x0fが多く登場しているのでUTF-16あたりをUTF-8で解釈しているのかなとも思いまして
iconv(1)などでどうにかしようとしました(iconv -c -f utf16 -t utf8)が 駄目でした。

どうかよろしくおねがいします。
0815デフォルトの名無しさん
垢版 |
2018/09/21(金) 22:27:01.36ID:VETs/R35
URLエンコードとか16進文字列で表示してほしいよね。
文字化け文字列を表示されても途方に暮れる。
0816デフォルトの名無しさん
垢版 |
2018/09/22(土) 12:49:11.01ID:xOVRbYWf
>>815
表示したい文字とそれ以外をどうやって区別させる?
0817デフォルトの名無しさん
垢版 |
2018/09/22(土) 13:55:53.33ID:PGp2AKzL
低学歴知恵遅れの世界ではグリフが違うように見えれば
その字じたいがもつ意味もかわる
0818デフォルトの名無しさん
垢版 |
2018/09/22(土) 16:15:38.71ID:lyt/iYyi
φと Φ の小さい字が小文字 ɸ だと一緒のはずなんだが環境によって違うのが困る unicode のくせに
0819デフォルトの名無しさん
垢版 |
2018/09/23(日) 04:36:37.16ID:D4/zD5nR
https://github.com/JuliaStrings/utf8proc
これすばらしいね。
UTF8の煩雑な処理がC89という極めて汎用で互換性の高い言語で扱えるなんて。

ただUnicode11対応を謳ってる割には曖昧文字幅が考慮されてないのが難点
issueやPRを見てるとそれっぽい対応がされてるのかどうなのか……。
https://github.com/JuliaStrings/utf8proc/pull/83 👀
Rock54: Caution(BBR-MD5:1341adc37120578f18dba9451e6c8c3b)
0820デフォルトの名無しさん
垢版 |
2018/09/23(日) 13:00:23.58ID:7oyGtio1
>>816
書き手と読み手で共通のルールを作ればいいだけのこと。
どのみちASCII文字しか使えないので禁則文字が必要。
0822デフォルトの名無しさん
垢版 |
2018/09/25(火) 11:23:08.18ID:Ldj267OX
chrome で開いたけど問題なく日本語出るぞ
おまいのブラウザが糞なんじゃね

ブラウザ経由せずに python でダウソしたら中身 UTF-8 のファイルが出来た
<META http-equiv="Content-Type" content="text/html; charset=EUC-JP">
EUC-JP ってことになってるな
0824デフォルトの名無しさん
垢版 |
2018/09/25(火) 13:50:17.89ID:O6wzDQwM
そのサイトうちのffタソは普通に日本語出してる
0825デフォルトの名無しさん
垢版 |
2018/09/25(火) 15:39:49.76ID:po7dXpcK
夜に見たときはFirefoxでもChromiumでもWaterfoxでも
ID:lmrEE7TEが言うような文字化けになってたけど
今はFirefoxでもChromiumでもWaterfoxでも文字化けせずに見られる
そのサイトのほうがおかしくなってたんじゃないか?
0826デフォルトの名無しさん
垢版 |
2018/09/25(火) 15:45:45.33ID:O6wzDQwM
apacheとかデフォでutf-8に強制変更とかあるからな
0828デフォルトの名無しさん
垢版 |
2018/09/25(火) 16:45:52.15ID:EqDfiqim
奇遇ですね
私もちょうど昨日そのサイト見てました
0829デフォルトの名無しさん
垢版 |
2018/09/25(火) 17:23:14.79ID:lmrEE7TE
あっっれ。
まさかなと思ってもう一度行ったら なんかちゃんと読めるようになってたわ。
うーん。向こうの不具合かな。とりあえずFirefoxに濡れ衣を着せてしまったことをお詫びします。

ただしFirefoxには
http://www.am.ics.keio.ac.jp/~keisuke/lab/ptex218.html
↑このページが読めないという前科があるんだよね。
0830デフォルトの名無しさん
垢版 |
2018/09/25(火) 17:33:32.27ID:EqDfiqim
最近のブラウザは一時的に文字コード指定するメニュー無くなった
0831デフォルトの名無しさん
垢版 |
2018/09/25(火) 17:41:54.78ID:UWcApuPo
>>829
そのページはサーバーでUTF-8決め打ちで送って来てる
ファイル内に書かれたcharsetとどっちを優先するかって話なのかな
0832デフォルトの名無しさん
垢版 |
2018/09/25(火) 18:07:13.36ID:po7dXpcK
http://www.am.ics.keio.ac.jp/~keisuke/lab/ptex218.htmlは
WaterfoxやChromiumでも文字化けする
Waterfoxだと文字コードの手動切り替えで対応できるけど
自動判定できない状況に陥っているのだからサイト側の問題なんだろうね
0833デフォルトの名無しさん
垢版 |
2018/09/25(火) 18:35:00.27ID:EqDfiqim
HTTPはheaderみてそっち優先のブラウザばっかになってつまらんぬ
0835デフォルトの名無しさん
垢版 |
2018/09/25(火) 19:00:03.09ID:lmrEE7TE
だいたい日本語TeXを使ってるのなら文字コードに関する知識はそれなりにある筈なんだけどなぁ
0836デフォルトの名無しさん
垢版 |
2018/09/25(火) 19:01:52.45ID:EqDfiqim
>>834
美乳
0837デフォルトの名無しさん
垢版 |
2018/09/25(火) 23:09:37.69ID:dH/9GcKQ
>>829
EdgeでもIE11でも読めないぞ。
これもFirefoxのせいじゃない。
ちなみにw3mでは読めた。

>>832
サーバーがレスポンスヘッダで文字コードをUTF-8と返してるからそれに従ってるだけ。
そもそも自動判定しようとしてない。それなのにコンテンツはUTF-8以外(ISO-2022-JP)で出来てる。
要はサーバーの設定とコンテンツの不整合。
恐らくサーバー更新時に古いコンテンツのことを考慮してなかったんだろうな。
0841デフォルトの名無しさん
垢版 |
2018/10/02(火) 15:20:38.65ID:YIYqcJyy
RedHat や CentOS のパッケージで Apache をインストールするとデフォルトで AddDefaultCharset UTF-8 が有効になっているのが原因。
この設定をコメントアウトし忘れると今回のようなことが起きてしまう。

これ、わりと迷惑度合いの高いデフォルト設定なんだよねえ……
0842デフォルトの名無しさん
垢版 |
2018/10/02(火) 15:47:12.77ID:yDKwoLm6
何を今更
0843デフォルトの名無しさん
垢版 |
2018/10/03(水) 08:04:57.07ID:ej0n10jM
UTF-8デフォルトはそれこそLinux機にとっては嬉しいんだけどねぇ
ちなみにnghttp2というHTTP/2に特化したWebサーバーは
HTTP/2の既定エンコーディングがUTF-8であるにもかかわらずなんとASCII。
いつの時代だよ……。しかも古いプロジェクトじゃなくてめっちゃ新しいのに……。
0844デフォルトの名無しさん
垢版 |
2018/10/09(火) 21:29:38.61ID:cJ7fFqob
最近またUnicodeが分からなくなってしまった。
単にShift_JISのような
「一部コードを拡張マップ専用の文字にして後続のコードを
その拡張マップ専用の文字のコードと連続した(つまり2次元的な配置の)コードとして
処理する」
っていう方法ではないのか。
0845デフォルトの名無しさん
垢版 |
2018/10/10(水) 01:30:32.33ID:cxHjn/W/
違う
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況