X

文字コード総合スレ Part12

■ このスレッドは過去ログ倉庫に格納されています
0001デフォルトの名無しさん
垢版 |
2018/12/16(日) 12:38:15.61ID:VlX3xGEw
Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/
0643デフォルトの名無しさん
垢版 |
2019/09/03(火) 21:51:19.99ID:kvsGhJj2
文字集合を符号化するのは、文字の区切れが判断できないからって解釈してんだけどあってる？
0644デフォルトの名無しさん
垢版 |
2019/09/03(火) 22:15:09.34ID:18+sQUYN
>>634
>多様性を重んじる。俺はそっちのほうが好きかな。

ところでホモにつきまとわれたらどうする？
0646デフォルトの名無しさん
垢版 |
2019/09/04(水) 04:00:00.76ID:xGPrnpMI
>>644
ホモであることは否定しないが、ホモは嫌いという俺の感情も尊重していただきたい
これが多様性だ!
0647デフォルトの名無しさん
垢版 |
2019/09/04(水) 09:16:30.39ID:n47u8TF1
>>645
ホモにつきまとわれて困ると友人にこぼしたら、
性癖を暴露されたとか言われて更に嫌がらせで自殺された事件？
ああいうの見てると、ホモの権利拡大とかしちゃいかんよなって思うよなあ
0648デフォルトの名無しさん
垢版 |
2019/09/04(水) 18:11:05.05ID:gX5VYMvu
>>639
Windowsが作るシステムファイルもSJISですよ？
0650デフォルトの名無しさん
垢版 |
2019/09/04(水) 18:52:19.95ID:gX5VYMvu
>>649
延々と嘘を書くのはやめてもらえませんか？
0652デフォルトの名無しさん
垢版 |
2019/09/04(水) 19:24:35.38ID:gX5VYMvu
妄想か
0656デフォルトの名無しさん
垢版 |
2019/09/05(木) 01:09:51.35ID:rtvg+Hab
補足すると、Unicodeは文字列集合で
符号化方式がUTF-16やUTF-8など
どの符号化方式であってもUnicodeといえる

>>655
さて、何か言い返したい言葉は有るかね？
0657デフォルトの名無しさん
垢版 |
2019/09/05(木) 01:11:05.81ID:rtvg+Hab
どうせ言い返す言葉は無いだろうから
待ってても時間の無駄なので先に言っておくと
何も言わない or 捨て台詞はくだけ なら俺に喧嘩売らなければいいのにｗ
0665デフォルトの名無しさん
垢版 |
2019/09/05(木) 12:58:50.41ID:5R9ffMew
どーしても我流を貫きたいんだなw
まあ他人の人生だから干渉するつもりはないが，そういう生き方は苦労すると思うぞ？
0668デフォルトの名無しさん
垢版 |
2019/09/12(木) 12:43:49.99ID:vEKot6kT
本当に短縮したいところは日本語ページのパーセントエンコードされたところだがうまくいかないもんだな
0670デフォルトの名無しさん
垢版 |
2019/09/13(金) 10:11:35.77ID:wKEqF87n
文字通り文字コードのエンコードを間違えてるんだろう
0674デフォルトの名無しさん
垢版 |
2019/09/14(土) 00:23:57.48ID:FV8dJ/wR
絵文字などサロゲートペアが必要な領域をUTF-7で表現するとUTF-32よりもバイトサイズが大きくなる。まめな。
0675デフォルトの名無しさん
垢版 |
2019/09/14(土) 11:56:27.23ID:mIZ3m5oP
utf-7が使われてる環境とかデータとか出会ったことが無い
0680デフォルトの名無しさん
垢版 |
2019/09/15(日) 10:05:21.58ID:tu3q64lr
>>678
違う

君の理屈だと中国はチベットの一部ということになる
0682デフォルトの名無しさん
垢版 |
2019/09/21(土) 16:46:43.93ID:7QW0JGF+
UTF-8もUTF-7も「ASCII互換にしようと思えばできる」文字符号化方式で
UTF-16/32は端から過去互換性を捨ててるっていう理解OK？
0683デフォルトの名無しさん
垢版 |
2019/09/21(土) 17:12:22.41ID:icgczTg/
互換の意味判ってるか？
0687デフォルトの名無しさん
垢版 |
2019/09/22(日) 12:48:42.82ID:Uxh+z88Q
684デフォルトの名無しさん2019/09/21(土) 17:13:19.94ID:AMltcnvP
>>682
ちゃんと仕様読め

685デフォルトの名無しさん2019/09/22(日) 02:18:18.82ID:tTe+mIIa
>>682
意味がわからない

686デフォルトの名無しさん2019/09/22(日) 11:35:45.78ID:LQCFANDg
>>682
OK

----
どういうことなの…
0690デフォルトの名無しさん
垢版 |
2019/09/22(日) 22:18:40.20ID:sBc79exV
揚げ足取り終了。

質問。皆さんが普段使っている文字コード変換ライブラリでおススメはなんですか。
0691デフォルトの名無しさん
垢版 |
2019/09/22(日) 23:28:10.21ID:JTFkWMft
お勧めもなにもiconvかICUで大体用は足りる
それで満足しなきゃ自分で作るしかない
0692デフォルトの名無しさん
垢版 |
2019/09/23(月) 08:58:26.51ID:10n0KRvd
文字コードの変換だけ？
いまどきのまともな言語環境なら変換元のエンコーディングさえ分かってれば標準機能で出来るだろうに
それとも全角⇔半角の変換みたいなのをやりたいってこと？
0694デフォルトの名無しさん
垢版 |
2019/09/23(月) 14:54:10.02ID:FPxFvDjY
Windows SDK付属のデバッグ用ソースを見たところmbstowcs_sの文字コード変換は、Win32APIであるMultiByteToWideCharを使っているようですね。
0695デフォルトの名無しさん
垢版 |
2019/09/23(月) 15:08:29.22ID:3qdqqJ07
MultiByteToWideChar / WideCharToMultiByte 最強
0697デフォルトの名無しさん
垢版 |
2019/09/23(月) 16:01:34.44ID:51KZjw6P
null-terminatedとそうでない場合の仕様の違いをちゃんと理解してなくて
バグった挙句によけいな1byte追加しちゃったりした思い出。
0700デフォルトの名無しさん
垢版 |
2019/09/24(火) 14:25:04.46ID:oiN+60ax
python3でlogging使ってsyslogに出力すると
ASCIIで出力してもなぜか最後に\0が付いてログが残る
鯖側のsyslogdの方で付いてるのかと思ったが
そうじゃなくてpython3が勝手に付けてるみたい
python3のstringがunicode化したときにバグ入ったんかな
python2のときはそんなこと無かった気がする
0702デフォルトの名無しさん
垢版 |
2019/09/25(水) 13:11:07.39ID:BmMtZLRv
深い闇を垣間見た気がする

handler.log_format_string = '<%d>%s'
だと no attribute

handler.setFormatter(logging.Formatter('%(message)s'))
だと結局 \0 付いたままでした
0703デフォルトの名無しさん
垢版 |
2019/09/25(水) 13:18:01.66ID:BmMtZLRv
コンストラクタ呼ぶ前に
logging.handlers.SysLogHandler.append_nul = False
で解決しました
thx!
0704デフォルトの名無しさん
垢版 |
2019/09/25(水) 14:09:59.51ID:sdHp2tVC
エンコードされた文字のバイト並びが
utf-8 と cp832 で同じ(にみえる)ものってどんなのがあります？
そもそも 3bytes と 2bytes なのは仕方ないのですが
utf-8 だと (xx yy zz)
みたいなのが
cp932 だと (xx yy) 00
逆に
cp932 だと (uu vv) (ww xx) (yy zz)
みたいなのが
utf-8 だと (uu vv ww) (xx yy zz)
みたいなのでも良いです
そもそもありえない？
0706デフォルトの名無しさん
垢版 |
2019/09/25(水) 14:14:32.79ID:sdHp2tVC
出来れば「美乳」みたいなクオリティ高いのが良いです
0707デフォルトの名無しさん
垢版 |
2019/09/25(水) 16:32:05.43ID:vuS5tsH7
美乳ってどういう特長を持ってたんだっけ？
エージェントが読み込んだときに確実にShift JISだって判定できるんだっけか。
0708デフォルトの名無しさん
垢版 |
2019/09/25(水) 23:44:33.31ID:2M81F3EH
PC初心者です。
あるexeファイルをコマンドウインドウで開く。ということをしなきゃならないんだけどシフト＋右クリックしてもコマンドウインドウで開くというのがありませんでした
調べたら、コマンドウインドウで開くを表示したい場合メモ帳で名前を付けて保存の時に文字コードをUnicodeにして保存し実行したらレジストリがどうたら書いてあったんでしようとしたら、文字コードにUnicodeがありませんでした。
どうしたら良いですか？
0711デフォルトの名無しさん
垢版 |
2019/09/26(木) 01:58:07.64ID:MW37nPtB
>>704
ASCII以外ではたぶん無いんじゃないかな
cp932としてもutf-8としても正しいバイト列で
それぞれが別の単語になるケースを探したことがあるけど、
それでも両方が意味のある単語になる例は見つけられかった

どういう目的でそういう例を探してるの？
0713デフォルトの名無しさん
垢版 |
2019/10/08(火) 14:05:40.55ID:yxEiS4UK
ブログラムソースをUTF16やUTF32で書いてる人いるの？
ブログラム内の文字列のデータじゃなくてブログラムの地の部分
0716デフォルトの名無しさん
垢版 |
2019/10/23(水) 21:57:19.58ID:CiGuyy89
まるでUTF-16文書は読むのに向かないかのような発言やな
まともなエディタなら読めて当然。
0717デフォルトの名無しさん
垢版 |
2019/10/23(水) 23:42:00.06ID:/s0IRa9G
ICUなんてほぼほぼUTF-16ですよ。
0724デフォルトの名無しさん
垢版 |
2019/11/15(金) 19:48:26.91ID:CD4iEOnB
文を書くときに？や（）などの半角にも全角にもある文字はどっちを使うべきなのか迷う。
数字やアルファベットは半角を使うのが普通だからASCIIコードにある文字はASCIIコードを使った方がいいんだろうか
0727デフォルトの名無しさん
垢版 |
2019/11/15(金) 23:28:13.72ID:69Rrw1ZJ
そもそも世界中の文字を一つの体系で包括できると考えたりしたのが…ﾌﾞﾂﾌﾞﾂ
0729デフォルトの名無しさん
垢版 |
2019/11/16(土) 10:56:43.05ID:t6zcY+AG
ASCII に含まれてる記号は半角で入力してる
っていうか IME で半角優先にしてるのでそっちばっかりになる
IME ON の状態であってもスペースももちろん半角だ
0730デフォルトの名無しさん
垢版 |
2019/11/17(日) 00:12:46.29ID:ZZ8XSzBD
チルダとかハイフンマイナス、引用符あたりは迷う。
これらは単に全角と半角の関係ではないんじゃないかという気がする。
0731デフォルトの名無しさん
垢版 |
2019/11/19(火) 22:24:19.13ID:lA4rVXxm
0-9A-Za-z は半角だけどその他はちょっと迷うかな
! や ? は書いてるのが日本語漢字仮名交じり文なら全角にするかも
0733デフォルトの名無しさん
垢版 |
2019/11/21(木) 16:10:59.78ID:0qs1xY5M
俺は「，」のほうが寧ろ収まりがいいように見えるけどな。
感性で判断するんじゃなくて，論理的根拠をもって「，」か「、」かを決めるべきよね。
0734デフォルトの名無しさん
垢版 |
2019/11/21(木) 18:03:44.71ID:oVdD3irj
日本語の文章は分かち書きをするわけではないから、
点があるのにコンマのような後ろにスペースを要する記号を使うのはおかしいと思う。
丸の代わりにピリオドを使うのも同じ。

それにしても、公文書の混ぜこぜの用法はどっちつかずだよな。
もともと、和文タイプライターで使われていた用法なのではないか？
0735デフォルトの名無しさん
垢版 |
2019/11/21(木) 18:06:42.91ID:oVdD3irj
使ったこと無いからわからなかったが、全角コンマなんてのがあるんだな。
これって、全角英数と同じで、日本語の体裁に合わせるためにわざわざ作られた文字だよねぇ。
0736デフォルトの名無しさん
垢版 |
2019/11/21(木) 19:11:00.69ID:wlMAy4t9
>>733
フォント次第ながらも「，」は半角カンマ「,」と一目で見分けることができない。
一方「、」は全角しかない。よって誤植の起きにくい「、」で統一するべき。
0740デフォルトの名無しさん
垢版 |
2019/11/21(木) 22:11:40.82ID:Ht1weGMK
ここまで無知だと辛いどころか辛さも感じないほどにアホなんだろうな
739は
0741デフォルトの名無しさん
垢版 |
2019/11/21(木) 22:27:48.86ID:T5O6V3Nl
カッコは半角と全角でベースラインが違うフォントも少なくないんで
囲う文字に合わせてる
0742デフォルトの名無しさん
垢版 |
2019/11/22(金) 00:27:47.62ID:5/IABJQJ
そもそも日本語は句読点は使っていなくて使われ始めたのが
欧米のカンマやピリオドの影響で明治後期くらいからだからな
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況