文字コード総合スレ Part12

**デフォルトの名無しさん** · 2018/12/16(日) 12:38:15.61

Windows NTは初代からUnicodeがネイティブの文字コードです。cp932ではありません。
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 https://mevius.5ch.net/test/read.cgi/tech/1516629503/

**デフォルトの名無しさん** · 2019/09/05(木) 01:11:05.81

どうせ言い返す言葉は無いだろうから
待ってても時間の無駄なので先に言っておくと
何も言わない or 捨て台詞はくだけなら俺に喧嘩売らなければいいのにｗ

**デフォルトの名無しさん** · 2019/09/05(木) 04:37:49.32

完全Unicode対応ならどの符号化方式も対応してなきゃダメだろ

**デフォルトの名無しさん** · 2019/09/05(木) 05:59:20.80

※ LinuxはUTF-16、UTF-32に対応していません

**デフォルトの名無しさん** · 2019/09/05(木) 06:00:04.95

※ MacもUTF-16、UTF-32に対応していません

**デフォルトの名無しさん** · 2019/09/05(木) 06:48:35.75

他者を貶めたところで>>654が真実になることはない

**デフォルトの名無しさん** · 2019/09/05(木) 06:54:53.66

他者を貶めるってなんのこと？

**デフォルトの名無しさん** · 2019/09/05(木) 07:53:38.03

>>662
NTカーネル以外のものは他者だろ

**デフォルトの名無しさん** · 2019/09/05(木) 08:02:45.45

じゃあNTカーネルに限ってはUnicodeっていうのは正しいってこと？

**デフォルトの名無しさん** · 2019/09/05(木) 12:58:50.41

どーしても我流を貫きたいんだなw
まあ他人の人生だから干渉するつもりはないが，そういう生き方は苦労すると思うぞ？

**デフォルトの名無しさん** · 2019/09/11(水) 17:58:19.49

FEFF
https://en.wikipedia.org/wiki/FEFF

**デフォルトの名無しさん** · 2019/09/12(木) 12:27:59.62

全然関係ないけどWPへのリンクはMWの短縮URLが使える。
https://w.wiki/8Ew

**デフォルトの名無しさん** · 2019/09/12(木) 12:43:49.99

本当に短縮したいところは日本語ページのパーセントエンコードされたところだがうまくいかないもんだな

**デフォルトの名無しさん** · 2019/09/13(金) 09:23:49.73

日本語のページも短縮URLにできるんだけど，そうじゃなくて？

**デフォルトの名無しさん** · 2019/09/13(金) 10:11:35.77

文字通り文字コードのエンコードを間違えてるんだろう

**デフォルトの名無しさん** · 2019/09/13(金) 16:18:49.47

[%E5は無効なエンコードです。メインページに戻る。]

**デフォルトの名無しさん** · 2019/09/13(金) 17:19:54.63

当たり前だけど問題ないな
https://w.wiki/8Hy

**デフォルトの名無しさん** · 2019/09/14(土) 00:14:10.89

これ使われた順に生成されていくの？
そのうち4文字になるんかな

**デフォルトの名無しさん** · 2019/09/14(土) 00:23:57.48

絵文字などサロゲートペアが必要な領域をUTF-7で表現するとUTF-32よりもバイトサイズが大きくなる。まめな。

**デフォルトの名無しさん** · 2019/09/14(土) 11:56:27.23

utf-7が使われてる環境とかデータとか出会ったことが無い

**デフォルトの名無しさん** · 2019/09/15(日) 03:21:10.57

見せたろか

**デフォルトの名無しさん** · 2019/09/15(日) 04:11:30.07

見せて！

**デフォルトの名無しさん** · 2019/09/15(日) 04:14:52.61

utf7ってasciiじゃないっけ？

**デフォルトの名無しさん** · 2019/09/15(日) 05:00:59.65

ここにはない

**デフォルトの名無しさん** · 2019/09/15(日) 10:05:21.58

>>678
違う

君の理屈だと中国はチベットの一部ということになる

**デフォルトの名無しさん** · 2019/09/16(月) 06:54:09.51

じゃ，そういうことじゃん

**デフォルトの名無しさん** · 2019/09/21(土) 16:46:43.93

UTF-8もUTF-7も「ASCII互換にしようと思えばできる」文字符号化方式で
UTF-16/32は端から過去互換性を捨ててるっていう理解OK？

**デフォルトの名無しさん** · 2019/09/21(土) 17:12:22.41

互換の意味判ってるか？

**デフォルトの名無しさん** · 2019/09/21(土) 17:13:19.94

>>682
ちゃんと仕様読め

**デフォルトの名無しさん** · 2019/09/22(日) 02:18:18.82

>>682
意味がわからない

**デフォルトの名無しさん** · 2019/09/22(日) 11:35:45.78

>>682
OK

**デフォルトの名無しさん** · 2019/09/22(日) 12:48:42.82

684デフォルトの名無しさん2019/09/21(土) 17:13:19.94ID:AMltcnvP
>>682
ちゃんと仕様読め

685デフォルトの名無しさん2019/09/22(日) 02:18:18.82ID:tTe+mIIa
>>682
意味がわからない

686デフォルトの名無しさん2019/09/22(日) 11:35:45.78ID:LQCFANDg
>>682
OK

----
どういうことなの…

**デフォルトの名無しさん** · 2019/09/22(日) 15:28:59.04

教訓：5chで情報収集するな

**デフォルトの名無しさん** · 2019/09/22(日) 21:23:59.11

互換って何なの

**デフォルトの名無しさん** · 2019/09/22(日) 22:18:40.20

揚げ足取り終了。

質問。皆さんが普段使っている文字コード変換ライブラリでおススメはなんですか。

**デフォルトの名無しさん** · 2019/09/22(日) 23:28:10.21

お勧めもなにもiconvかICUで大体用は足りる
それで満足しなきゃ自分で作るしかない

**デフォルトの名無しさん** · 2019/09/23(月) 08:58:26.51

文字コードの変換だけ？
いまどきのまともな言語環境なら変換元のエンコーディングさえ分かってれば標準機能で出来るだろうに
それとも全角⇔半角の変換みたいなのをやりたいってこと？

**デフォルトの名無しさん** · 2019/09/23(月) 11:35:21.05

こっちはだめ
https://ja.cppreference.com/w/cpp/string/multibyte/wcstombs
https://ja.cppreference.com/w/cpp/string/multibyte/mbstowcs

これ使え
https://docs.microsoft.com/ja-jp/cpp/c-runtime-library/reference/mbstowcs-s-mbstowcs-s-l?view=vs-2019
https://docs.microsoft.com/ja-jp/cpp/c-runtime-library/reference/wcstombs-s-wcstombs-s-l?view=vs-2019

**デフォルトの名無しさん** · 2019/09/23(月) 14:54:10.02

Windows SDK付属のデバッグ用ソースを見たところmbstowcs_sの文字コード変換は、Win32APIであるMultiByteToWideCharを使っているようですね。

**デフォルトの名無しさん** · 2019/09/23(月) 15:08:29.22

MultiByteToWideChar / WideCharToMultiByte 最強

◆QZaw55cn4c · 2019/09/23(月) 15:53:59.08

>>695
確かに便利でありがたかったです
https://mevius.5ch.net/test/read.cgi/tech/1434079972/53

**デフォルトの名無しさん** · 2019/09/23(月) 16:01:34.44

null-terminatedとそうでない場合の仕様の違いをちゃんと理解してなくて
バグった挙句によけいな1byte追加しちゃったりした思い出。

**デフォルトの名無しさん** · 2019/09/23(月) 16:24:42.75

奇遇ですね
https://www.vector.co.jp/soft/dl/winnt/net/se472641.html

**デフォルトの名無しさん** · 2019/09/24(火) 00:23:12.23

長い上にださい略し方だ…

**デフォルトの名無しさん** · 2019/09/24(火) 14:25:04.46

python3でlogging使ってsyslogに出力すると
ASCIIで出力してもなぜか最後に\0が付いてログが残る
鯖側のsyslogdの方で付いてるのかと思ったが
そうじゃなくてpython3が勝手に付けてるみたい
python3のstringがunicode化したときにバグ入ったんかな
python2のときはそんなこと無かった気がする

**デフォルトの名無しさん** · 2019/09/25(水) 12:14:01.12

ttps://bugs.python.org/issue12168

**デフォルトの名無しさん** · 2019/09/25(水) 13:11:07.39

深い闇を垣間見た気がする

handler.log_format_string = '<%d>%s'
だと no attribute

handler.setFormatter(logging.Formatter('%(message)s'))
だと結局 \0 付いたままでした

**デフォルトの名無しさん** · 2019/09/25(水) 13:18:01.66

コンストラクタ呼ぶ前に
logging.handlers.SysLogHandler.append_nul = False
で解決しました
thx!

**デフォルトの名無しさん** · 2019/09/25(水) 14:09:59.51

エンコードされた文字のバイト並びが
utf-8 と cp832 で同じ(にみえる)ものってどんなのがあります？
そもそも 3bytes と 2bytes なのは仕方ないのですが
utf-8 だと (xx yy zz)
みたいなのが
cp932 だと (xx yy) 00
逆に
cp932 だと (uu vv) (ww xx) (yy zz)
みたいなのが
utf-8 だと (uu vv ww) (xx yy zz)
みたいなのでも良いです
そもそもありえない？

**デフォルトの名無しさん** · 2019/09/25(水) 14:11:59.88

cp932 ってことはいわゆる半角カナも入れて良いのカナ

**デフォルトの名無しさん** · 2019/09/25(水) 14:14:32.79

出来れば「美乳」みたいなクオリティ高いのが良いです

**デフォルトの名無しさん** · 2019/09/25(水) 16:32:05.43

美乳ってどういう特長を持ってたんだっけ？
エージェントが読み込んだときに確実にShift JISだって判定できるんだっけか。

**デフォルトの名無しさん** · 2019/09/25(水) 23:44:33.31

PC初心者です。
あるexeファイルをコマンドウインドウで開く。ということをしなきゃならないんだけどシフト＋右クリックしてもコマンドウインドウで開くというのがありませんでした
調べたら、コマンドウインドウで開くを表示したい場合メモ帳で名前を付けて保存の時に文字コードをUnicodeにして保存し実行したらレジストリがどうたら書いてあったんでしようとしたら、文字コードにUnicodeがありませんでした。
どうしたら良いですか？

**デフォルトの名無しさん** · 2019/09/26(木) 00:04:19.37

↓最高に面白い回答

**デフォルトの名無しさん** · 2019/09/26(木) 00:06:20.67

>>708
>どうしたら良いですか？

諦める
高望みするから人間は苦しむんだよ

**デフォルトの名無しさん** · 2019/09/26(木) 01:58:07.64

>>704
ASCII以外ではたぶん無いんじゃないかな
cp932としてもutf-8としても正しいバイト列で
それぞれが別の単語になるケースを探したことがあるけど、
それでも両方が意味のある単語になる例は見つけられかった

どういう目的でそういう例を探してるの？

**デフォルトの名無しさん** · 2019/09/26(木) 08:30:15.09

>>708
cmdにd&dかバッチファイル作れ
これ以上はスレチ

**デフォルトの名無しさん** · 2019/10/08(火) 14:05:40.55

ブログラムソースをUTF16やUTF32で書いてる人いるの？
ブログラム内の文字列のデータじゃなくてブログラムの地の部分

**デフォルトの名無しさん** · 2019/10/08(火) 14:10:33.38

そんなゴリホーモおらんやろ

**デフォルトの名無しさん** · 2019/10/08(火) 15:33:52.08

誰が読むんだ

**デフォルトの名無しさん** · 2019/10/23(水) 21:57:19.58

まるでUTF-16文書は読むのに向かないかのような発言やな
まともなエディタなら読めて当然。

**デフォルトの名無しさん** · 2019/10/23(水) 23:42:00.06

ICUなんてほぼほぼUTF-16ですよ。

**デフォルトの名無しさん** · 2019/10/24(木) 17:29:35.02

なんかUnicodeのサイト分裂した？

**デフォルトの名無しさん** · 2019/10/24(木) 18:37:57.14

青っぽいデザイン変更で入口が使いにくくなってる辺り?

**デフォルトの名無しさん** · 2019/10/27(日) 00:29:12.62

なにそれこわい

**デフォルトの名無しさん** · 2019/10/29(火) 16:20:42.34

https://home.unicode.org/#
これやな。
なんか謎の意匠がw

**デフォルトの名無しさん** · 2019/11/01(金) 01:07:36.40

結局見つかったのは何なの

**デフォルトの名無しさん** · 2019/11/01(金) 01:07:53.40

書くとこ間違えた失礼

**デフォルトの名無しさん** · 2019/11/15(金) 19:48:26.91

文を書くときに？や（）などの半角にも全角にもある文字はどっちを使うべきなのか迷う。
数字やアルファベットは半角を使うのが普通だからASCIIコードにある文字はASCIIコードを使った方がいいんだろうか

**デフォルトの名無しさん** · 2019/11/15(金) 21:21:21.06

特に拘りが無いならNFKCに倣う

**デフォルトの名無しさん** · 2019/11/15(金) 23:13:58.98

JIS X 0208 を 0201 のスーパーセットにしなかったのが諸悪の根源

**デフォルトの名無しさん** · 2019/11/15(金) 23:28:13.72

そもそも世界中の文字を一つの体系で包括できると考えたりしたのが…ﾌﾞﾂﾌﾞﾂ

**デフォルトの名無しさん** · 2019/11/16(土) 09:13:00.94

サル共がコンピュータを使わなければ面倒がないのに
とか思われてるよ

**デフォルトの名無しさん** · 2019/11/16(土) 10:56:43.05

ASCII に含まれてる記号は半角で入力してる
っていうか IME で半角優先にしてるのでそっちばっかりになる
IME ON の状態であってもスペースももちろん半角だ

**デフォルトの名無しさん** · 2019/11/17(日) 00:12:46.29

チルダとかハイフンマイナス、引用符あたりは迷う。
これらは単に全角と半角の関係ではないんじゃないかという気がする。

**デフォルトの名無しさん** · 2019/11/19(火) 22:24:19.13

0-9A-Za-z は半角だけどその他はちょっと迷うかな
! や ? は書いてるのが日本語漢字仮名交じり文なら全角にするかも

**デフォルトの名無しさん** · 2019/11/20(水) 09:53:23.76

公文書の「，」なぜ？　半世紀以上、見直し検討
2019 11 18
https://www.sankei.com/life/news/191118/lif1911180006-n1.html

**デフォルトの名無しさん** · 2019/11/21(木) 16:10:59.78

俺は「，」のほうが寧ろ収まりがいいように見えるけどな。
感性で判断するんじゃなくて，論理的根拠をもって「，」か「、」かを決めるべきよね。

**デフォルトの名無しさん** · 2019/11/21(木) 18:03:44.71

日本語の文章は分かち書きをするわけではないから、
点があるのにコンマのような後ろにスペースを要する記号を使うのはおかしいと思う。
丸の代わりにピリオドを使うのも同じ。

それにしても、公文書の混ぜこぜの用法はどっちつかずだよな。
もともと、和文タイプライターで使われていた用法なのではないか？

**デフォルトの名無しさん** · 2019/11/21(木) 18:06:42.91

使ったこと無いからわからなかったが、全角コンマなんてのがあるんだな。
これって、全角英数と同じで、日本語の体裁に合わせるためにわざわざ作られた文字だよねぇ。

**デフォルトの名無しさん** · 2019/11/21(木) 19:11:00.69

>>733
フォント次第ながらも「，」は半角カンマ「,」と一目で見分けることができない。
一方「、」は全角しかない。よって誤植の起きにくい「、」で統一するべき。

**デフォルトの名無しさん** · 2019/11/21(木) 21:10:52.53

>>736
半角の､だってあるだろ
AAとかでよく使われる

**デフォルトの名無しさん** · 2019/11/21(木) 21:14:37.01

見分けられないで言い切られたらコーヒー噴くしかない

**デフォルトの名無しさん** · 2019/11/21(木) 21:51:21.49

文字コードスレなのにいまだに「全角」とか言う奴いるんだな

**デフォルトの名無しさん** · 2019/11/21(木) 22:11:40.82

ここまで無知だと辛いどころか辛さも感じないほどにアホなんだろうな
739は

**デフォルトの名無しさん** · 2019/11/21(木) 22:27:48.86

カッコは半角と全角でベースラインが違うフォントも少なくないんで
囲う文字に合わせてる

**デフォルトの名無しさん** · 2019/11/22(金) 00:27:47.62

そもそも日本語は句読点は使っていなくて使われ始めたのが
欧米のカンマやピリオドの影響で明治後期くらいからだからな

**デフォルトの名無しさん** · 2019/11/22(金) 01:42:56.04

FULLWIDTHとか出てくるのを全角以外にどう呼べと

**デフォルトの名無しさん** · 2019/11/22(金) 01:49:03.41

句点の代わりに「候(そうろう)」を使ってたんでしょ、昔の人は。

**デフォルトの名無しさん** · 2019/11/22(金) 02:26:32.88

日本はもともと縦書きで「，」なんて使ってなかっただろ？
縦書きでどの位置に「，」を打てばいいのよ？

**デフォルトの名無しさん** · 2019/11/22(金) 03:23:33.25

縦書きは、を使って横書きは，を使えばいいじゃん
なんで臨機応変に対応できないんだろう？

**デフォルトの名無しさん** · 2019/11/22(金) 03:31:46.87

臨機応変に縦書きと横書きを変換するからだよ
ウェブ上では横書き、本にしたら縦書きとかな

**デフォルトの名無しさん** · 2019/11/22(金) 15:56:12.49

漢文で書かれた本の中には、句点は、文字の横に○をつけていたものがる。
江戸時代のくずし字でかられた読み本は、句読点なし。読む人が判断することになっている。

**デフォルトの名無しさん** · 2019/11/22(金) 18:59:44.59

教科書フォントに慣れ切って高卒レベルの古典教養しかない現代人は「くずし字」の原書をほとんど読めない問題。

**デフォルトの名無しさん** · 2019/11/22(金) 19:10:33.77

筆で書かないと身につかんよ

**デフォルトの名無しさん** · 2019/11/22(金) 19:31:16.58

中学高校の古典の授業で、原書を写真印刷した文書を読ませる機会を与えるべきだろう。
活字慣れした現代人は太平洋戦争中の日記や戦場から送られてきた手紙さえ読めない。

**デフォルトの名無しさん** · 2019/11/22(金) 20:55:41.01

厨二満載の文集が他人に読まれなくなる日も近いんだな
よかったワープロが普及する前で

**デフォルトの名無しさん** · 2019/11/22(金) 21:23:42.16

アメリカでも筆記体が廃れつつあるんじゃなかったか
せいぜいサインする時に使うくらい

**デフォルトの名無しさん** · 2019/11/22(金) 22:42:29.42

ラテン文字は筆を選ばないでも問題無いが
漢字や仮名は楷書でも筆の運びをちゃんと学んだ方が近道

**デフォルトの名無しさん** · 2019/11/22(金) 23:50:42.29

墨汁ﾄﾞﾊﾞｰ

**デフォルトの名無しさん** · 2019/11/23(土) 09:52:15.28

ん? 江戸時代から句読点はあったよ。
多分、由来は漢文の補助点で句の切れ目に「、」を打って読みやすくしたもの。文末も句点だった模様。

**デフォルトの名無しさん** · 2019/11/23(土) 10:17:05.69

>>756
一般に使われ出したのは明治でしょ