文字コード総合スレ Part12

**デフォルトの名無しさん** · 2018/12/17(月) 16:48:24.47

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 http://mevius.5ch.net/test/read.cgi/tech/1516629503/

**デフォルトの名無しさん** · 2018/12/17(月) 16:56:24.69

JTC1/SC2/WG2 - ISO/IEC 10646 - UCS
http://std.dkuug.dk/JTC1/SC2/WG2/

ISO/IEC JTC1/SC2/WG2/IRG
Ideographic Rapporteur Group
http://appsrv.cse.cuhk.edu.hk/~irg/

**デフォルトの名無しさん** · 2018/12/17(月) 16:58:24.64

前スレが終了間近だったので立てました。
追加するサイトなどあればよろしくお願いします。

**デフォルトの名無しさん** · 2018/12/17(月) 20:17:00.51

文字コード総合スレ Part12
https://mevius.5ch.net/test/read.cgi/tech/1544931495/

**デフォルトの名無しさん** · 2018/12/18(火) 10:08:11.45

>>1
U+30B9 U+30EC U+7ACB U+3066 U+4E59

**デフォルトの名無しさん** · 2018/12/18(火) 11:22:14.11

>>11 の本スレ推奨

Part 13 になったら起こしてくれ

**デフォルトの名無しさん** · 2019/03/08(金) 14:51:30.23

一応メモ
https://qiita.com/yumetodo/items/54e1a8230dbf513ea85b

森& ◆XzWbLuCZuZlZ · 2019/03/09(土) 06:47:26.73

C++17
非推奨の詳細
wstring_convert<...>
codecvt_utf8_utf16<...>
codecvt_utf8<...>
codecvt<...>
Unicodeの文字コード変換を行うこれらのクラスは、不正なコードポイントに対する
安全なエラー処理の方法を提供していなかったため、セキュリティ上の欠陥があった。
仕様もあいまいであったため、不正なコードポイントに対してどのように振る舞うかも
不明であった。
Unicode以外のShift_JISやBig5といった文字コードの利用が急激に減少している。
標準ライブラリでの現代的なUnicodeの変換機能は非常に必要とされているが、
<codecvt>とそれに関連する機能の設計はお粗末なものだった。
将来より良いものを作るために、これらの機能は非推奨とする。
標準ライブラリにUnicodeの文字コード変換をする代替機能はないため、
他の専門特化した文字コード変換のライブラリを使用すること。
https://cpprefjp.github.io/reference/locale/wstring_convert
https://ja.cppreference.com/w/cpp/locale/codecvt_utf8_utf16
どれ使えばええの？
森鷗外𠮟る

**デフォルトの名無しさん** · 2019/03/09(土) 07:24:12.96

C++自体が非推奨

**デフォルトの名無しさん** · 2019/03/09(土) 16:56:18.99

C++11の糞仕様がずっと放置されてる

本スレ消費はよ

**デフォルトの名無しさん** · 2019/03/10(日) 00:54:02.53

C++の次の改訂ではC++の全ての仕様が削除されるべき

**デフォルトの名無しさん** · 2019/03/10(日) 17:40:35.50

CJKが頑張って苦情入れたら非推奨にされましたとさ
https://twitter.com/theoridetech/status/933329866392444929
https://twitter.com/5chan_nel (5ch newer account)

**デフォルトの名無しさん** · 2019/03/10(日) 17:47:41.69

リョウくんにお返事貰ってるな。

**デフォルトの名無しさん** · 2019/03/10(日) 18:01:51.00

非推奨というより使用禁止レベルの糞やでcodecvt

**さまよえる蟻人間** ◆T6xkBnTXz7B0 · 2019/03/10(日) 18:05:00.62

https://github.com/katahiromz/iconv_wrap
使ってね。

**デフォルトの名無しさん** · 2019/03/11(月) 04:49:49.14

本当に怖い文字コードの話

なんか貼れないので分割
heppoko.
hatenadiary.
jp/
entry/
2018/04/28/184559

**デフォルトの名無しさん** · 2019/03/11(月) 08:44:07.99

ツイッターで#テクノロジー犯罪と検索して、まじでやばいことを四代目澄田会の幹部がやってる
被害者に対して暴力団以外にタゲそらしをしてるがやってるのは暴力団で普段外に出ることが少ないため遊びで公共の電波と同じような電波を使って殺人をしてる
統失はほとんどが作られた病気で実際は電波によって音声送信や思考盗聴ができることが最近明らかになりつつある
警察や病院では病気としてマニュアル化されてしまっているのが現状で被害者は泣き寝入りしてる
被害者がリアルタイムで多い現状を知って、被害者間でしか本当の事だと認知できていない
実際にできると思われていない事だから、ただの幻聴ではない実際に頭の中で会話ができる
できないことだと思われているからこそ真面目に被害を訴えてる
海外でも周知されつつあることを知ってほしい。
このままだとどんどん被害が広がる一方

#テクノロジー犯罪
#四代目澄田会

**デフォルトの名無しさん** · 2019/03/11(月) 13:01:21.07

>>218
ㇹ゚ン゚'ㇳ̃ヴ゙ニ゙コ゚ヮヰ文̂字̠コ゚−ト゚ノ゙ㇵナ゚ㇱ

**デフォルトの名無しさん** · 2019/03/11(月) 14:24:48.05

char_traits の length って信用していいの？

**デフォルトの名無しさん** · 2019/03/12(火) 03:51:12.13

若干違和感ある部分も

絵文字がある種のUnicodeバグを世界から一掃しつつある件について
note.mu/
ruiu/n/nc9d93a45c2ec

**デフォルトの名無しさん** · 2019/07/12(金) 14:43:41.63

Unicodeが出してるiconvみたいな変換ライブライあるじゃん？
あれどうなん？

**デフォルトの名無しさん** · 2019/12/25(水) 20:38:30.91

なんか文字追加されたね。
https://unicode.org/charts/beta/nameslist/

**デフォルトの名無しさん** · 2019/12/27(金) 08:43:18.71

と思ったらUnicode 13発行されるのか。

**デフォルトの名無しさん** · 2020/04/11(土) 19:22:36.64

またUnicode.orgのサーバー落ちてる……

**デフォルトの名無しさん** · 2020/06/17(水) 21:52:52.20

https://abs-0.twimg.com/emoji/v2/svg/1f6f8.svg

**デフォルトの名無しさん** · 2020/07/03(金) 16:13:30.65

文字コード総合スレ Part12
https://mevius.5ch.net/test/read.cgi/tech/1544931495/
が1000行ったけどこっち再利用するのかな?

**デフォルトの名無しさん** · 2020/07/03(金) 20:55:14.32

重複スレが残ってたのか
Part13立てちゃった

**デフォルトの名無しさん** · 2020/07/03(金) 23:14:01.31

「コマンドプロンプトはcp932（SJIS）である」はウソ

Windows NTの標準の文字コードであるUnicode（UTF16-LE）の
テキストファイルを作り、chcp 932のままtypeコマンドで表示してみましょう
文字化けせずに表示されますね？
（フォントがない場合は表示されないがそれ以外は問題ない）

これは明らかにコマンドプロンプトがUnicodeで動作している証拠です。

コマンドプロンプトがUnicode動いているという証明はこれで十分だと思いますが、
もし仮に反論があるならその根拠を言ってくれれば説明を追加します。
（根拠なしにcp932にきまってるだろ！みたいなものは一言で潰しますのでよろしく）
　　　

**デフォルトの名無しさん** · 2020/07/03(金) 23:59:01.41

>>34
責任持って誘導しろ
https://mevius.5ch.net/test/read.cgi/tech/1593777227/

**デフォルトの名無しさん** · 2020/07/04(土) 00:12:44.08

ヒラキ゛ノ角コ゛シック

**デフォルトの名無しさん** · 2020/07/04(土) 02:05:01.27

MS Gothic = ＭＳゴシック
MS PGothic = ＭＳＰゴシック
MS UI Gothic = MS UI Gothic

**デフォルトの名無しさん** · 2020/07/04(土) 21:58:35.22

「うわー、ID:uIgOlo/V 君て博識なんだね。私も試してみるね。
「コマンドプロンプトを開いて…と
「それで “漢字”と入力したファイル k を UTF16 LE で保存と…
「よし準備完了！

--
C:\>od -x k
0000000 feff 6f22 5b57 000d 000a
0000012

C:\>type k
漢字

C:\>copy k con
　・"oW[
　　　　 1 個のファイルをコピーしました。

C:\>cat k
　・"oW[

C:\>type k | od -t x1
0000000 8a bf 8e 9a 0d 0a
0000006

C:\>
--

「あれれ？ ID:uIgOlo/V 君、なんかおかしいよ？どうして？
「“「コマンドプロンプトはcp932（SJIS）である」はウソ”なんだよね？

**デフォルトの名無しさん** · 2020/07/04(土) 22:21:02.22

cmd /U /C echo Hello | od -t x1

**デフォルトの名無しさん** · 2020/07/04(土) 23:31:46.91

>>39
cmd /?
/A 内部コマンドの出力結果を ANSI でパイプまたはファイルに出力します。
/U 内部コマンドの出力結果を Unicode でパイプまたはファイルに出力します。

**デフォルトの名無しさん** · 2020/07/05(日) 12:27:30.05

>>39
chcp 65001

**デフォルトの名無しさん** · 2020/07/05(日) 13:58:13.31

というか、コマンドプロンプトにCP932にない文字を貼り付けて普通に出力できている時点で
コマンドプロンプトが特定のコードページに依存していないと気づくだろ。

echo 六四清场

**デフォルトの名無しさん** · 2020/07/05(日) 14:04:49.45

mingwのcatやgrepをコマンドプロンプトから呼び出すと一時的にchcp 65001な状態になって画面出力される。

**デフォルトの名無しさん** · 2020/07/05(日) 21:04:09.52

>>44
それはコマンドプロンプトがUTF-16なので、
mingwのcatやgrepがUTF-8で出力すると文字化けするからだね

**デフォルトの名無しさん** · 2020/07/05(日) 23:20:17.80

>>45
コマンドプロンプトがUTF-16なので、
mingwのcatやgrepがSJISで出力すると文字化けするからだね

という論法も成り立つが。

**デフォルトの名無しさん** · 2020/07/06(月) 01:59:06.09

mingwのcatやgrepでSJISにない文字も表示できるので
その論法は成り立たない

**デフォルトの名無しさん** · 2020/07/06(月) 10:35:57.48

SJISちゃんのことは早く忘れろ

**デフォルトの名無しさん** · 2020/07/07(火) 00:26:29.24

やだーExcelのマクロファイルSJISだもん

**デフォルトの名無しさん** · 2020/07/08(水) 17:17:18.70

Office文書自体はOOXMLでUTF-8になったのに
マクロは未だにShift_JISなのか。

**デフォルトの名無しさん** · 2020/07/09(木) 09:25:45.33

唐突かつ広範な主張
マウントスタート
主観的な理由
地に足のつかない結論

わずかな文章に愚かさが詰め込まれていて揶揄せずにおれない

**デフォルトの名無しさん** · 2020/07/18(土) 13:33:37.82

知られざる顔文字の世界
https://www.hottolink.co.jp/blog/20161114_66202/

**デフォルトの名無しさん** · 2020/07/20(月) 21:19:31.88

AppleとGoogle、世界絵文字デーに新絵文字を披露
https://www.itmedia.co.jp/news/articles/2007/20/news053.html

**デフォルトの名無しさん** · 2020/07/21(火) 11:54:04.73

絵文字の話題鹿無いのか

**デフォルトの名無しさん** · 2020/07/21(火) 11:57:01.74

もうそろそろ音文字もできてほしいよね

**デフォルトの名無しさん** · 2020/07/21(火) 19:48:37.21

昔懐かしMIDI復活

**デフォルトの名無しさん** · 2020/07/22(水) 01:25:29.84

いつかはアニメ文字も作られるのかな?

**デフォルトの名無しさん** · 2020/07/22(水) 03:14:08.06

>>57
iモードにあったような無かったような

**デフォルトの名無しさん** · 2020/07/22(水) 03:39:38.34

<MARQUEE><BLINK>動きがあるのは気が散るからやめてほしいな</BLINK></MARQUEE>

**デフォルトの名無しさん** · 2020/07/22(水) 07:25:55.44

懐かしのって
初音ミクとかMIDIで出来てるだろ

**デフォルトの名無しさん** · 2020/07/22(水) 11:49:19.63

>>59
<ITALIC><BIG>旧タグなら書き込めるんだw</BIG></ITALIC>

**デフォルトの名無しさん** · 2020/07/24(金) 03:27:13.24

音文字か。そう言えば Ctrl+G (7) は BELL だったような。
ASCIIだけか? Unicode だと決まってないんだっけ？

**デフォルトの名無しさん** · 2020/07/24(金) 03:43:48.92

マザボのブザーでも鳴るの？

**デフォルトの名無しさん** · 2020/07/24(金) 05:05:05.45

さあ? 処理するプログラムに寄るんだろうな。
Windows のコマンドプロンプトで 7 のコード出力してみたら音が出たよ。

**デフォルトの名無しさん** · 2020/07/24(金) 05:05:33.57

BIOSのビープ音ではなく Windows 側のサウンドの設定が関係しているんだろうと思う。

**デフォルトの名無しさん** · 2020/07/24(金) 10:07:32.92

UnicodeでもU+0007はBELL CHARACTER

**デフォルトの名無しさん** · 2020/07/24(金) 10:53:36.75

printf("\x7\n");

**デフォルトの名無しさん** · 2020/07/24(金) 11:02:13.19

マザボのビープスピーカではなくサウンドデバイスで鳴らすようになったのはwin7以降だっけ

**デフォルトの名無しさん** · 2020/07/24(金) 11:14:24.17

2000ジャマイカ

**デフォルトの名無しさん** · 2020/07/24(金) 17:43:05.10

2000の時代に練習した時はprintfでビープ鳴ってた

**デフォルトの名無しさん** · 2020/07/24(金) 18:43:29.22

>>68
普通に考えりゃvista以降からでしょう
7かvistaかで本体beep鳴らすapi叩いたらpcmでがっかりだったのは覚えてる
apiだとATのbios同様周波数や長さ指定できて遊べたんだがな
同時にいじられるとよくないから切られたんでしょう

**デフォルトの名無しさん** · 2020/07/24(金) 19:01:43.86

なついなぁ。

Win32API Beep()
https://docs.microsoft.com/en-us/windows/win32/api/utilapiset/nf-utilapiset-beep

**デフォルトの名無しさん** · 2020/07/24(金) 19:18:02.12

beep用スピーカーがマザーボードから省略され始めたんだよ。

**デフォルトの名無しさん** · 2020/07/24(金) 19:22:19.50

昔は音を鳴らせるアプリは一つだけだった。
いつからか複数のアプリが同時に鳴らせるようになったんだが
いつからだっけな

**デフォルトの名無しさん** · 2020/07/25(土) 00:55:48.04

うろ覚えだが、ビープスピーカーで力業で音楽演奏するソフトがあったような気がする

**デフォルトの名無しさん** · 2020/07/30(木) 04:08:23.78

>>66
Unicode では ALERT
または BEL

**デフォルトの名無しさん** · 2020/07/30(木) 16:30:24.90

tab は \t
だから
bell は \b
と思ってた時期がある

**デフォルトの名無しさん** · 2020/07/30(木) 16:41:49.22

合わせると
食べる

**デフォルトの名無しさん** · 2020/07/31(金) 22:29:23.92

>>77
\bの本当の意味ってなんだっけ。

**デフォルトの名無しさん** · 2020/07/31(金) 22:33:31.30

バックスペース

**デフォルトの名無しさん** · 2020/07/31(金) 22:42:27.48

しかしこういうのってティッカーテープとかテレタイプの時代にさかのぼるらしいね。
現物を見たことはないが用語だけはいろいろ残っているという。

**デフォルトの名無しさん** · 2020/08/01(土) 01:00:50.03

遠隔で物理CR/LFは夢がある

**デフォルトの名無しさん** · 2020/08/01(土) 18:43:21.40

一番夢があるのは肯定応答とかかな。
というのも，改行やエスケープとかはもちろん，場合によっては警鈴なんかも
未だに現役なのに対して，「肯定応答」という意味で^Fが使われているのを見たことがないから。
^Fはもう，各ベンダーごとに都合の良い，全く違う制御シーケンスになっちゃってる。

**デフォルトの名無しさん** · 2020/08/01(土) 19:03:29.73

NAK

**デフォルトの名無しさん** · 2020/08/26(水) 16:48:18.06

毎日新聞ニュースさんはTwitterを使っています「天皇陛下即位のお祝い品のリストと写真を㏋で公開　宮内庁」 / Twitter
https://
twi
tter.com/
mainichijpnews/status/1297833742753439744

HPが合字の㏋ (U+33CB)に

**デフォルトの名無しさん** · 2020/08/26(水) 17:29:56.14

正規化のせいやな。
知らんけど。

**デフォルトの名無しさん** · 2020/08/27(木) 00:37:34.21

いまだに手書き、あるいは印刷した紙で原稿を入れてくる記者がいて、
入稿をOCRで文字起こししたらHPをその合字の方に認識、そのまま放置、とか?

ちなみにこれってHorse Powerでよかったですか?

**デフォルトの名無しさん** · 2020/08/27(木) 11:49:50.52

馬力

**デフォルトの名無しさん** · 2020/09/02(水) 16:48:23.22

そう言えば中国のGB 18030が改訂されるって話はどうなったんだろう？
何年か前にKenが最終原案を見たよって言ってた気がしたけど、続報がない。

**デフォルトの名無しさん** · 2020/09/02(水) 23:24:39.67

その後Kenの姿を見た者はいないという

**デフォルトの名無しさん** · 2020/09/03(木) 15:58:49.10

13対応の花園もﾏﾀﾞｰ?

**デフォルトの名無しさん** · 2020/09/20(日) 08:14:38.84

Emoji 13.1 - Now final, to be widely available in 2021
http://blog.unicode.org/2020/09/emoji-131-now-final-to-be-widely.html

**デフォルトの名無しさん** · 2020/09/20(日) 18:04:46.19

Androidの絵文字追加がOSバージョンアップ前提だから取り残される環境が多すぎるんだよな
どうにかアプリ枠で配信してくれたらいいのに

**デフォルトの名無しさん** · 2020/09/20(日) 18:46:29.19

woman with beard
誰得？

**デフォルトの名無しさん** · 2020/09/20(日) 18:47:31.92

https://www.unicode.org/announcements/emoji-13-1-annc-couples.jpg
最初から顔に色なんか付けなきゃ良かったのに

**デフォルトの名無しさん** · 2020/09/20(日) 20:32:09.64

だっぷるがつけちゃったんだもん

**デフォルトの名無しさん** · 2020/09/21(月) 00:08:08.68

顔に色が無いと全部白人に観えるんだろ
黒い顔だけ造っておけばよかった

**デフォルトの名無しさん** · 2020/09/21(月) 09:05:25.63

そもそも文字コードになんで色情報なんか含めたんだろ
あれも発端はPCがらみだっけ？

**デフォルトの名無しさん** · 2020/09/21(月) 10:33:58.83

俺は良かったと思うけどな。おかげで文章としての表現力が上がった。

**デフォルトの名無しさん** · 2020/09/21(月) 10:35:23.80

一夫多妻を表す絵文字はつくらないのかね？

**デフォルトの名無しさん** · 2020/09/21(月) 10:44:58.40

姦
嬲
嫐

**デフォルトの名無しさん** · 2020/09/21(月) 17:50:51.21

>>95
そっか、これコードを結合していくと作れるんだ。面白い。
男＋白肌＋ハート＋男＋黒肌みたいな。

仕組みは面白いが、処理する側は大変そうw
あとキーボードの絵文字パレットとか、全パターン表示しないといけないのかな?

**デフォルトの名無しさん** · 2020/09/21(月) 18:17:56.53

> 仕組みは面白いが、処理する側は大変そうw

うん。だから個々の人が処理するんじゃなくて
OS標準のテキスト処理として実装されたから素晴らしいんだよ
普通に文字を出力すれば、絵文字対応になるから

**デフォルトの名無しさん** · 2020/09/21(月) 18:45:37.15

>>103
OSレベルでテキストのレンダリングとかめんどくさくなったはいうまでもなく、
一般のデベロッパもユニコード文字列をうかつに処理できなくなった罠。
ま、ちゃんとAPIを使えとか、そういうことで、それはいいことなのかもしれないけど。

**デフォルトの名無しさん** · 2020/09/21(月) 19:08:16.33

ユニコードはウィルスなので送らないでください

**デフォルトの名無しさん** · 2020/09/21(月) 19:45:05.95

>>104
それは絵文字以前の話だけどね。

Unicodeの当初の目標でも16bit固定＝C言語の終端文字である\0が1文字の中に
含まれる事があるので、文字はUnicodeとして扱わなければいけないことが決定していた。

Unix/Linux系ではC言語の終端文字である\0を避けるためにUTF-8を採用したが
可変長バイトだから、これもUnicodeとして扱わなければいけない。

どちらにしろちゃんとAPIを使えという話は避けられなかったんだよ。
そして絵文字のおかげでサロゲートペアが必要となる文字への対応が進むといういい結果をもたらしたｗ

**デフォルトの名無しさん** · 2020/09/21(月) 21:02:01.32

想定しないといけない1文字の長さを具体的有限にしてくれないかなあ

**デフォルトの名無しさん** · 2020/09/21(月) 21:15:43.93

アキラメロン
最終的には複数の文字を組み合わせて64 x 64 ドットに
自由なアイコンを作れるようになるだろう

**デフォルトの名無しさん** · 2020/09/21(月) 23:04:34.98

今時ピクセルは無いだろ。
SVG埋め込みの方が可能性がある。