文字コード総合スレ Part12

**デフォルトの名無しさん** · 2018/12/17(月) 16:48:24.47

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
　（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
　（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 http://mevius.5ch.net/test/read.cgi/tech/1516629503/

**デフォルトの名無しさん** · 2020/12/08(火) 11:51:17.55

>>390
utf8のコードがshiftjisに変換可能かチェックして、可能なら変換したコードに
そのイディオムとやらを使えばいいのでは?

**デフォルトの名無しさん** · 2020/12/08(火) 12:25:05.31

>>391
shiftjisは扱わないのでutf8での方法を教えてください

**デフォルトの名無しさん** · 2020/12/08(火) 17:31:43.20

>>390
Unicodeプロパティがサポートされているなら
正規表現で\p{Hiragana}とかが使える
サポートされてないなら自分でコードポイントの範囲を調べて頑張る

**デフォルトの名無しさん** · 2020/12/08(火) 18:36:17.22

長音（ー）とかの扱いがめんどくさい

**デフォルトの名無しさん** · 2020/12/09(水) 06:33:19.08

ちょっと疑問に思ったのだけど、
utf8 の iskanji を作るとしたら、繁体字とかも含めますか？
それとも今は JISx0213:2004（11233文字）だけ？
それともこれの次の標準化規格になるものってありましたっけ？

**デフォルトの名無しさん** · 2020/12/09(水) 06:43:54.04

ishankana() みたいなもの、javascript 版
if( /^[ｱｲｳｴｵｶｷｸｹｺｻｼｽｾｿﾀﾁﾂﾃﾄﾅﾆﾇﾈﾉﾊﾋﾌﾍﾎﾏﾐﾑﾒﾓﾔﾕﾖﾗﾘﾙﾚﾛﾜｦﾝｧｨｩｪｫｬｭｮｯ､｡ｰ｢｣ﾞﾟ･]/.test('ｱ') )
{
console.log( '半角カタカナです');
}

**デフォルトの名無しさん** · 2020/12/09(水) 07:34:03.35

そのiskanjiとやらであなたが何を判定したいか次第だと思うんだけど・・
サロゲートペアの漢字とかも気にしなきゃだめだろうねえ

**デフォルトの名無しさん** · 2020/12/09(水) 08:14:17.98

>>396
半角カナは後ろの方の文字コードでかたまってるから簡単じゃろ。

漢字とか結構カオスでテーブル作ったほうが良さそうだね。
必要文字コード列挙してバイナリサーチするアルゴリズムがええのかな？

厳格でなくていいなら半角カナみたいに文字コードテーブルみて
ざっくり判定でも割と行けるとは思うけど。

**デフォルトの名無しさん** · 2020/12/09(水) 09:06:33.04

そういえば前に、amazon kindle端末用の電子書籍データ云々でここに書きこんだ記憶が、
と思い当って見直してみたら２か月前でした・・・、

私の方は KDP の仕様にあってるかどうかをチェックするのが目的だったのですが、
確かにカオスでしたね。ちなみに半角カナのコードを出しておいてあれなのですが、
JISx0213 規格的には半角カナは含まれてないっぽいです（x0208も同様です）。
チェック用のプログラムは結局普通の配列に規格の文字を全部入れておいて、
そこにあれば OK なければ NG という感じになりました。
サロゲートペアの扱いも面倒だったし。

あ、今気づいたけれど、JISx0213 的には全角英数記号ってもしかして NG なのでは？
いやでも wiki のページでは SJISコードは全角になってるし・・・、

**デフォルトの名無しさん** · 2020/12/09(水) 09:18:54.21

ライブラリ内ではユニコードスカラー値についてのみ取り扱うと良いと思います。

**デフォルトの名無しさん** · 2020/12/09(水) 13:23:38.64

Ruby の古いNKF を使うと、片仮名・平仮名の変換もできるけど、
片仮名・平仮名を判定するメソッドはない

たぶん、NKF の内部では、そういう関数があるのだろけど、公開されていないのかも

module NKF
https://docs.ruby-lang.org/ja/latest/class/NKF.html

require 'nkf'

p NKF.nkf( '-m0 -h3 -w', 'あイ' )
#=> "アい"

**デフォルトの名無しさん** · 2020/12/09(水) 13:25:03.81

オプションそのまま文字列で渡すとか
ダッセェインターフェースだな
手抜きにも程がある

**401** · 2020/12/09(水) 14:41:10.37

Ruby の正規表現・鬼雲で判別できた

re_hira = /\p{hiragana}{1}/ # 平仮名
re_kata = /\p{katakana}{1}/ # カタカナ

str = '愛あいカキうクx'

str.each_char do |ch|
ch.match( re_hira ){ |md| puts "平仮名 : #{ md[ 0 ] }" }
ch.match( re_kata ){ |md| puts "カタカナ : #{ md[ 0 ] }" }
end

出力
平仮名 : あ
平仮名 : い
カタカナ : カ
カタカナ : キ
平仮名 : う
カタカナ : ク

**デフォルトの名無しさん** · 2020/12/09(水) 15:27:54.98

>>402
tcl/tk

**デフォルトの名無しさん** · 2020/12/09(水) 16:19:55.89

こゝろ

**401** · 2020/12/09(水) 17:51:11.38

>>403
を修正

Ruby の正規表現・鬼雲で、平仮名・カタカナ・漢字を判別した

re_hira = /\p{Hiragana}{1}/ # 平仮名
re_kata = /\p{Katakana}{1}/ # カタカナ
re_han = /\p{Han}{1}/ # 漢字

str = 'Aあい善悪カキ愛うクx'
p str.encoding #=> <Encoding:UTF-8>

str.each_char do |ch| # 1文字ずつ処理する
ch.match( re_hira ){ |md| puts "平仮名 : #{ md[ 0 ] }" }
ch.match( re_kata ){ |md| puts "カタカナ : #{ md[ 0 ] }" }
ch.match( re_han ){ |md| puts "漢字 : #{ md[ 0 ] }" }
end

出力
平仮名 : あ
平仮名 : い
漢字 : 善
漢字 : 悪
カタカナ : カ
カタカナ : キ
漢字 : 愛
平仮名 : う
カタカナ : ク

**デフォルトの名無しさん** · 2020/12/09(水) 18:21:03.27

C++かC#でお願いします

**401** · 2020/12/09(水) 18:56:51.76

鬼雲を、C++, C# など、他言語から使えないのか？

**デフォルトの名無しさん** · 2020/12/09(水) 19:27:16.18

高性能高速ライブラリがあるのに、
なぜわざわざ、
低性能低速言語Rubyの、
低性能低速libraryを使う必要が、
あるんだ？、

**デフォルトの名無しさん** · 2020/12/09(水) 19:45:05.56

C/C++は生産性が低いから

**401** · 2020/12/09(水) 19:59:27.39

鬼雲は、C じゃないの？

https://github.com/k-takata/Onigmo

**デフォルトの名無しさん** · 2020/12/10(木) 07:33:03.31

>>406
ruby を全然しらんのだが、 each_char ってのはどういう単位で文字を切り出してくるの?
上であったがサロゲートとか、絵文字とか、そのあたり特に。

Hanというプロパティは日本に限らず中国や韓国のも全部入り?

**デフォルトの名無しさん** · 2020/12/10(木) 08:02:18.65

>>407
グダグダいってるうちにスクラッチで車輪の再発明実装が終わる頃だな。
iskanjiはテーブル使うしかないかね？JISコードに変換して昔ながらの判定
するにもJISコード変換にテーブル
使うことになるだろうし。
どこかのページに色分けして中国専用の漢字の混ざり具合見せてたけどエグいねｗ

**デフォルトの名無しさん** · 2020/12/10(木) 10:34:51.08

謎のタイ語判定コード , Javascript 版

strThai = "\u0e01\u0e51\u0e3f ทำงาน";
re = strThai.match(/([\u0E00-\u0E7F])+/g);
console.log( re );

参考ページ等
http://www.asahi-net.or.jp/~ax2s-kmtn/ref/unicode/u0e00.html
https://0g0.org/category/0E00-0E7F/1/

サロゲートペアを考慮しなくて良い言語はこのパターンでオーケーかな？

**401** · 2020/12/10(木) 12:43:53.30

>>412
Ruby の1文字は、バイトサイズと異なる

str = "👪θ💀Ω🄫"
p str.encoding #=> <Encoding:UTF-8>

str.each_char do |ch| # 1文字ずつ処理する
puts "#{ ch } : #{ ch.size }, #{ ch.bytesize }"
end

出力
👪 : 1, 4
θ : 1, 2
💀 : 1, 4
Ω : 1, 2
🄫 : 1, 4

**401** · 2020/12/10(木) 12:51:25.91

>>412
Han の範囲が気になるなら

>>411
の鬼雲のサイトか

>>406
の、str = 'Aあい善悪カキ愛うクx'
に、調べたい文字列を書いて、paiza などで実行してみれば？

**デフォルトの名無しさん** · 2020/12/10(木) 20:31:09.89

>>415
おお、すごい!

早速ローカルで試してみた... スキントーンがいけてなかった。おしい。

str = "👨🏻‍🦲"
p str.encoding #=> <Encoding:UTF-8>

str.each_char do |ch| # 1文字ずつ処理する
puts "#{ ch } : #{ ch.size }, #{ ch.bytesize }"
end

出力
👨 : 1, 4
;🏻 : 1, 4
;‍ : 1, 3
🦲 : 1, 4

ハゲが直った! みたいなw

**デフォルトの名無しさん** · 2020/12/10(木) 20:34:43.12

あ、出力が微妙に違うかも。5chブラウザにペーストしたせいかも。
あともしかしてスキントーンはあえて別キャラ扱いとか?

**デフォルトの名無しさん** · 2020/12/10(木) 21:25:24.00

オレオレ用語UZEEE!!

**デフォルトの名無しさん** · 2020/12/11(金) 06:34:28.41

ん、何か変なこと書いてある?

しかし書き込む瞬間、絵文字が5chブラウザでちゃんと表示できるかちょっと不安に
なったが、一応いけるみたいね。少なくともオレオレ環境では。
5ch側はSJIS＋数値参照を流しているだけかもしれんが。

**デフォルトの名無しさん** · 2020/12/14(月) 05:58:38.59

機械学習関係とかで使う奴です。
なんとなく出来たので晒しときますね。

// PHP(UTF-8) での全角カタカナチェック(JISx0213網羅版)
$sKana = ''
. "カ\xE3\x82\x99" // 304B+3099 カに濁点 (Mac,NFD)
. "カ\xE3\x82\x9A" // 304B+309A カに半濁点(JISのセット文字の半濁点 or Mac,NFD 半濁点)
. "゛" // 309B 濁点 (主にWin,半カナから変換される奴？)
. "゜" // 309C 半濁点 (主にWin,同上)
. "ァアィイゥウェエォオカガキギクグケゲコゴサザシジスズセゼソゾタダチヂッツヅテデトドナニヌネノハバパヒビピフブプヘベペホボポ"
. "マミムメモャヤュユョヨラリルレヮワヲン"
. "ヴヵヶヰヱ・ーヽヾ"
. "\xE3\x82\xA0" // ダブルハイフン , 30A0
. "\xE3\x83\xB7" // ワに濁点
. "\xE3\x83\xB8" // ヰに濁点
. "\xE3\x83\xB9" // ヱに濁点
. "\xE3\x83\xBA" // ヲに濁点
;
if( 1 === preg_match("/^[\x{3099}-\x{309C}\x{30A0}-ヾ]+$/u",$sKana) )
{
echo "全てカナカナです。";
}
else
{
echo " NG";
}

**デフォルトの名無しさん** · 2020/12/14(月) 09:18:41.31

0x31F0-F9のアイヌ語カナ拡張が抜けてるような

**デフォルトの名無しさん** · 2020/12/14(月) 12:36:10.35

>>422
どんな文字か全く見てませんけど、コードが分かれば並べていくだけですね。
アイヌ語カナ拡張版？差し替え用ってことで。

"/^[\x{3099}-\x{309C}\x{30A0}-ヾ\x{31F0}-\x{31F9}]+$/u"

**デフォルトの名無しさん** · 2020/12/15(火) 07:45:42.06

Flag for Tokyo て何だよ

https://emojipedia.org/flag-for-tokyo-jp13/

**デフォルトの名無しさん** · 2020/12/15(火) 12:56:15.02

日本＋都道府県番号?

**デフォルトの名無しさん** · 2020/12/15(火) 13:41:07.26

>>424
市役所とか行ったことないのか？

**デフォルトの名無しさん** · 2020/12/15(火) 17:27:11.75

ISO 3166-2:JP

**デフォルトの名無しさん** · 2020/12/15(火) 18:17:13.23

問題は東京みたいに旗が2種類あるところ

東京は歴史ある＊みたいなほうになるのか銀杏の葉っぱみたいなほうになるのか

**デフォルトの名無しさん** · 2020/12/22(火) 20:48:11.38

ISO - ISO/IEC 10646:2020 - Information technology — Universal coded character set (UCS)
https://www.iso.org/standard/76835.html

2020年の内に完成した模様
ABSTRACTのとこが何か文字化けしてるけど。

**デフォルトの名無しさん** · 2020/12/23(水) 00:48:02.18

何に時間がかかるの

**デフォルトの名無しさん** · 2020/12/23(水) 14:15:22.80

ここでも行けるかな？ 𝐁𝐨𝐥𝐝 𝐼𝑡𝑎𝑖𝑐 𝒮𝒸𝓇𝒾𝓅𝓉 𝔻𝕠𝕦𝕓𝕝𝕖 𝖲𝖺𝗇𝗌𝖾𝗋𝗂𝖿 𝙼𝚘𝚗𝚘𝚂𝚙𝚊𝚜𝚞

**デフォルトの名無しさん** · 2020/12/23(水) 16:04:04.77

��

**デフォルトの名無しさん** · 2020/12/23(水) 18:21:51.29

コード表一列読み間違えて16ズレた。
何かローマ字みたいになってるけど偶然。

**デフォルトの名無しさん** · 2020/12/23(水) 20:48:10.24

SNSのアカウント名でこういう文字使ってる人いるよねえ
特に詳しそうには見えない人が多いが簡単入力できるツールかサイトがあるんだろうかね

**デフォルトの名無しさん** · 2020/12/24(木) 08:15:43.26

テスト
🅿🅴🅽 🅿🅸🅽🅴🅰🅿🅿🅻🅴 🅰🅿🅿🅻🅴 🅿🅴🅽

**デフォルトの名無しさん** · 2020/12/24(木) 13:14:04.00

�� ℤ

**デフォルトの名無しさん** · 2020/12/24(木) 14:37:35.38

何だろう? 専ブラだと全部読めるけど Firefox だと読めたり読めなかったりする。
431 と 435 は Firefox でも読める。432は読めない。436 は Z だけ読める。
🄟⒜⒭⒠⒩⒯⒣⒠⒮⒤⒵⒠⒟
Ⓒⓘⓡⓒⓛⓔⓓ
🅂🅀🅄🄰🅁🄴🄳
🅝🅔🅖🅐🅣🅘🅥🅔 🅒🅘🅡🅒🅛🅔🅓
🅽🅴🆃🅰🅶🅸🆅🅴 🆂🆀🆄🅰🆁🅴🅳

**デフォルトの名無しさん** · 2020/12/24(木) 14:50:54.98

わかったサロゲートが原因だな。
BMP 以外の文字を＆＃XXXXX; 形式で投げる時に、なぜかサロゲート分解して2文字にして投げてるクライアントがいるな。
内部でいったん UTF-16 に変換すれば復元できるけど、内部がUTF32やUTF8だと未定文字になる。

**デフォルトの名無しさん** · 2020/12/25(金) 12:51:47.65

同じ専ブラでも端末が変わると読めなくなるみたいだけど

**デフォルトの名無しさん** · 2020/12/25(金) 14:23:41.08

そりゃフォントが違うから

**デフォルトの名無しさん** · 2020/12/25(金) 21:14:44.85

フォントに？

**デフォルトの名無しさん** · 2020/12/31(木) 06:07:50.70

㍾ → ㍽ → ㍼ → ㍻のパターンでさりげなく令和が増えていて驚いた。

㋿ U+32ff

**デフォルトの名無しさん** · 2020/12/31(木) 06:20:27.61

あれほど騒ぎになったのに今更かよｗ

**デフォルトの名無しさん** · 2020/12/31(木) 06:48:08.64

>>443
いや、正確に言うと、自分の使ってるPCでその㋿が表示されることに驚いたのね。
買った直後だけアプデしてその後ずっとアプデしないようにしてたから。
アプデしてないアイポン６で表示されてないのを見てちょっと安心しました。

**デフォルトの名無しさん** · 2020/12/31(木) 06:51:45.99

丸付きにも四角付きにも音・訓・外が無くて悲しい。
ということで以下は、ブラウザやアイポンでの表示チェックです。

音：㋔ Ⓒ㋾ⓞ
訓：㋗ Ⓙⓙ🅹🄹ⓝ
外：▲ ⓖⒼ
中：㊥厨Ⓒ

訓読みは Ⓚ という文字を使いたいくないので字訓を元にしたⒿとか大和言葉（和語）を基にする方がいいなぁ。
音読みは中国由来のⒸの方が㋔よりもいいかもしれない。
外字は小中学生や外人さんにはあまり使わない文字なので▲で良いと思う。
丸付きのガがあればそれで決まりだったんだけどいろいろ揃って無いよなぁ。

で、辞書で出てくる中ってなんの意味か知ってる人が居たら教えてください。
なんとなく中国史で使うっていうような意味っぽいけど。あるいは中学で覚えるとか？

**デフォルトの名無しさん** · 2020/12/31(木) 07:36:55.69

>>445
自己レスです。
中は中学で学習する音訓と漢字ペディアに出てました。
ちなみに高というのもあって高校で習うそうです。

**デフォルトの名無しさん** · 2020/12/31(木) 20:58:20.96

サロゲートペアは本当に厄介者

**デフォルトの名無しさん** · 2020/12/31(木) 21:04:25.88

結合文字「サロゲートペア程度にやられてるのか？」
異体字セレクタ「奴はUnicode四天王の中でも最弱」
？？？？「サロゲートペアごときに負けるとはプログラマの面汚しよ…」

**デフォルトの名無しさん** · 2020/12/31(木) 23:29:53.71

混沌を極めるUNICODE界…
もう一回いちから(別案で)やり直す可能性ってあるのかな

**デフォルトの名無しさん** · 2021/01/01(金) 02:12:50.76

ないよ
というか仕切り直したところで今のUnicodeは内包されるに決まってるからメリットがないよ

**デフォルトの名無しさん** · 2021/01/01(金) 08:19:29.86

BMPに還るのがいい

**デフォルトの名無しさん** · 2021/01/01(金) 22:27:30.90

あけましておめでとうございます
Unicode 14.0.0の発表が9月に延期になって寂しい

**デフォルトの名無しさん** · 2021/01/02(土) 00:20:21.99

有名所の13対応のフリーのフォントてもう出てましたっけ?

**デフォルトの名無しさん** · 2021/01/02(土) 09:08:13.69

あけおめ。

サロゲートペア対応の漢字のみ収集コード JavaScript版、
𪗱𪘂𪘚の３つがサロゲートペアかな？読めなくてアレですが。
お隣の文字はちゃんと省いてる、使えば大願成就間違いなしの縁起物？バージョンです
絵文字も省いていたような気がするけどなんかいろいろ忘れてますね。

re = "abcd齆あ齓齕齘ab𪗱齝𪘂齩𪘚々齭てすと".match(/([\uD840-\uD869][\uDC00-\uDFFF]|[々〇\u303B\u3400-\u9FFF\uF900-\uFAFF])+/g);
console.log( re );

**デフォルトの名無しさん** · 2021/01/02(土) 16:52:42.20

>>450
まじかー
もう128bitくらい使って宇宙文字にも耐えられるようにすればいいのに
これが本当の異星体なんつって

**デフォルトの名無しさん** · 2021/01/02(土) 21:50:17.89

GUIライブラリTkはいまだにサロゲートペアに対応しておらず絵文字を使えない。

**デフォルトの名無しさん** · 2021/01/03(日) 14:22:31.22

ここもunicode=changeな板が多すぎてな
このオプション消滅せんかな

**デフォルトの名無しさん** · 2021/01/05(火) 12:09:35.45

5chもほぼSJIS専用やんけ

**デフォルトの名無しさん** · 2021/01/05(火) 18:11:40.31

>>458
なんだかんだSJISのままで存続できてるよね。
文字参照が使えればベースのエンコーディングは案外何でもいいのかな、
とか思ったり思わなかったり。

**デフォルトの名無しさん** · 2021/01/05(火) 21:01:08.07

たまにスレタイで絵文字入ってるのあるけど
あれも文字参照で入力してるのかな

**デフォルトの名無しさん** · 2021/01/05(火) 21:11:16.54

https://twitter.com/MarkusGerstel/status/1343249726456606720

UK/EU trade agreement redefines ASCII character 123 to be 3 characters, and ASCII 125 to be 2 characters.

But I'm sure the legal bits are fine and need no scrutiny whatsoever.
https://twitter.com/5chan_nel (5ch newer account)

**デフォルトの名無しさん** · 2021/01/05(火) 21:12:01.50

https://pbs.twimg.com/media/EqQuVm0W4AAAxfv.png

**デフォルトの名無しさん** · 2021/01/06(水) 09:23:40.34

絵文字テスト　　（↓の＆と￥は全角）
Growing star 🌟 , ＆#x1f31f; , ＆#127775; , ￥u{1f31f}

SJIS環境だとサロゲートペアはエラーになるんじゃね？
ウニコードベースのエディタへの移行に失敗というか断念して
未だにSJISベースのテキストエディタをメインに使ってる俺が言ってみたり。

そう言えばサクラエディタのマクロフルセット？サポート版てどこでダウンロードするのが良いのだろう？

**デフォルトの名無しさん** · 2021/01/06(水) 18:53:39.44

あ、Chromeって検索のとき全角半角を区別しないのか。今知ったw
っていうかそもそも大文字小文字も区別しないのか。へー。
でもこの手の正規化を無効にするオプションもないようだしちょっと不便。

**デフォルトの名無しさん** · 2021/01/06(水) 19:42:47.04

chromeの検索の同一視はなんか怪しいというか独自テーブルかな

**デフォルトの名無しさん** · 2021/01/07(木) 00:30:30.04

最近は知らないが昔のFirefoxは全角半角同一視してくれなくて大変困った

**デフォルトの名無しさん** · 2021/01/07(木) 01:59:00.08

>>459
海外からの荒らし対策になっているのでは
SJISは国内だけの希少コード

**デフォルトの名無しさん** · 2021/01/07(木) 02:00:13.67

>>466
今でもFirefoxは全角半角を無視「しない」ように見えるけど?
いつだかダイアクリティカルを無視するというので問題になったけど。

**デフォルトの名無しさん** · 2021/01/10(日) 18:48:17.35

>>449
別に一から作り直せとは言わんけど明らかにミス、バグだろって箇所は直してくれ
有名なのだと U+29FCE と U+29FD7 とか

**デフォルトの名無しさん** · 2021/01/10(日) 20:04:42.25

やるとしてJSoueceの方をobsoleteされるんだろw

**デフォルトの名無しさん** · 2021/01/20(水) 22:49:15.22

テキストエディターが改行コードを間違って解釈しないように
BOMの機能を拡張して改行コードの種類も表せるようにしたらどうなんだろう

**デフォルトの名無しさん** · 2021/01/21(木) 00:18:54.31

来月からUnicode 14に向けた準備が始まるそうだけど
WG2側でまったく投票が出来ていない状態でそんなことして大丈夫なのか

**デフォルトの名無しさん** · 2021/01/21(木) 12:01:56.27

改行コード間違うのってたいてい改行コードが混在してるのが原因じゃないの？

**342** · 2021/01/21(木) 17:12:51.59

>>471
一行目の改行コードで充分では？

**デフォルトの名無しさん** · 2021/01/22(金) 23:50:53.67

eメールは8bitの文字を7bitに変換して送るのが一般的だけど
今でも7bitしか扱えないメールサーバーってあるんだろうか

**デフォルトの名無しさん** · 2021/01/25(月) 20:49:52.31

前に件名を=?ISO-2022-JP?B?の形式でエンコードせずに直接ShiftJISを書きこみ
本文もMIMEを使わずにShiftJISをそのまま書いたメールを送ってみたが文字化けもせずに届いたから
7bitまでしか送れないのは昔の話なんじゃないかと

**デフォルトの名無しさん** · 2021/01/25(月) 20:59:52.42

8bitを化けさせるようなメールサーバーが今でも存在するのかという質問であって、お前の化けなかった経験は何の解答にもなってない。

**デフォルトの名無しさん** · 2021/01/25(月) 22:50:52.28

そりゃあ、存在しないという解答は解答にならなくて存在しているという解答だけが解答になるわけだ。

**デフォルトの名無しさん** · 2021/01/26(火) 00:14:38.98

現れないのが透明人間です
みたいな話

**デフォルトの名無しさん** · 2021/01/29(金) 22:30:48.89

規格上はオプションではあるがSMTP POP3 IMAP4全てでUTF-8をそのまま送受信できるから
8bitデータをそのまま送受信できるならBase64やquoted-printableも必要なくなるのかな

**デフォルトの名無しさん** · 2021/01/30(土) 00:20:35.73

>>480
一部の構造化されたヘッダは8ビット禁止なので、全部はなくせないかな。

**デフォルトの名無しさん** · 2021/01/30(土) 01:48:16.96

先賢の方々が何処かの頃合いで8bitクリーンに作り直しておいてくれればなぁ

**デフォルトの名無しさん** · 2021/01/30(土) 04:51:50.38

問題になるのはTAB,SP,BS,ESC,DELとかの制御コードなのでBase64等は必須でしょうね
行頭の'.'も気にしなくて良くなる

**デフォルトの名無しさん** · 2021/02/01(月) 15:56:04.61

どうしてメールは7bitが基本になったんだろうね
少しでもデータ量を減らすためなのか
8bit目をパリティとして使う機種の名残りなのか

**デフォルトの名無しさん** · 2021/02/01(月) 19:54:24.08

もともとインターネットでメールがやり取りされるようになる以前から
学内ネット、社内ネット、UUCPネットワークなどの個別メール網があって、
それをインターネットで相互接続したのが始まりなので、
最小公倍数的に全てを通過できる7ビットが要件になった。

**デフォルトの名無しさん** · 2021/02/01(月) 19:58:08.39

SMTPが出来たは40年ちかく昔だからなあ
Unicodeなんてまだ影も形もない時代
日本人ですら漢字をシフトしない7bitで表現してたくらいなのに
メールだけわざわざ8bitを基本にするような発想が出てくるわけがないだろう

**デフォルトの名無しさん** · 2021/02/01(月) 21:54:37.95

コマンド以外は全て8bitのバイナリデータとして扱ってエンコードしないで
相手にそのまま送れるのが理想的なんだろうね
シェアの大きいMTA/MUAがRFCを無視してそんな実装にしたら
意外とそれがデファクトスタンダードになったりするかもしれない

◆QZaw55cn4c · 2021/02/01(月) 22:00:08.44

>>484
>8bit目をパリティとして使う
でしょうね、欧米はそれで足りるから

**デフォルトの名無しさん** · 2021/02/02(火) 00:59:48.46

binarymimeって使われてないの？

**デフォルトの名無しさん** · 2021/02/02(火) 13:36:00.69

>>486
>日本人ですら漢字をシフトしない7bitで表現してたくらいなのに
シフトするJISはあったでしょ