文字コード総合スレ Part11
■ このスレッドは過去ログ倉庫に格納されています
■これまでに行われた議論
・WinでCP50220 は Unicode からマルチバイト文字への変換でいわゆる半角カタカナを全角カタカナに置き換え
内部的には Unicode -> CP932 -> CP5022ｘ って変換な気もする
・人名をソートかけたらバストサイズ順の並びになる？
・Shift JIS や EUC-JP や Big5 や GB なんかをUnicode に変換してしまうと、ラウンドトリップは保証されるか
・単一情報をソースの文字コード(or 言語)情報なしに元に戻したい （統計的に文字の出現確率なんかを調べる）
・PC-98x1シリーズのMS-DOSはShift_JISだが漢字ROMはJIS、変換は何処で行っていた？
・0x5cをUnicodeにするときにバックスラッシュに置き換えるか円マークに置き換えるかで、逆変換時に結果が変わるの問題
・丸付き数字は機種依存文字か？。MSIME2007ではCP932に収録されてない文字は「環境依存文字」って表示。
Macではフォントによっては表示されないし、フォントによっては表示される
・Shift_JISと名乗っているCP932やISO-2022-JPと名乗っているCP50220を表示（Unicodeに変換）する際に
機種依存文字はサポートされるか？
・Safari文字コード変換のバグは
・Microsoft文字コード変換のバグは
・U+31F0..U+31FF（アイヌ語表記用小書きカタカナ）が入ってない件
・なぜ携帯業界はunicode化しないのか？
・このスレへの書き込みはブラウザが2chへ送り出す時点でUnicodeからShift_JISに変換しているのか
・文字化けに強いishフォーマットでエロ画像を交換する場合、ssより、s7のほうが化けにくい ・中国語の簡体字では、へんやつくりが簡略化されるなら、その文字も自動的に簡略化して表記する国家規格が有る
・中国語の「噁心」簡化政策によると「恶(U+6076)」に統一。口偏＋恶(U+6076)は普通に使われているがUnicodeにはない
・日本人のニーズが満たせないのも確かなので原規格分離（中国では「曾→曽」は簡体字と繁体字の違いとはみなされていないとか）
・UNICODEを扱うプログラムはサロゲートをぶったぎられた入力が渡されてくる場合にも備えろって→YES
・UnicodeとUTF-8の違いは？
・日本のCJK Ext.D Submissionに{魚針}が含まれてる件
U+9C75(魚箴)は強烈。いくら何でも違いすぎる。(魚針)
ひょっとしたら後で実は別字だったとか日本では異体字だが中国では別字とかになるかも知れんぞ。
中国ではってレベルじゃねーぞ。
・Windows Vista での「IME パッド - 文字一覧」の「JIS X 0213 （1面）」のバグ
UTF-16: 0x304B 0x309A → Unicode: U+FD61809A （間違い） （ISO/IEC10646はU+10FFFFまで）
サロゲートペアからコードポイントを引き出す計算を無理やり適用（間違い）
((0x304B - 0xD800) << 10) + (0x309A - 0xDC00) + 0x10000が 0xFD61809A になる。
・文字コードではインドカレーは飲み物か否か。カレーパンうまうま。
・CJK混在の漢字環境ってどうやって、切り分ければいいの？ → ムリです。
・Winzipで保存されるファイル名が文字化け→zipではコードページ情報が無い。直接zipファイルから切り出せ
・Unicodeは言語情報を直接扱わない。 多言語の混在表現は（unicodeでは）できないか
・Unicode文字列リストを各国言語を考慮してソートしたいんですが → ムリです。
・Unicodeサニタイズが面倒になるのか ・SJISとUNICODEの判別はどのようにすればいいですか？BOM。無ければ、統計判断。 ライブラリを使うが吉
・ところでケータイのUnicode対応度って実際どうよ？ → ウンコマークもUnicodeに追加されるんだな。
・WindowsXP で フォルダに使用できないフォルダ名はどうやって判定
→ ちょっとアホな方法だけど、%TEMP% フォルダの下で実際に作ってみて。本当に作成できるかどうかで判断。
・TwitterのWebインターフェイスからだと、サロゲートペアは2文字としてカウント。140字打てない 。
・Unicode 5.2で追加されたUnicodeSMP(第1面)、Unicode 5.1で未定義だったSMPのコードポイントや第15、第16面が
Windows7では表示されない。 → 和田研細丸ゴシック2004ARIBはARIB外字を含んでいる。
・WindowsXP SP3でMicrosoftのJIS2004フォント環境でサロゲートペア文字が表示されない。→
コントロールパネル-地域と言語のオプション-[言語]タブで
「複合文字や右から左方向に書く言語 (タイ語を含む) のファイルをインストールする」にチェック
・URLの%で続く2桁の0-9、A-Fへの変換は、UTF-8→urlencodeによる。RFC1738を嫁。
・菊紋、桐紋、葵紋などは文字か？海栗コードへの挿入は難しい。そこでTRONだ！！
・元号を安置する場所はJIS第三で確保済み。ウニコードでブロックを確保は政治力次第。
・元号は個人名ではない。特定の時間軸基準に数える年号を漢字で指す文字。
陛下の崩御後必ずしも元号が追号になるわけではない。むしろ違う場合が多い。昭和54年法律43号の元号法参照。
・文末でなければ"0"+ASCII7ビット、文末なら"1"+ASCII7ビットというエンコード。 → ヌル1バイトが貴重な時代からの負の遺産。
・Windows7出荷時に未定義だったコードポイントはフォント入れても豆腐になる。Unicode5.2は表示しない。欝だ。
・Unicode6ドラフトでPILE_OF_POO文字確定。ウニコードがもはやイミフ。SerifとSans-Serifで幅に違いは出る？
・shift-jisからUTF-8変換でサイズ1.5倍。でも圧縮すれば平均10％増加程度。用途に合わせて使うべし。
・「wchar_tは>849の嫁。>849の許可無くしてUTF16だの32だの無理矢理突っ込むのは許さん。」
・電子演算機では文字化けなんて飾りです。UTF-8/UTF16の人にはそれがわからんのですよ。 ■単語一覧
・UTF-16は16ビット単位にエンコードするけど、サロゲートペアがある
表現できる文字空間はUTF-8と同じく20ビットとちょっと
・丸付き数字は機種依存文字か？MSIME2007ではCP932に収録されてない文字は「環境依存文字」って表示。
MacJapaneseではフォントによっては表示されないし、フォントによっては表示される。
今のMac（内部Unicodeアプリ）は、フォント依存ではなくアプリ依存。
似非ISO-2022-JPや似非Shift_JISのドキュメント中の丸付き数字は、
素直にAppleのAPIを使ってるアプリならゲタ（U+FFFD）になる。
・Mail.appではISO-2022-JPに収まらずCP932に収まるメールは、含まれる字種によって
charset=CP932で送信される場合とISO-2022-JP（もどき）で送信される場合がある
・MSでのウニコードとSJIS変換のバグ。
U+007E TILDE <-> Shift_JIS 0x7E OVERLINE
U+301C WAVE DASH -> Shift_JIS NA 【MSの問題】
U+FF5E FULLWIDTH TILDE <-> Shift_JIS 0x8160 WAVE DASH 【MSの問題】
・SafariでのウニコードとSJIS変換のバグ。
U+007E TILDE -> Shift_JIS 0x8160 WAVE DASH 【Safariの問題】
U+301C WAVE DASH <-> Shift_JIS 0x8160 WAVE DASH
U+FF5E FULLWIDTH TILDE <-> Shift_JIS NA
・winzipの規格ではファイル名のコードページ指定もしくは記録情報が存在しない。
解決策：取り合えず、MSWin+JPではShift-jisでファイル自体には保存されている。
MACOSX=Unicode,Unix=UTF/EUC/S-JISどれでもありえる。文字に関係なくLocalLangで
再変換しているので、それをしなければよい。
・charlenでの文字列長の判定はプラットフォームにより返り値が違う（機種依存文字等）。マニュアル嫁。
・JISのエスケープシーケンスが正しく認識されない本文とか。
'0x1b, 0x24, 0x42' という3バイトを先頭に、'0x1b, 0x28, 0x42' を末尾に追加汁。
あるいはhttp://masaka.dw.land.to/mr/jmr.phpとか。 JTC1/SC2/WG2 - ISO/IEC 10646 - UCS
http://std.dkuug.dk/JTC1/SC2/WG2/
ISO/IEC JTC1/SC2/WG2/IRG
Ideographic Rapporteur Group
http://appsrv.cse.cuhk.edu.hk/~irg/ 取り敢えず復活させてみた
テンプレ？多すぎサーバ重すぎ >>1
U+30B9 U+30EC U+7ACB U+3066 U+4E59 >>1 乙π
＜前スレのおさらい＞
ユニコードにきちんと対応してほしいフリーソフトは多い
IrfanView
Lhaz
FileSum Irvineはファイル名はスクリプトでなんとかなるけど階層フォルダは化けたままなんだよね
IrfanView 64bit はユニコード未対応
IrfanView 32bit はユニコード部分対応 (難有) IPAmj明朝最新バージョンキター
変体仮名も使えるようになってた。 IPAmjはcmapを足しただけかな
濁点半濁点つき変体仮名のグリフを追加したわけではなさげ きの𛀁【甲】
ひの𛀁【丙】
つちの𛀁【戊】
かの𛀁【庚】
みづの𛀁【壬】 そういえば変体仮名って絶対漢字のフォントバリエーションとして使われるな。
ラテン文字のところをキリル文字ギリシャ文字でちょっと異国情緒出したりするのと同じように OS標準のフォントに変体仮名が入るのはまだ先の話かな。 Mac/iOSはAJ1準拠のフォントをバンドルしてるだけだから変体仮名のサポートもAJ1次第だろうな
AndroidもNoto CJKをバンドルしてるだけだからこっちもやはりフォントを作ってるAdobe次第か
Winはゴシック系フォントはUnicodeをフルカバーしようとしているようなんで可能性ありそうだけど
明朝系は1B000～1もスルーしてるんで変体仮名も放置と予想 変体仮名がOS標準のフォントに入ったら
ハンドルネームとかAAに使われるかな よく有料フォントに正規版とお試し版があるけど
この２つのフォントファイルってシステム的に共存できるの？
それとも後から入れたほうに上書きされちゃう？ Windowsの場合フォントの内部名が違えば共存
同じなら上書き 上書きできたっけ?
先に入ってる方を消せって言われた気がする 思いついた絵文字を定期的に追加する文字コードになってしまったな そのコードポイントは昔、□デを入れる事が提案されたが
○ンとか他の重要な文字の為にとっておくべきとかでSMPに追いやられたなんて事があったな。
元号組文字が重要な文字だと認められればそこになるだろうけど。 元号エリア用意して連番にするとして
何文字用意すれば良い？ >>43
とりあえず127個もあれば人類滅亡まで持つと思う U+32FF ??
U+337B 平成
U+337C 昭和
U+337D 大正
U+337E 明治
ここに入れるとコードポイント逆順でソートできるという利点が あくまでもあれらは他の規格との互換用で通常は使用する事が推奨されていないのだがな。
たとえば平成はU+337B(㍻)を使うのではなくU+5E73(平)とU+6210(成)を並べる事が推奨されている。
最近では昭和時代～平成初期とは違ってワープロソフト等で任意の組み文字を表示、印刷するのが容易になったし、
使用出来る容量も多くなって1文字分のバイト数でも減らしたいなんて事は少なくなったし次の元号の組み文字は入るだろうか?
JIS X0213とかに入ればUnicodeにも追加せざるを得なくなるだろうが。 そういえば康熙部首とIDCに挟まれたU+2FE0～U+2FEFって空いてたよな。
どうしてもBMPがいいならそこを元号専用ブロックにするのはダメなのかな?
名称はJapanese Era NameとかGengoとかで。
16個あればよほどの事が無い限り今生きてる世代が生きてる間は大丈夫だろう。 絵文字の一種としてなら完全に新しい組文字でもすんなり入れられそうな雰囲気ある そもそも元号に限らず組文字のコードはあまり使われないよな。
昔から機種依存文字(環境依存文字)だから使うな言われてきたのもあるけど。
でも明治、大正、昭和、平成の組文字㍾㍽㍼㍻はあるのに、
○○(新元号)が無いのはおかしい。UnicodeではBMPでないといかん。なんてゴネる人が出てくるのかな。 DNAの二重らせんがついに絵文字に…！→イラストの深刻なミスが発見される - Togetter
https://togetter.com/li/1197708 >>53
Unicodeの日本部隊はルール無視してでもねじ込みたがりだからな
今後も考えた上で場所を決めてほしい
過去のがないのは元々がJIS定義の字を収録してるだけだから
JISがこれからどうするかに歩調を合わせるべきだと思うけどね CJK統合漢字拡張GはSIPに入り切らなくなったからTIP(第3面)になるんだな。
古代漢字等がU+30000～に提案されてたが、それらはずれる事になるようだ。
で一昨年末に正式名称が決定したあのニホニウムを含む4元素の中国語名の漢字のうち
現時点でUnicode未収録なのは拡張GでなくURO末端部に追加する方針らしい。 >>58
http://www.unicode.org/L2/L2017/17113-science-emoji.pdf
科学ファンサイト“I Fucking Love Science”のFacebookにはフォロワーが2500万人いるだの
3月のFacebookの科学グループには84万人のメンバーが活動してるだの書かれてるから
結局「Facebookで使ってみたかった」なのでは。 macOS 10.13.3/iOS 11.2.5でアプリが特定のテルグ語でクラッシュするバグはゼロ幅非接合子の処理の不具合によるもので、iOS 10にも影響。
ttps://applech2.com/archives/20180216-macos-and-ios-telugu-crash.html たかが文字のために複雑な処理を強いるからこういうことになる
合字なんてやめてビットマップで用意すりゃいいだろ
今の時代、そのくらいのリソースの余裕はあるだろう 単純な絵文字ならLINEスタンプの如く画像でもいいけど
そのテルグ語というのは文字を画像にしたところでどれほど処理が簡便になるのやら L2/18-063
Proposal to remove the UCS2003 representative glyphs from the Extension B code charts
Ken Lunde
2018-02-22
http://www.unicode.org/L2/L2018/18063-remove-ucs2003-ext-b.pdf UTF-16があれば十分だと思ったこともありました >>76
UTF-32 でも全漢字を収録するわけではない
(文献学・学術用途には足りない）
のが悲しいところです UTF-8でもUTF-16でもUTF-32でも表せる文字数は同じはずだが
UTF-16の限界に合わせてUTF-8とUTF-32を途中から制限したというべきか。 >>75
BOMなしのUTF-8が選べればベスト
無理ならbigendian >>79
ハァ？
UTF-32ならUTF-8の4倍の文字を表せるはずだろ >>80
あんがとー
＞ Windows付属のメモ帳では標準でBOMが追加されてしまうらしい
うにコード 詰んどるやんけ… 詰んでるのはメモ帳の方で
うんコード自体はまだ希望ある >>76>>77
語りたくてしょうがない具合がキモいな wchar_t楽チンでいいんだけどなあ
UTF8なんてアメリカ人はASCIIと区別してないだろ 教育漢字(小学校で習う漢字)しか入ってないお試しフォントを時々見かけるけど
http://forest.watch.impress.co.jp/article/2002/07/24/motoyafont.html
こういうフォントはインスコしたらそこそこ役に立つんだろうか？
人名は色々引っかかるから名簿には使えないだろうけど 教育漢字フォントはわりと色んなメーカーから出てるが
>>92-94の反応を見ると知らない奴は知らない模様 IPAなんてまぎらわしい名前付けやがって大迷惑だわ ■ このスレッドは過去ログ倉庫に格納されています
