文字コード総合スレ part14
Q. UTF-8 に BOM をつけるべきですか？ >>1 >>3 UTF-8, UTF-16, UTF-32 & BOM https://unicode.org/faq/utf_bom.html >>4 >>8 すまそ。ここの40ページにUTF-8でBOMが許可されるって書いてあった https://www.unicode.org/versions/Unicode15.0.0/UnicodeStandard-15.0.pdf The Unicode® Standard Version 15.0 – Core Specification https://www.unicode.org/versions/Unicode15.0.0/ch03.pdf >>10 一般に言うASCII互換ってそういう意味じゃねえだろ。 >>13 >>12 >>15 >>18 >>16 規格がどうであれ、可能な限りBOMをつけるのが最善策。 >>22 元がASCII → UTF-8 （BOM なし）に変換？ → それはただのASCII UTF-8という規格に対応するのなら >>23 交通事故が起きた時に、人命救助したり、クルマを安全な場所に移動させようとするのが技術者。 >>27 規格が不完全でも現実として運用していかなければならないのに、規格を盾に対応を拒否するような技術者はクビだよ >>29 >>30 >>27 うわあ時代遅れのBOM強要おじさんがまだ粘着してる BOMありもなしも規格では許容していて、あとはその仕様の違いを意識せずに混ぜるなというだけの話。 規格に「推奨しない」って書かれているのをどうしても見なかったことにしたい人がいるみたいだな。 >>35 not recommended ってのは、必要性を十分検討したうえで使えってことだな。 >>37 「お前が○○するぶんには好きにしろ」でいい気がするのだが >>40 推奨されてないものを付けろだの、対応しろだの、規格無視しろだの言うから荒れてる。 https://www.unicode.org/versions/Unicode15.0.0/UnicodeStandard-15.0.pdf#page=967 BOMというのはバイトオーダーマークの略で >>44 山茶花(サザンカ)は本来サンザカと読まなければならないのだから、今後はサザンカは受け付けない(ｷﾘｯ >>45 >>45 >>47 ま、積極的にBOMを使うのが運用として自然だから、BOMをつけるアプリがドンドン増える。 >>19 >>51 の補足だが >>52 話の途中ですまんのだが https://medium-company.com/ascii%E3%82%B3%E3%83%BC%E3%83%89/ >>54 ハイともイイエともどうとでもとれる書き方なんですんのやろ 大昔は一番上のビットをパリティとして利用していたこともあつたし JSONではUTF8必須かつBOMを付けてはいけないと明確に定められてるんだな https://www.rfc-editor.org/rfc/rfc8259.html#section-8.1 >>54 なんだろな。このど素人が混ざってる感じ ShiftJIS対応だけのために8bitに変更とか日本はどんだけ凄いんだよ… 本質がわかってないやつがいるが 将来SJIS(cp932)やそれ以外のcp(cp65001を除く)は全部無くなるんだろうし >>67 MSがWindows12でSJIS(CP932)を異様に扱い難くくするとかの >>68 暴れている人は、最近覚えたCP932という単語ばかり使ってlatin-1の話が出てこないあたり、初心者っぽい。 誰か1人が暴れていると書く人は自分が見えていない 暴れてるのはやっぱりUTF-8原理主義者の人だよなあ 原理ｗって反対の立場ですと表明してるようなもんだが もちろん反対の立場(自由主義)だよ。BOM付けても付けなくてもいいしUTF-8以外のコードも容認する。 >>61 の例のように文字コードは全てUTB8で統一そしてBOMは使用不可が現在進んでいる方向だろう 外部コードが UTF-8 BOM 無しで統一されれば文字コードで悩むやつは少なくなるだろうな 過去のソフト・データの資産こそがWindowsの存在意義なんだから、いまさら捨てられる分けがない 過去のデータや文字コードは、そういうのを取り扱うレガシーなアプリケーション EUC-JPのテキストファイルにお目にかかる機会もほとんどなくなった >文字コード問題があるおかげで喰ってる既得権益層にとっては脅威 >>81 >>83 インターネットの世界だとUTF-8のBOMは「つけるな、解釈するな、さわるな」だから。 >>81 nginxの台頭 なんで？って一瞬思ったけどロシア製だからか VS Code と PowerShell でのファイルのエンコードの概要 https://learn.microsoft.com/ja-jp/powershell/scripting/dev-cross-plat/vscode/understanding-file-encoding#choosing-the-right-encoding UNIX はパイプで複数のデータストリームが一つになったりするので， そういいながら、結局 PowerShell の新しいバージョンからデフォルトを BOM無しUTF-8 に変更してきたのがマイクロソフト流儀だけどな。 >>93 ファイル名とか入ってるけど，そのファイル名の先頭にBOMつけるの？ Windows技術者「お前ぇぇ、WindowsアプリではBOMつきUTF-8 使えって言ってたじゃん。なんでVScodeやPowerShellの新しいの BOMなしなの？」 >>97 >>96 へえ 途中送信しちゃったけど、 おちつけ 圧縮されていようがいまいがこんな発想が出てくるのはただものではない >>94 >>97 というか、MicrosoftとLinux以外のOSがなくなってしまったんだぜ そういえば、テキストだけ特別な扱いはしたくないからBOMは入れてくれるなという主張はわからんでもないが 今はテキストファイルの話をしてる あほだな。テキストのストリームとか言われたら死にそうだな。 UNIXはバイトストリームしかない中古品 Windows の改行コードが 0D0A なのはMSDOS の名残 Why is the line terminator CR+LF? https://devblogs.microsoft.com/oldnewthing/20040318-00/?p=40193 こんなスレにおるのはほぼオッサンなんだけど 最後の方の Unix の記述は間違いだな。ちゃんと調査せずに適当な風説を元に回答したようだ。 1) 大昔の teleprinter/teletypewriter では CR+LF で改行にしていた。違うのもあった。 CP/Mのパクリをしなければ改行にCR+LFを採用する必要はなかった >>120 Macはワンボタンが素晴らしいと思ってるし、画面下にアプリ切り替えバーなんていらないし、UNIXなんてクソだからCRを使った CRはCarriage Returnで行頭に復帰 読むときは CR(単独) が来ようが CR+LF(連続) が来ようが LF(単独) が来ようが LF として処理する LF, CR, LF, LF, LF, CR ときたら何行改行するか問題。 >>127 LF派：誰に聞いても同じ回答を返す CRは先頭位置に戻す >>127 は4行改行して先頭位置になる >>133 >>133 HTTPプロトコルは改行がCR+LFなのはどうして？ >>136 ほー、ってことはWindowsも >>138 UNIXは元々研究用だからね >>141 http2以降はヘッダに改行なくなったんだね、、、 >>141 >>142 知ってる→実は何もわかってない コマンドラインにプログレスバーを出したり BOMは文字コード？ >>147 >>150 UNIX終了wwやはり正義はWindowsだったwwww https://www.theregister.com/2023/01/17/unix_is_dead/ Unix というか Linux に徐々に移行でしょ >>153 >>141 ,153 >>156 このスレは以下で全員が一致している https://i.imgur.com/5H1ZeBj.png BOMって、 UTF16とかじゃないと意味が無いやん？ mac のファイルシステムはリソースフォークを持っているので >>159 Windows のファイルシステムは拡張子を持っているので おいおい >>165 UTF-8を使う俺が困らなければ他人はどうでもいい。 >>167 遅いか早いか、まさにそこがポイントだわな。 あきらめろ！もう勝負はついてしまったんだ >>166 >>171 今日は日曜日なんだぜ。仕事引退したご老人は気づかんかもだが。 C言語でShiftJISからUTF-8に変換するコードをライブラリは使用しないで書いて下さい。 ShiftJISって表現だと文字集合定まらないのに回答もらえんだ >>162 apfs はxattr もresource fork も両方使える >>175 それ以前の問題だろ。>>175 はChatGPTに作らせたんじゃね？ AIって、コンピュータのくせに自分でトレース実行してバグ無いか確認しないのなw 検算してもその検算が正しいかどうかすら自身が持てないのがchatGPT WindowsだがExcelもWordも入れてない >>185 Macは日本の野党と同じで世間からの評価が甘いよなあ。 地震ないのに自信たっぷりに回答するのがChatGPT 知らないことは知らない そういうのはだいたい、知らないと答えたらひどく怒られた経験があって委縮して育ってしまったんだと思う 自信たっぷりに嘘を答えるから >>193 浅慮すぎるのは置いといて ネットの論調は「ソ」と言ったらSJISバグみたいになってるけど今時ありえるだろうか？ 「ソ」とか「ポ」を含む文字列で壊れる問題、昔はS-JIS絡みで時々見かけたね XAMPP は、MSYS2 なのか？ >>193 Unityの文字化けを解消する！ https://qiita.com/kumi0708/items/2f8dd2fc2ccb673ff12b WindowsがUTF-16だと知らないのは不思議だな SwitchとWindowsでBOMなしテキスト使ってると、結構困ったことになるんだよね ターゲット固定なのにそんなのある？ Windows はUTF-16 か。 ＆＃ｘHHHHH； で5桁以上指定出来ないのは HTML のバグ？ Macで古いmp3を取り込んだらID3タグが文字化けしまくり ふと思ったが、令和の令って、手書きでどう書いてます? >>220 >>220 昔は詳しくない層はうろおぼえで何となく近い文字を同じ文字と認識してたんだろうけど 悪いのは学校教育。 日本の明朝体フォントの「令」は珍しく昔ながらの明朝体の字形が残っていて、教科書体(楷書）寄りに改変されてないので、手書きと違う字形になってる。 ※1 どうしてもunicodeのCJK総合漢字から新字体と繁体字と簡体字を切り離してリストアップしたかったんです unicodeにおけるcjk統合漢字は、一つの意味に対する漢字を〇△□×と横並びさせて、それを終えてから次の意味の漢字へ移行する配列となっています ですよねえ・・・ 文字コードのことも漢字のことも何も分かってなくて草。 まあ、統合なんてせず、他はどうでもいいから新字体だけは別枠でunicodeに登録してほしかったですね >>232 国賊親子だからそうやって日本の国体を壊し、貧困化の延長を謀るのがこいつらの本懐だからな^^; CJK統合漢字 https://ja.wikipedia.org/wiki/CJK%E7%B5%B1%E5%90%88%E6%BC%A2%E5%AD%97 >>222 漢字の場合、国・言語ごとの字形の違いは 同じ漢字でも、簡体字って全然読めないよ… おばあちゃんが書く門の略字体なんかは今の子読めなかったりするね 不思議な漢字と日本語──異体字の謎 https://tenki.jp/suppl/hiroyuki_koga/2015/05/18/3961.html >>238 >>239 中国語での発音が同じという観点で共産党が簡体字を作ったので 簡体字には二種類の起源があって、難しい漢字のかわりに手書きの略字を形を整えて正式採用したものと、めったに使わない漢字を廃止して意味や音の似た別字で置き換えたもの。（民間の手書きでは難しい字を宛て字で置き換えるのがよくある話） >>245 >>246 碍を害と統合するとか unicode 以上の暴挙。 近頃は漢字を使うことをあきらめているケースも多いよね >>251 戦争で片足を失った。→ 身体を傷つけられているので「障害」でOK ＞当用漢字で碍を害に置き換えたせいで、 >>254 ＞当用漢字で碍を害に置き換えたせいで、この2つが衝突した。 >>256 それよりも前から衝突はしてるだろう。 話を戻すと大陸の簡体字も同じやり口。 >>258 使用が一切認められない「禁止」ではない。 当用漢字表 https://www.bunka.go.jp/kokugo_nihongo/sisaku/joho/joho/kakuki/syusen/tosin02/index.html 原則となる調達基準が制定されてそれ以外が入りにくくなったみたいな話だよね 簡略化は一貫性がない場合もあるのな。傳->伝、團->団とか 異体字はその定義があいまいだから、IT技術者の仕様都合でどうにかできる話ではないでしょ UTF-8をよく見かけるけど 8ビットスルーでない経路が絶滅危惧種だし UTF-5のことも忘れないでいてあげるべき https://www.wdic.org/w/WDIC/UTF-5 やっぱり色々あるんですね㌧ ・・・ギャグで言ってるつもりなのか本気でそう思ってるのか判断がつかないんで一応補足しとくと >>272 >>272 >>238 >>272 64bit版g++は、規定のstd::wstringがUTF-32だよ ペロッ...これは、0xE0100で修飾された異体字!! 見た目じゃなくて成り立ちだから歴史的経緯からIDS化してるんじゃね 簡体字制定時にも過度の正規化に反対する良心的な人もいたみたいだけど…結果は文化継承お構い無しむしろ断絶こそ業績みたいな御用学者に押し切られた？わけで utf-8が標準だと思ってたけど昨日Excel見たらutf-8じゃなくてビックリした メモリ上の内部コードはしらんけど お姉さんの可能性あるで >>291 XML は BOMつき UTF-16 も許されてるんじゃなかったっけ？ excelは昔からさまざまな文字コードに対応してる >>296 >>291 Microsoft が互換性重視とか最近のブラックユーモアは笑えないなぁ 2012年頃? MSはJIS X 0213:2012のIVSに >>301 近年のMSは、昔からの独自仕様での高い互換性よりも、オープンソース＆標準準拠を進めているのは良い >>302 >>304 UTF16はMBCSと共存しており切り捨てた訳ではない >>307 >>308 >>309 コンパイルしたなら文字コード関係なくそりゃ動くわな。 スクリプト言語のが文字という概念があるから >>309 タイトルに付いていたらあ、クソだなと思うもの 遅くとも<title>までにはエンコードを確定できるワードが欲しいね >>312 昔のプログラムはバイトストリームで処理してるから問題ない？ 相手が変なこといってるなと感じたら >>320 >>317 >>323 なーんだ、てっきり南カリフォルニア大学ことかと思っちゃった このスレに来る人はICUを集中治療室とか国際基督教大学とは思わないから安心しろ UTF-8がASCII互換っていうのはASCII部分のみが互換っていう意味で >>319 昔のプログラムがバイトストリームで処理してると思っているあたりが素人くさい。 >>330 >>331 >>333 多バイト文字の処理が念頭にあるんだろうけども うん。だからテキスト処理関係のフィルタコマンドだよ >>336 >>329 >>337 >>340 >>336 >>341 どうせ今の話しか知らんくせに https://crashcourse.housegordon.org/coreutils-multibyte-support.html 多くの人の努力によってようやくUTF-8に対応しつつあるというのに >>343 >>346 だいたいASCIIにしか対応してないプログラムって言ってんだから >>345 >>349 俺が何をやったかだって？ >>348 > ASCII しか対応してないって何時の時代の話？ 今もUnicode・UTF-8に非対応で、 UTF-8 が来た時には既に locale があった 個々のツールを改修する必要はなくて、OS側のライブラリを改修することで対応するという基本的な考え方が理解できてないんだろうな。 どうやらASCIIしか考慮してないプログラムは UTF-8 が来た時には既に locale があった >>358 >>358 なんかCの仕様をわかっていない人がいるような >>364 utf-8になってもロケールは必要だよね localeに対応しているlessコマンドはsjisファイルも読めるん？ >>367 ただこの辺の努力は全て水泡に帰して >>369 ここでも知らんやつもいるかもしれないので、一応書いておくと unicode という規格には >>372 >>374 >>375 >>376 >>376 その感覚はないな >>380 character encoding system = encoding method + character set 文字コードポイントとそのエンコーディングの区別ができてやつがいるな >>382 >>384 >>385 >>386 >>383 >>393 俺用の文字コードを作れば、漏洩して悪意ある他人が見ても文字化けで意味不明ってことか。 －・ ・・－ ・－・・ ・－・・ ・－－・ －－－ macOS上の話ですが、'が’という名前のフォルダを作ってその名前をシェルで見ると bashでやると元のままでコマンドを外部コマンドにしても変わらないから 正確に言うと MacOS の zsh のグロブだな。 >>403 が、果たしてそれはいい事なんだろうか。小さな親切大きなお世話という気もしないでもない >>407 awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ https://qiita.com/ko1nksm/items/1a3e711bbd925657f5fd >>409 互換漢字のことを思い出してもいいですか おはよう UTF-8にBOは存在しない >>413 >>415 >>415 Firefoxの検索は半角カナの同一視もしてくれないからなあ How can I get WideCharToMultiByte to convert strings encoded in UTF-16BE? https://devblogs.microsoft.com/oldnewthing/20231005-00/?p=108854 >>415 JSONなどBOMを付与して送信してはいけないと明確に規定されていたり JSOINファイルに付けるなとは言ってないみたいよ >>424 >>413 >>425 BOMなしがいいってのはAsciiしか対応してないレガシーソフトウェアに通したいから？ >>428 なぁに。1バイトを32bitにしてしまえばエンディアンがどうのなどとつまらない事を考える必要もなくなる。BOMも不要。 いいかげんチマチマと8bitづつ扱うようなケチな精神がいけない。 >>431 >>434 ふーん 結論も何も最初から規格上は「つけないことを推奨」。規格を無視するやつらは勝手につけてるだけ。 禁止はしてないな。いくつか使用すべきではない状況はあるがそれ以外必要に応じて使ってよい。 拡大解釈を結論としちゃうとそりゃ永遠に終わらんよな 文字コードの自動判定でBOMが欲しいんでしょ まじで文字コード判定でBOM必要とするなんてExcel以外にしらんし >>443 UTF8を使うのが普通だったりエンコーディングを指定できる所ばかりじゃないんだからBOMがあるのは仕方ない >>444 >>445 visual studioもbom必要 いわゆるWindows PowerShell（5.x系）も、日本語を含むスクリプトの場合は BOM付きUTF-8 で保存する必要がある >>447 必要だから使っているだけで、必要なくなったら使わなくなるだけ。 みんなうるさいなぁ…全然寝れないじゃん！ UTF-8にBOMは不要だがBOMを要求する出来の悪いアプリが存在するというだけの話 こう、「出来の悪い」とか要らん煽りをちょいちょい挟んでくるのがな 環境のCPのエンコーディングとUTF-8を両対応したくてBOMを導入した設計は偏狭 一応Unicode規格に定められた仕様なわけだがそれを正しく実装しても出来が悪い呼ばわりするわけだな CSVファイルの一般的書式 (RFC4180 日本語訳) http://www.kasai.fm/wiki/rfc4180jp >>457 VC++はコンパイルオプションでBOM無し通るようになったから許す あ、そうか。UTF-8なのにBOM入りにする理由はコードの自動判別のためか。 >>460 メモ帳のデフォルトの文字コードは、BOM付きUTF-8 >>462 「UTF8はBOMを付けない」 ExcelがBOM無しCSV/TSVを文字化けせずに読み込んでくれたら解決しそうw >>466 >>467 >>468 General Unicode requirement in INF files https://learn.microsoft.com/en-us/windows-hardware/drivers/display/general-unicode-requirement 話してるのは交換用のデータ Microsoft は 、UTF-8 BOM 無しを推奨する理由として「Web アプリや Unix 系の OS が UTF8 BOM 無しなので、文字コード関連のバグを最低限にするためには UTF8 は BOM なしである必要がある」と主張している。 Windows/MS がさっさと間違いを認めれば良いだけ >>473 RFC3629の日本語訳 https://www.akanko.net/marimo/data/rfc/rfc3629-jp.txt >>472 いずれ消滅はするだろうね。今すぐにではないだろうけど。 以下のウェブページ、ちゃんと表示されます? 自分の環境ではところどころ文字化けが https://www.aozora.gr.jp/newJIS-Kanji/gokan_henkou_list.html Shift_JIS-2004にするとemacsでは見れるっぽいな >>479 >>481 ちなみに当の青空文庫、チラ見すると今でも基本はJIS X 0208/ShiftJISのようで 中々に興味深い内容だった https://youtu.be/zSuD9DRzxYk?si=n55RbOykxZLOtTXB >使わざる終えない >>486 >>484 >>488 >>491 ワードパッドはプアマンズワードみたいなもんだったから、あらゆる意味で中途半端だった >>493 >>470 そういえば、Windowsのレジストリスクリプト、 「世界の全部の文字は16ビットに収まる。16ビット固定長なら全世界の人が幸せになる。」 想定が甘かったのでなく、もともとISOで32bitで文字を表す規格化が進んでいたけど16bitに収めたい企業のゴリ押しで16bitになったんだよ >>501 ISOの多言語化とは別に、マイクロソフトがIBMと多言語文字コードの研究開発してたの知らずに文句言ってるだけか。 おれは歴史を知ってるふう装っても https://ja.wikipedia.org/?curid=1999 デフォでCJKフォントになるのまじで敗北 奴ら平仮名も持ってるから日本語のフォントに来ないってことかな Flutter民「おもちゃアプリで細かい事を言われても困ります」(真顔) 台湾行ったら看板とかでたまにひらがな使ってた。日本でちょっと英語を使うようなノリなのか? >>513 CJK一緒くたにされてるからUnicode用のフォントなら一般的にひらがな入ってる 日本語のテキストに日本語のフォントが使われるには HTMLならlang属性を指定している範囲がその言語 Unicode 以前の古い時代の、中国、台湾、韓国の国家規格の文字コードにも平仮名、片仮名は入っていて向こうの MS-DOS とかでも使えてた。 当然、大昔の中国フォントや韓国フォントにも平仮名や片仮名がはいっている >>515 例えばロシアの人もキリル文字に日本語フォントが使われてしまいコレジャナイ感を >>521 Flutterは言語が他で馴染みの薄いDartだから横一線での再スタート感があった。 https://qiita.com/ko1nksm/items/4907c1c88d478cac0be5 ほとんどのコマンドがUTF-8をバイトストリーム扱いして実害ないのもある 最初の節だけでも書いてる人間の質の低さが読み取れるけど、閉じようとして横のスクロールバーを見たらさらに驚いた >>524 もこんなもん張ってないでもうちょいマシな事せーよ ガムランとかフォルクローレを聴いてる女子小学生とか渋すぎやろ 漢数字の〇に親を殺されました。憎くて仕方がないのでunicodeから消してください ○を打とうとして〇を打ち込む国民が大半になってしまった。 IMEは中国開発ってホント？ 修正プログラムで賢くなった？ Office IME 2007 6の疑問 https://ascii.jp/elem/000/000/195/195021/ メールでもヘッダーと本文でSMTPUTF8を使い、添付ファイルもBINARYMIMEを使って Eメールアドレスのアカウント部分に「smtp」という文字列を使ったEメールが最近、届いたわ。 >>531 >>534 >>536 IMEの話はIMEスレでどうぞ https://mevius.5ch.net/test/read.cgi/win/1502601208/ 文を書くとき濁点や半濁点は結合済み文字にするか通常の文字と濁点・半濁点を結合して使うかということと 結合済み文字で良いのでは？ たまにWindows上の古いアプリに用事があるのだけど、ファイル名に絵文字が入って 単にUNICODE非対応なだけでは？ ↵の改行マークは下に行ってから左に行くから リターン(enter)キーに印字されてる記号との兼ね合いもあるだろうし プリンタ端末が遅いから、本当はLFCRだけど、CRを先に送出したんじゃなかったけ？ もともとは、タイプライターの動作から来てるからな。 >>545 ということみたいだね。 正規表現だと/nがLFだけではなく改行全般(CR/CRLF/LFの全て)を指している場合があるよね >>541 いやWindowsはsjis残ってるけどmultibyteはもうutf8が主流と言っていいでしょ >>549 BOMってことは交換用データの話だとおもうけど 最初APIの話で当然内部コードの話だったんだけど違う話はじめたからな 絵文字同士を結合した文字はOSによっては結合して表示されないから新たな機種依存文字になってるよね 文字幅が実行時にやってみないと確定しないのはマジで困るし非効率すぎるよな 市民への郵送物、JISコード外の氏名が文字化け さいたま市が謝罪 https://www.itmedia.co.jp/news/articles/2402/19/news091.html 書き間違いで大量に発生したニセ漢字は今後使用禁止とするのがいいのかな 文字化けと言っても記号列の様な感じじゃなく中華フォントになったのだろう 外字とあるから Unicodeも振られていない「外字」が4%弱の人名に使われてるとは思わないけどね > 2月9日（金曜日）に委託事業者から納品された通知を、郵便局に差し出すために仕分けをしている際に、 右から左に字を書く文化圏でもBackSpaceやEnterキーの矢印は右から左なんだよね >>563 あれ、でも実はそうかな? ああ、OSによってはリターンキーのデザインとかキーボードの言語でなく >>565 文字は右から左だけど、数字は左から右だったような 数字をリトルエンディアンで表記していると考えると自然。 日本語は中国語と同様に元々縦書きで右から左に行が移る言語なので、横書きした場合は右から左に書いていた。1行の長さが1文字になったみたいな感覚だ。だから戦前戦中は横書きというと右から左に書いてあるのが多い。 左から右の横書きは戦後ではなくそれよりもずっと前からだよ >>569 >>575 MS-IMEのせいで丸印が、漢数字の零(ゼロ)に置き換わってしまった。 漢数字はフォントによっては真円じゃないからな。 区切り文字としてHorizontal Tabは使われているが UTF-8で記号がたくさん登録されてしまったのも問題だよな それよりもはるかに深刻なのはスペースに見える文字がたくさんあって >>587 まだこんなレベルが複数いるとはな FS GS RS USを区切り文字にしている形式はあるんだろうか 文字列の１６進コードでも正規表現できればわかりやすくなる Unicodeのコードポイントが7FFFFFFFではなく10FFFFまでになったのはUTF-16で表せるのが10FFFFまでだから？ >>595 >>7 FFFFFFFではなく >>596 仮にUTF-8のビットパターンで1バイト目に11111111を使っていいとしたら >>593 >>599 >>595 C: \のようにディレクトリの区切りが円マークなのは文字化けの結果なんだよね 603の1行目でC:の後に0xA5を入れたらバックスラッシュになってしまった・・・ 別に文字化けでもないでしょ Win32のファイル関連APIはスラッシュでOK Windows のRuby では、/ も使う。 C:\Users\Owner/Documents/a.txt なんてのが OK な処理系もあるな 処理系というかDOS/WindowsならOSがそうなってる >>603 ゼロは、〇とか０とか0もいいけど、ぼくはΘが僕はスキです。 ディレクトリ区切り は、> が、ボクは、好き❦❤♥ もともとDOSはCP/Mの互換OSでディレクトリは無かった。で新バージョンで UNIX 等を真似てディレクトリを導入しようとしたんだけど、その時点で / はオプションの導入記号として使用済みだったので仕方なく \ を使った。単なる歴史的経緯。 DOSはSWITCHARをコマンドでオプションの記号を/から-に変えられたようだが >>614 2018年の記事でこのネタを扱って「この事実が開発者の間に広く知られるようになったのはここ数年ぐらいのこと」と書いちゃうの Windowsは長いパスを想定していないなど、いまさらどうにもならない部分はたくさんあるからなあ。 Windowsそのものは互換性の維持から変えられない Windowsだと日本語のパスを普通に扱うから、UTF-8のストレージからコピーしたものなどは、キャラクタセットの問題で同じファイルと認識されないことがある。 robocopyコマンドなどは日本語の濁点文字を変換できないので、Macなどから持ってきたファイル、フォルダなどをWindowsは正確に置き換えられず、新しい別のファイルだと判断してしまう。 Unicodeの正規化の問題はマカーでもMacが変だとおもってるから UTF-8は同じ記号を二重に定義したりと迷惑極まりない 日本語のフォルダ名、日本語のファイル名、半角スペースが入っているパスなどは、やはりキャラクタセットの問題、区切り文字と誤認識したりと日本語を使う弊害があるから、MacユーザーはWindowsでも問題ない名前にしてくれないと無用なトラブルを起こす。 >>628 >>629 句読点話とか昔から議論があって、国とマスコミが合わせている話を最近の話だと思っているのは、ネットの捏造話題に振り回されすぎだw 改行コードは、LF CR LF＋CR どれが間違えなのか統一しろっつうの >>634 WindowsはBOM付きじゃないとUTF-16だとみなすことが多い。 >>638 Windows なら BOM 無し CRLF UTF8 ではないかと思う 結局ネット互換性で文字コードは統一の方向に向かっている感じ。昔はOSごとにバラバラでも問題は大きくなかったんだが最近はそうも行かなくなって、ネット交換性のないアプリとかは時代遅れになっているし、開発もOS独立が主流。 横サイズ×縦サイズのように大きさを書くときには >>643 かける での変換、Shift キーとの同時押 下が面倒で ｘ で代用するのかもしれんな >>646 そもそも乗算記号は世界共通じゃないのよ 桁区切りや小数点が違うのは、国際化ライブラリで変換してくれるのがあるよね コンピュータ言語だと*と/で代用してるからね >>650 セル内文字 ⇒ Unicodeは っていうかさ、UTF8 TO UNICODEを開発するぞ bit shift とか知ってる？ bit shift等なんとなくわかる 例 UTF-8でE3 81 8Aを、文字表示 👤 cの計算式内の16*b1は左2BITシフト？ 出演者 >>656 のVBAをRunしたらエラーでRunしない。バグ発見∴嬉しいデス 🤡 Function UtfStr(a1,a2,a3) as string 👤 UTF8かつカテゴリ3BYTEなら、 👤 商を求めれるExcel関数は、QUOTIENT 🤡てかカテゴリ3って何❓ 👤 ーーー、いやま、半角のカナ記号も >>663 >>661 であの宇宙人が書き込んだEXCEL関数を 🥳ていうかさ、664よ。何が完成だ❢ >>665 うっせいなーーてか、あのロジックは 悪いけどなにひとつ面白くないよ なんやかんやで、読者さんがいる。という訳で ⭐の37054はunicodeだけど十進数のunicode 単なる補足でした 🥳 今イロイロ、連絡帳のcontact.vcfのを半手作業で >>657 の指摘が的中かよ。 スクリプト？ いやexcel関数で⭐とかは任意のセルの意味 >>636 ASCIIからの訣別を促進するため、プログラム言語の予約語や演算子、HTMLのタグなどに よくわかるけど、よくわからないから、 ていうか、UTF8は、名前をかえろーーーーー そうだ。ASCIIは、廃止しろーーーーーー老害だーーー n文字目の最初のが、E0以上は 「赤」という文字の色は、黒だけど >>678 なにこの、厳密性の低いロジック >>679 様のご主張の通り 5chの書込で絵文字1⃣って書き込むと >>678 680 UTF8は、 👤 でUTF8は、FE-FFは何バイトだ。その調子なら7バイトか？ 🤡てか、ASCii 127は存在する。16進数に翻訳すると 🥳 えー、ウッソーーー てか😅 🤡突然ですが、下記要領でテストやれ 🤡 ちなみに、・はメモ帳からexcelにコピペし てかUnicodeの範囲外かつ、UTF8の範囲外としても、 てかカテゴリー何バイトにするのか はやく、設計決めろーーちゅーーーの >>668 ランベルト星人よ。それはカテゴリー３の場合の数式だな 先頭文字 カテゴリ >>673 👤 🥳 UnicodeとUTF8をまったく別のものていうか、 よく使う言葉を漢字１文字に割り当てるルールがあればよい 2byte専用縛りのUTF to UNICODE の変換数式だ ❌ンゴ文字 ⭕ンコ文字 に訂正 >>674 【修正前】 >>693 >>700 自己スレ 朝令暮改を更に改訂 今度こそ最終案 >>702 🥳 モピロン、ASCiiもUTF8も、なんでも、 >>703 こら、自称宇宙人!、カテゴリーは10進数はOKだが 🤡サロゲートペアてかカテゴリー４の >>707 テスター🥳の疑問 👤Unicodeは、とにかく4てか3byteトスル 🥳カテゴリー4かの判定は、 車輪の再発明どころか 小学生がネットで調べたことを一生懸命自慢してるんじゃないだろうか？ 【カテゴリ４専用・多分OK】 Look! A pair of boobs! -> (.Y.) 🥳ランベルト星人やるーーーねー >>707 の👤さんの2進数って、わかりやすい。 👤自慢する訳ぢゃないけどサロゲートに対応した てか、MID関数がサロゲート 🤡 MID関数の第２パラメータ >>704 >>703 🤡:=プロマネ(の役) 🥳で、全てのプログラムで >>722 で「MID関数使う全ての改修だ」 721さんの地球の日本語 👤 あ、しまつた。タイプミスしまくってた 👤とにかく、MID関数はサロゲート未対応 >>721 の一覧は重要だ。 みえた。裏の裏の裏まで霊感で見えた 性器表現使うようになってから 👤プログラム設計者が 🥳 ランベルトとプロマネ、プログラム設計のハナシしてるな PRINTABLE:=xx=xx=xx=xx=xx=xx UnicodeでU+7F,U+FFFFは制御文字なのにU+FFは制御文字じゃないんだね >>732 >>721 🥳721というか735 楽しい 🤡メモ帳のANSI表示は右下に表示だろ 🤡 UTF-8にはサロゲートペアはないぜ 👤 >>736 の、🤡よ、 >>697 に記載のだが 👤下記のお絵描き 🤡 ビット積を使わずunicode化かよ 👤文字コードで0x00の処理に、ミスは、あった 🤡 あっそうだ。0x31 0x32 0x33 0x00 0x35 🤡🥳 あっいけね、「123 5」という表示だ 🤡でさ、文字列の途中に0x00あると、魔改造したツールどうなる？ >>707 ズバシーレビュー。オウマイゴッドって感じ CHAR(🟦)を表示でもよいし、 >>732 UTF-8 on 4byte スマホの連絡帳の氏名に、 ま、「サインΘ👻だよ 👤🤡🥳」をexcelに貼り付けると 👤今回のツール、いろいろテストで不具合発見した 👤 ワタシは宇宙人。で、「=」はナゾなる制御コードだ ® ヘーイ、ワタシはRFC宇宙人 👤 75文字までなら改行不要で76文字で改行しろって規格❓ RFCの規格、改行は、暗に、 プログラミング設計 elseif 🟦＜240 then '3byte else '5,6byte こらーーー ❌ if 🟦＜128 then 'ascii if 0＝🟦 ってけしからんコードだ ☕ポクはサンマイ🟤🟤システ🟤のジャバ星人だ。宜しくね。 >>757 のソースコードもどき。地球人らしいコードですね。 👤 誰だ。ジャバ星人か何か知らんが、お前は絵文字一文字で☕ 🥳 数学大好き。てかランベルト星人とかプロマネ ランベルトは、 elseif 🟦＜224 then '2byte CSVやTSVでセル内改行ができない問題は そういえば、エクセルの、ある一つ、一つの、ひとつの、 👤 PRINTABLE:=C0=80 で👻と表示、ヤバ。バグなのか? ある文字が、UTF8で絶対に絶対に絶対に2BYTE文字の場合、 ランベルトとかいう、宇宙人の落ちこぼれが xxx ❓❓❓ PAD だろ xxxはとPADとは全く違う by 👤 🥳 それは、Padding Character というヤツ ちぇっ、👻表示させたかな。by 👤 オレッちがソースレビューさせれば、以下のようにするのになあ 緊急PGメンテかよ。ま、 >>777 の緊急PG修正ってコメント除けば 👤再リリース完了 🤡Good job ☕ま、やらかすと思ったわ >>779 👤プロマネよ。あのさ、ナンデ、UTF8文字列→UNICODE文字列 なんてプログラミングをオレにさせたんだ？ >>768 ん、微妙に話しズレるが、新たなるプロジェクト思いついた ☕ ジャバ星人(サンマイクロシステ⚪星人)と、ランベルト星人の オラ、いや、ミラクル星人にはナイショだけどよ、 >>783 でさ、 VTも使うTSV形式はこんな感じか。 🥳 てかプロマネさ、エクセルに セルの列やセルの行を区切るのに制御文字を使えれば 🤡 多分、タブの制御コードは、␉ って感じだ 垂直タブはキャレット記法で^Kだけど >>787 の自称宇宙人の👤が GUIでCR,LF,HT,BS,DEL以外の制御文字を >>797 
