自然言語処理スレッド　その５

**Mr.Moto** · 2018/09/17(月) 11:48:10.55

このスレッドでは、おもに日本語の構文解析・談話理解・情報検索・
文章生成などの、実装とそれに付帯する技術および理論について
扱いたいと思っています。

◆QZaw55cn4c · 2020/10/13(火) 20:14:03.27

>>976
BOM は UTF16 のためのものであって、UTF-8 には不要です

**デフォルトの名無しさん** · 2020/10/13(火) 22:01:27.14

そっかーｻﾝｸｽ

**デフォルトの名無しさん** · 2020/10/13(火) 22:21:22.94

signatureならUTF-8にあってもいいよ。

◆QZaw55cn4c · 2020/10/13(火) 22:37:51.70

>>981
私は「あってはいけない」とは言っていませんよ
私は、 BOM は UTF-8 には「あってはいけないとは言わないが、基本的に不要で意味がない」と主張するものです

**デフォルトの名無しさん** · 2020/10/13(火) 23:05:06.91

それは「UTF-16LEにBOMは不要」てのと同じ意味でな。
テキストファイルの中身がUTF-8なのかUTF-16LEなのか事前にわからない状況ではsignatureも有用だろう。

◆QZaw55cn4c · 2020/10/13(火) 23:27:06.24

>>983
＞テキストファイルの中身がUTF-8なのかUTF-16LEなのか事前にわからない状況
で、そのテキストに BOM があれば、そのテキストは utf-8 か utf-16 little endian かが区別つくのでしょうか？

**デフォルトの名無しさん** · 2020/10/14(水) 05:18:43.64

BOM 無しでは、ファイルがUTF-8/sjis の区別がつかないから、

Windows のExplorer で、grep みたいな日本語の文字列検索ができない

**デフォルトの名無しさん** · 2020/10/14(水) 10:17:10.23

sjis絶滅すれば解決

**デフォルトの名無しさん** · 2020/10/14(水) 20:36:51.39

それはSJISに限らずISO-8859とかあらゆる8bitエンコーディングについて言える話。
ようは「UTF-8以外絶滅すれば解決」と言っているに等しい。

**デフォルトの名無しさん** · 2020/10/14(水) 21:43:02.30

でもそれでいいと思う

**デフォルトの名無しさん** · 2020/10/14(水) 21:59:47.76

結局のところそれ。
「UTF-8にBOMは必要ない」と言っている奴の本音は「UTF-8以外絶滅しろ」

**デフォルトの名無しさん** · 2020/10/15(木) 07:49:23.20

CaboChaで構文解析やってみたら面白かった
CaboChaってもう古いの？なんかドキュメントとか整備されてないけど
今どきの構文解析ライブラリって新しいのある？

**デフォルトの名無しさん** · 2020/10/15(木) 07:52:22.38

knp？

**デフォルトの名無しさん** · 2020/10/15(木) 09:38:54.15

構文解析はいまだにうまくいかないので専門家筋で有名
否定的なことはあまり学会とかで発表されない
そもそも何に使うのかという議論もあるし

**デフォルトの名無しさん** · 2020/10/15(木) 12:15:47.96

ニューラルを使おうが最大エントロピー法を使おうが拠り所にしているのが文法規則という人の作ったルールなので
ある程度の精度に達したらそれ以上は解決できないんじゃなかろうか

**デフォルトの名無しさん** · 2020/10/15(木) 12:28:38.51

>>989
バラ色の未来ですね

>>988
++

**デフォルトの名無しさん** · 2020/10/16(金) 13:04:10.61

283 この名無しがすごい！ sage 2020/10/16(金) 12:57:04.52 ID:D5ZEXGfD
「胸がドキドキする」と同様に
「チンポがギンギンになる」はアリだが
単独ではシコシコできないから
「チンポがシコシコする」はナイ

ハイ論破

284 この名無しがすごい！ sage 2020/10/16(金) 12:59:19.37 ID:D5ZEXGfD
「チンポがシコる」はアリだが
「シコシコする」は動作の反復を意味するから
チンポ単体ではムリだ

ハイ論破

**デフォルトの名無しさん** · 2020/10/16(金) 19:15:57.43

> UTF-8にBOMを付けたら過去の資産が有効に使えた話

**デフォルトの名無しさん** · 2020/10/17(土) 10:29:57.76

次スレよろ

**デフォルトの名無しさん** · 2020/10/17(土) 16:30:17.66

頼んだぞ↓

**デフォルトの名無しさん** · 2020/10/17(土) 21:42:44.98

うるせえ↑

**デフォルトの名無しさん** · 2020/10/17(土) 21:45:52.58

　　　　＿w　　　　　　　　　　　、...　　　ｮ　　┌┐　　　　　ｨ　　　　　′　　
　　　￣＋　　　　　ﾍe、　　　j｢.　　.￢气￢''..~''~　　　　,．ﾙw、.ｰu、す　　　　　
　　^^"~~l|~~^'''　　　　　　　ｫ′　　　.,.　l|　┐　　　　　　.√　j|　　_~+,.、.　
　.　　　.,/.　　　　　　ょ＿／　　　　､j｢　｛　　`￢..　　　〃　.、l|　　　　､　　
　..　　~＾.　　　　　　　　　　　　　　　~　　`　　　　　　　　　　~＾　　　　　　
　.　　；.　　　　　　　　　　　　　　　　　ｮ　　　　　　　　　＿_　　　　　　
　.　　j|　　　　　　　~ラ￢￢+　　　　　|.　　　　　　　￣.　　￣..　　　　
　.　　ｵ　　　　　　　　　　　　　　　　　｜..　　　ｫ　　　　　　　　,､　　
　　　　k、　,j〃.　　　Ｌ＿.　　_ｪ　　　　~'――'~.　　　^^^^^^￣´　　　　
　　　　　￣′　　　　　　￣￣　　　　　　　　　　　　　　　　　　　　　　　　

**1001** · Over 1000

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 761日 9時間 57分 42秒

自然言語処理スレッド その５

自然言語処理スレッド　その５