自然言語処理スレッド その５

[1 Mr.Moto 2018/09/17(月) 11:48:10.55 ID:rTQuL7Ni]

このスレッドでは、おもに日本語の構文解析・談話理解・情報検索・
文章生成などの、実装とそれに付帯する技術および理論について
扱いたいと思っています。

[984 ◆QZaw55cn4c 2020/10/13(火) 23:27:06.24 ID:455DutI7]

>>983
＞テキストファイルの中身がUTF-8なのかUTF-16LEなのか事前にわからない状況
で、そのテキストに BOM があれば、そのテキストは utf-8 か utf-16 little endian かが区別つくのでしょうか？

[985 デフォルトの名無しさん 2020/10/14(水) 05:18:43.64 ID:z5Uy/Vd3]

BOM 無しでは、ファイルがUTF-8/sjis の区別がつかないから、

Windows のExplorer で、grep みたいな日本語の文字列検索ができない

[986 デフォルトの名無しさん 2020/10/14(水) 10:17:10.23 ID:GsUUoEHv]

sjis絶滅すれば解決

[987 デフォルトの名無しさん 2020/10/14(水) 20:36:51.39 ID:TpXuOYEl]

それはSJISに限らずISO-8859とかあらゆる8bitエンコーディングについて言える話。
ようは「UTF-8以外絶滅すれば解決」と言っているに等しい。

[988 デフォルトの名無しさん 2020/10/14(水) 21:43:02.30 ID:ZpZYVfHK]

でもそれでいいと思う

[989 デフォルトの名無しさん 2020/10/14(水) 21:59:47.76 ID:TpXuOYEl]

結局のところそれ。
「UTF-8にBOMは必要ない」と言っている奴の本音は「UTF-8以外絶滅しろ」

[990 デフォルトの名無しさん 2020/10/15(木) 07:49:23.20 ID:abofXkXG]

CaboChaで構文解析やってみたら面白かった
CaboChaってもう古いの？なんかドキュメントとか整備されてないけど
今どきの構文解析ライブラリって新しいのある？

[991 デフォルトの名無しさん 2020/10/15(木) 07:52:22.38 ID:BcS4gpcS]

knp？

[992 デフォルトの名無しさん 2020/10/15(木) 09:38:54.15 ID:cNnx9G5T]

構文解析はいまだにうまくいかないので専門家筋で有名
否定的なことはあまり学会とかで発表されない
そもそも何に使うのかという議論もあるし

[993 デフォルトの名無しさん 2020/10/15(木) 12:15:47.96 ID:BcS4gpcS]

ニューラルを使おうが最大エントロピー法を使おうが拠り所にしているのが文法規則という人の作ったルールなので
ある程度の精度に達したらそれ以上は解決できないんじゃなかろうか

[994 デフォルトの名無しさん 2020/10/15(木) 12:28:38.51 ID:3Edtkzo/]

>>989
バラ色の未来ですね

>>988
++

[995 デフォルトの名無しさん 2020/10/16(金) 13:04:10.61 ID:2AN05mB9]

283 この名無しがすごい！ sage 2020/10/16(金) 12:57:04.52 ID:D5ZEXGfD
「胸がドキドキする」と同様に
「チンポがギンギンになる」はアリだが
単独ではシコシコできないから
「チンポがシコシコする」はナイ

ハイ論破

284 この名無しがすごい！ sage 2020/10/16(金) 12:59:19.37 ID:D5ZEXGfD
「チンポがシコる」はアリだが
「シコシコする」は動作の反復を意味するから
チンポ単体ではムリだ

ハイ論破

[996 デフォルトの名無しさん 2020/10/16(金) 19:15:57.43 ID:fHG3O9Wk]

> UTF-8にBOMを付けたら過去の資産が有効に使えた話

[997 デフォルトの名無しさん 2020/10/17(土) 10:29:57.76 ID:0qFIP5N2]

次スレよろ

[998 デフォルトの名無しさん 2020/10/17(土) 16:30:17.66 ID:vimxgZ9f]

頼んだぞ↓

[999 デフォルトの名無しさん 2020/10/17(土) 21:42:44.98 ID:r7/EbG9L]

うるせえ↑

[1000 デフォルトの名無しさん 2020/10/17(土) 21:45:52.58 ID:k9/x6Epu]

　　　　＿w　　　　　　　　　　　、...　　　ｮ　　┌┐　　　　　ｨ　　　　　′　　
　　　￣＋　　　　　ﾍe、　　　j｢.　　.¬气¬''..~''~　　　　,．ﾙw、.ｰu、す　　　　　
　　^^"~~l|~~^'''　　　　　　　ｫ′　　　.,.　l|　┐　　　　　　.√　j|　　_~+,.、.　
　.　　　.,/.　　　　　　ょ＿／　　　　､j｢　｛　　`¬..　　　〃　.、l|　　　　､　　
　..　　~＾.　　　　　　　　　　　　　　　~　　`　　　　　　　　　　~＾　　　　　　
　.　　；.　　　　　　　　　　　　　　　　　ｮ　　　　　　　　　＿_　　　　　　
　.　　j|　　　　　　　~ラ¬¬+　　　　　|.　　　　　　　￣.　　￣..　　　　
　.　　ｵ　　　　　　　　　　　　　　　　　｜..　　　ｫ　　　　　　　　,､　　
　　　　k、　,j〃.　　　Ｌ＿.　　_ｪ　　　　~'――'~.　　　^^^^^^￣´　　　　
　　　　　￣′　　　　　　￣￣