自然言語処理スレッド　その４

**デフォルトの名無しさん** · 2014/06/03(火) 05:40:00.54

前前スレ　自然言語処理スレッド　その２
http://mimizun.com/log/2ch/tech/1173105287/
前スレ　自然言語処理スレッド　その３
http://mimizun.com/log/2ch/tech/1235129481/

このスレッドでは、日本語の構文解析、談話理解、情報検索、
文章生成などの技術に関する理論と(おもに)実装を扱います。
あくまでアプリケーションプログラミングの技術的な面に重点をおきたいので、
学術的な話はアリですが、いわゆる人工無能や哲学的AI話、
言語学の話題などは他のスレッドでお願いします。

**デフォルトの名無しさん** · 2014/06/23(月) 17:07:41.81

完全に形態素解析したいんだけどできない。
小野名詞,固有名詞,人名,姓,*,*,小野,オノ,オノ
妹名詞,一般,*,*,*,*,妹,イモウト,イモート
子名詞,接尾,助数詞,*,*,*,子,シ,シ
は助詞,係助詞,*,*,*,*,は,ハ,ワ
遣動詞,自立,*,*,五段・ラ行,体言接続特殊２,遣る,ヤ,ヤ
隋名詞,一般,*,*,*,*,隋,ズイ,ズイ
使名詞,接尾,一般,*,*,*,使,シ,シ
です助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
EOS
になる。mecabで辞書パラメータ最小値にしたんだけど。
どうすればいいのだろうか

**デフォルトの名無しさん** · 2014/06/23(月) 18:01:02.28

小野妹子、
妹子、
遣隋使
の３語を登録する

**デフォルトの名無しさん** · 2014/06/24(火) 00:30:04.82

できない

**デフォルトの名無しさん** · 2014/06/24(火) 00:45:44.58

どうしても辞書登録が認識してくれない。徳川家康はできれば徳川＋家康でなく徳川家康と認識
してほしいのだが確実にできる手だてはないのだろうか？

**デフォルトの名無しさん** · 2014/06/24(火) 01:30:56.05

最長一致法

**デフォルトの名無しさん** · 2014/06/24(火) 01:36:52.54

mecabでどうするのかを知りたい。

**デフォルトの名無しさん** · 2014/06/24(火) 08:21:43.05

mecabが優秀じゃなくて、助詞をもつなどの日本語文法が機械的な解析に向いていただけだ。

**デフォルトの名無しさん** · 2014/06/24(火) 11:28:06.49

向いてない向いてない。
わかち書きのような特殊な書き方をしてない限り、単語の区切りが不明瞭とか。

**デフォルトの名無しさん** · 2014/06/24(火) 17:41:46.27

逐一辞書登録するのは限界があるよね。
Google検索やWikipediaのデータを引っ張ってきて用語を補整するなんてことも必要になりそう。

**デフォルトの名無しさん** · 2014/06/24(火) 18:02:41.00

音声認識に適した形態素解析って無いだろうか？

**デフォルトの名無しさん** · 2014/06/25(水) 01:28:47.07

>>Google検索やWikipediaのデータを引っ張ってきて用語を補整するなんてことも必要になりそう。
それができない。WikiPediaをDLしてアンカー抜き出して用語集作っても
コストの値を調節しないと正しくできない.
mecabは速いだけか？

**デフォルトの名無しさん** · 2014/06/25(水) 01:32:05.16

Jumanかkyteaがいいのか？
mecabは微妙に形態素がへん。Weｂの記事ならとても99%も正解があるとは思えない
新聞記事でもあやしい

**デフォルトの名無しさん** · 2014/06/25(水) 07:47:26.06

99%正解があったら他には何もいらないというレベルの精度じゃね

**デフォルトの名無しさん** · 2014/06/26(木) 09:41:16.59

述部の言語構造分析をもとに，「辞書定義文」，「用語属性」，「分布類似度」，「機能表現」という複数の言語知識を用い，
それらを素性とした識別学習で同義判定を行う．
https://www.jstage.jst.go.jp/article/jnlp/20/4/20_539/_pdf

　つまり、「台所」という表現が料理という場面＝料理フレームを喚起するトリガーとして働き、その
ようなフレームのなかで、料理人や調理作業、調理道具、さらに料理にかかる費用等、料理に関わる
多様な要素が指示されるわけである。国広は、このような言語現象を多面的多義と呼び、その他にも
「学校」「病院」「銀行」といった概念が、建物や組織、そこで営まれる活動等、多様な現象の集合とし
て分析されると指摘している。
http://opac.lib.yamanashi.ac.jp/metadb/up/honkan/13_302-320.pdf

（１）同義語：同じ意味を持つ単語であり、テキスト中での置き換えが可能である単語のペア。「コンピュータ」と「電子計算機」など。
（２）上位／下位語：一方が他方の上位概念であるような単語ペア。「コンピュータ」と「サーバ」など。
（３）部分／全体語：一方が他方の一部であるような単語ペア。「帽子」と「つば」など。
（４）対義語：対となる概念を示す単語ペア。「男」と「女」など。
（５）兄弟語：同義ではないが、共通の上位概念を持つ単語ペア。「ルータ」と「サーバ」など。
（６）関連語：類似しておらず、階層的でもないが、概念的に連想される単語ペア。「細胞」と「細胞学」など。
http://www.google.com/patents/WO2014033799A1?cl=ja

例(2)の動詞「教える」は、以下のような意味を持っていることから、動詞自体が方向性を持っていることが伺える。
・行動や身を処し方などについて注意を与えて導く。いましめる。さとす。
・知っている事や自分の気持、要求などを他の人に告げ知らせる。
・知識、技芸などを身につけるようにさせる。教授する。
・おだてたりして、悪い事をするようにしむける。

http://www.ninjal.ac.jp/event/specialists/project-meeting/files/JCLWorkshop_no5_papers/JCLWorkshop_No5_04.pdf

**デフォルトの名無しさん** · 2014/06/27(金) 04:03:33.62

新聞とかのデータからから「名詞+助詞+動詞」の組み合わせをひろってきたいんだけど、構文解析する必要ありますか？場違いだったらすみません

**デフォルトの名無しさん** · 2014/06/28(土) 06:42:58.08

◎2chスレッド勢いランキングサイトリスト◎

★+ニュース板
・ 2NN (推奨サイト)
・ 2chTimes
★+ニュース板新着
・ 2NN新着
・ Headline BBY
・ unker Headline
★+ニュース板その他
・ Desktop2ch
・記者別一覧
★全板
・全板縦断勢いランキング (推奨サイト)
・スレッドランキング総合ランキング
・ログ速
★全板実況込み
・ 2勢 (推奨サイト)
・ READ2CH
・ i-ikioi

※ 要タイトル検索
※ 2chブラウザ併用推奨

**デフォルトの名無しさん** · 2014/06/28(土) 13:20:04.17

例えば、「空港へのアクセスを調べる」という入力文に対して、「アクセス」を換言したい場合、
「空港への◯◯」という前文脈と「◯◯を調べる」という後文脈に分けてコーパスを探索し、
◯◯に該当する名詞のうち共通する名詞を抽出する。図 1 の例では、前文脈と後文脈で共通して
用いられる「乗り換え」「料金」「行き方」の 3 単語が抽出される。
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/D5-1.pdf

意味空間は１次元ではなく多次元である. どの属性に注目して（観点で）分類するかによって、いろいろな分類の仕方が考えられる.
身近な例で「料理」について考えてみる．古今東西の料理の種類は相当な数になり、分類の仕方も人によって異なる．
ここで調理法、材料、地域の3 つの観点で分類するとつぎのようになる．
調理法の観点で分類すると　生もの、煮物、焼き物
材料の観点で分類すると　　魚料理、肉料理、野菜料理
地域の観点で分類すると　　和食、中華、洋食
例えば「刺し身」は、料理を３つの観点によって分類した結果、連想された用語「魚料理」「生もの」「和食」の狭義語である.
逆に「刺し身」の広義語が「生もの」「魚料理」「和食」の３つあることになる．その結果、網構造になる。これを図にすると、図１のようになる.
http://www.asahi-net.or.jp/~wd2y-kkb/t.pdf

**デフォルトの名無しさん** · 2014/06/28(土) 13:47:07.22

>>47
構文解析は必要ないが形態素解析はいる

**デフォルトの名無しさん** · 2014/06/28(土) 13:54:17.48

同時に何人も愛せて
何人とでもＳＥＸする塩村議員動画
http://www.youtube.com/watch?v=O1U1ulLinPw

**デフォルトの名無しさん** · 2014/06/28(土) 14:49:34.97

構文解析まで含めるなら
もの凄く精度の高い解析が必要になる話ではないか

**デフォルトの名無しさん** · 2014/06/28(土) 18:38:56.18

>>51 死ねカス。氏ねじゃなくて死ね。

**デフォルトの名無しさん** · 2014/06/29(日) 19:17:16.27

図やイラストの理解
センター試験の英語の問題では、図やイラストが多用されます。人間であればだれでも理解できるような簡単な図ですが、
これを理解することはコンピュータにとっては至難の業です。画像認識の研究はさかんに行われていますが、ほとんどの
研究は写真を対象としており、図やイラストを理解する研究はほとんど行われていません。これは、デフォルメされたイメージ
を理解するためにはさまざまな常識が必要であり、今のところ有効なアプローチが全く見当たらないためと考えられます。
人間にとっては図やイラストの理解は試験問題を解く上で重要なポイントではないですが、人間にとって当たり前すぎるからこそ、
逆にコンピュータにとっては非常に難しいと言えます。
http://21robot.org/research_activities/english/

　物理シミュレータを使うことの将来性について、横野氏は、「例えば、テーブルの上を転がるものを見たとき、
人はとっさに手を出してテーブルから落ちないようにします。ところが、今のロボットは、転がっているものを認識できても、
物理の法則に従ってそれがテーブルから落ちることまでは予測できません。人工頭脳が進展すれば、実世界の状況を理解し、
物理法則に従って変化する事象を物理シミュレーションによってモデル化し、将来を予測することもできるでしょう」と語る。
http://21robot.org/%E3%83%9B%E3%83%BC%E3%83%A0/introduce/NII-Special-2/

**デフォルトの名無しさん** · 2014/06/30(月) 11:11:53.76

一次視覚野はほぼ解明されてる
写真とイラストはもう区別しない

**デフォルトの名無しさん** · 2014/06/30(月) 11:48:04.73

モジュール理論とか、何十年の間にだいぶ進んだよな

**デフォルトの名無しさん** · 2014/06/30(月) 13:42:52.23

>>55
＞一次視覚野はほぼ解明されてる
＞写真とイラストはもう区別しない

　おそらく最初とは異なる判断になったのではないでしょうか。このように、私たちは経験やこれまでの条件づけによって、
無意識のうちに「決めつけ」を行いがちです。この絵のように、わずか数秒見ただけでも大きな結論の違いを生むことが
あるわけですから、これまで長い人生の中で培ってきた「決めつけ」は、あなたのさまざまな判断に大きな影響を及ぼします。
そして、誤った先入観や印象による決めつけは非常に危険なものといわざるを得ません。

この絵、何に見えますか？――あなたの“思い込み”をテストする
http://bizmakoto.jp/bizid/articles/0905/29/news009.html

**デフォルトの名無しさん** · 2014/06/30(月) 16:33:45.79

>>57
それは二次視覚野以上の話だ

**デフォルトの名無しさん** · 2014/06/30(月) 17:46:07.82

>>57
鼠に見えたりオッサンに見えたり・・・人間がイラストを解読するメカニズムはよくわからない。

**デフォルトの名無しさん** · 2014/06/30(月) 18:56:54.14

３つは違う絵だから、ネズミに見えるのもおっさんに見えるのも
その中間に見えるのも意図通りとしか感じない

**デフォルトの名無しさん** · 2014/06/30(月) 20:02:41.31

今一番画像処理で進んでるのはコンボリューションニューラルネット
畳み込みをしてて、二次視覚野に近いとは言われてる

**デフォルトの名無しさん** · 2014/06/30(月) 20:49:30.42

IBMのワトソン君は何の役に立ってるの？

**デフォルトの名無しさん** · 2014/06/30(月) 21:02:54.51

一家に１台ワトソン君

**デフォルトの名無しさん** · 2014/06/30(月) 21:03:06.40

技術は、大量のテキストにタグを付けてコーパス化したりとか、そういう方向に応用されてる
だろうと思うけど。

**デフォルトの名無しさん** · 2014/06/30(月) 21:07:00.10

みんなでワトソン君をどうやって活用するか考えよう!!

**デフォルトの名無しさん** · 2014/06/30(月) 21:14:43.35

いいアイデアを思い付いた!!

ワトソンをWebに公開し、何回か質問できる権利を販売すればIBMがぼろ儲けできるぞい！

**デフォルトの名無しさん** · 2014/06/30(月) 21:46:33.42

>>62
とりあえずは医療診断に使おうとしている。
画像診断や画像認識、音声認識技術と組み合わせれば、診断分野に人間が
出る幕はなくなるんじゃないか

**デフォルトの名無しさん** · 2014/06/30(月) 21:49:01.19

>>65
役場の窓口にワトソン君を置いて、公務員の人件費削減

**デフォルトの名無しさん** · 2014/07/01(火) 04:28:13.07

それなんてエキスパートシス･･･いや、いい、忘れてくれ

**デフォルトの名無しさん** · 2014/07/01(火) 08:59:30.77

電話サポートなら出来そうだね。休日や時間外用にでも

**デフォルトの名無しさん** · 2014/07/01(火) 17:42:24.79

自動改題システムがあったらこうやる。本問は、正三角形ではなく直角二等辺三角形だったら、また放物線ではなく楕円だったら、
問題とその解法はどう変わるか。あるいは設定が変え方によっては、高校数学では解答できなくなるのか。　

＞東大理系数学2004年第1問

**デフォルトの名無しさん** · 2014/07/01(火) 17:48:46.07

>>24
長文を短文の箇条書きに書き換えるアルゴリズム、短文の箇条書きを長文にまとめるアルゴリズムを考えてみる。
やり方は人海戦術で多くの長文を、短文の箇条書きに書き換え、意味内容について詳細にタグ付けして、インプットする。
類似の文章に遭遇したら、選択検出できるようにする。

**デフォルトの名無しさん** · 2014/07/01(火) 20:10:32.48

>>67
「マギはどう言っている？」
「２対１でガンだと回答しています」

**デフォルトの名無しさん** · 2014/07/05(土) 11:17:57.64

　SWでは図12のような手の形，動き，顔・頭，身体の部分などを表す図像的な記号を二次元的に配置して，
人間にとって分かりやすく手話を記述する．図13にSWによる日本手話の記述例を示す．これらの記号の集合
はISWA(International Sign Writing Alphabet)と呼ばれており，ISWA2008には639種類の基本記号が含まれる．
向きの違いなどを考慮するとその数は約35,000種類に上る．
https://www.jstage.jst.go.jp/article/essfr/4/4/4_4_282/_pdf

本研究の最終的な目標は, CL を組み込んだ手形変化と, CL を用いた図像的な手の動きが組み合わさった
手話表現 CL 述語 (CL 構文, Classi?er Predicate)[3]の生成を機械翻訳上で行うことにある.
CL 述語は, 現実世界での場所・形状・動き (動きの軌跡) 等が手話表現空間上でもリンクするように CL 手形
を用いて表現するもので, 手話の意思伝達において非常に重要な役割を担っている.
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/P7-12.pdf

**デフォルトの名無しさん** · 2014/07/05(土) 15:51:46.96

word2vecとdeep learningって別に関係無いよね？
word2vecの前身にrecurrent neural networkが使われてたってだけで
現在のword2vecの実装はロジスティック回帰ベースのものになってるし

**デフォルトの名無しさん** · 2014/07/05(土) 21:00:44.58

(5-4) この野菜は害虫に強い.(植物の野菜)
(5-4) 太郎は野菜をたくさん食べる.(食物の野菜)
http://tdl.libra.titech.ac.jp/hkshi/xc/contents/pdf/116061503/6

赤い三角，青い丸などの図形を見せられ，それについての質問「何色ですか」
「何という形ですか」に対して「赤」や「丸」などと試行錯誤的に答え，
その答えに対する評価を利用して正しく答えられるように学習するシステムを構築する．
https://kaigi.org/jsai/webprogram/2014/pdf/474.pdf

手順（6）では，既存オントロジーに対し，概念追加処理を行う．既存オントロジーにおいて，
対象領域の中でも最上位に位置すると考えられる概念をルート概念として設定する．
Protégé を使用して既存オントロジーの可視化を行った例を図 5 に示す．図 5の可視化範囲においては，
紫の楕円で囲んである概念をルート概念としている．なぜならこれらの概念が理科に関連する
概念の最上位概念として適当であると推測できるからである．このようにして手動で設定した
ルート概念は“時”，“動物”，“事象”，“位置”，“三日月形のもの”，“別のもの”，
“生物”，“動物”，“植物”，“生物”，“自然現象によって出来るもの”，“具体的あるいは
抽象的存在物”，“抽象物”の計 13 概念である．
http://sigswo.org/papers/SIG-SWO-A1303/SIG-SWO-A1303-05.pdf

**デフォルトの名無しさん** · 2014/07/06(日) 13:17:55.07

□（日常的）状況理解と（代数スキーマ）問題構造理解
• 支援が必要なのは問題モデル表現，日常的な状況はよく知っている
• 状況に基づく理解には問題文からの暗黙的な特徴抽出が必要
- 最初に「形式主義」が役に立つ理由 [Nathan 1988]
• 相互に支援「状況が問題モデルの意味付けに」「問題スキーマが状況モデル作成に」
「予測2」
与えられたカバーストーリにおけるキャラクタ・イベント・関係を量的な解法に必要な形式的な記号と
表現の知識と関係づけることにより数学的にストーリ状況を解釈するよう励まされた生徒は，
文章題の解を導き出せる方程式の生成において，ストーリのフレーズと方程式のマッピングを行う
直接的な変換に基づくアプローチを使う対照者より有意になるであろう．
「予測3」
与えられたカバーストーリにおけるキャラクタ・イベント・関係の知識に形式的な記号と表現を関係づけ
ることにより代数式を状況的に解釈するよう励まされた生徒は，代数式の状況的な記述の生成において，
ストーリのフレーズと方程式のマッピングを行う直接的な変換に基づくアプローチを使う対照者より有意になるであろう．
「予測4」
状況的に推論を行う問題解決者は，フレーズ志向の対照者より，カバーストーリを伴うかもしれない状況的
な方程式の組の適切さ，あるいは不適切さを認識する能力をつけるだろ
http://miwalab.cog.human.nagoya-u.ac.jp/database/resume/2003-02-04.pdf

**デフォルトの名無しさん** · 2014/07/06(日) 15:17:27.05

句構造とそれに対応付けられた述語項構造情報を持つ，統語情報と意味情報を統合した日本語ツリーバンク
について述べた．構築した 20,000 文を既存の構文解析器に適用することにより，文節係り受け解析と同程度
の解析精度を持ちつつ，詳細な統語情報を出力できることを確かめた．
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/B5-3.pdf

UML では，オブジェクトを状態機械と考え，その振舞いを状態遷移図で表す．記法としては，基本的に Harelの
Statechart を採用している．たとえば，図 5 は Fowler の本 [2] からとった．図の「動作中」と名前を付けているの
が親状態 (superstate) である．その中に 3 つの子状態があるが，それを隠して 1 つの状態と見なしたものが「動作中」である．
http://tamai-lab.ws.hosei.ac.jp/pub/ss01paper.pdf

つまり、図的メディアは表現している情報の内容概略をまず直観的に把握することができ、その点において文書メディア
と大きく異なる。例えば、多くの図形要素がある方向に整列していれば、順序もしくは流れの意味が瞬時に感じられるが、
同じ意味を表現した文書は通読しなければわからない（図 2.1）。
http://www.image.esys.tsukuba.ac.jp/~murayama/work/ms_thesis.pdf

**デフォルトの名無しさん** · 2014/07/07(月) 12:36:07.24

2.2 語彙・構文的言い換え
語彙・構文的言い換えに限っても，純粋に統語論で扱えそうな言い換えか
ら語の詳細な意味に立ち入る必要のある言い換えまで多岐にわたる。こうし
た言い換えは，実現に必要な知識の種類の観点から便宜的に次の4種類に分けられる。
統語的言い換え個別の語の意味に立ち入らなくても統語論の記述レベルで概ね説明できる言い換え
(3) 最初に合格したのは高橋さんだ ⇔ 高橋さんが最初に合格した
語彙的言い換え語の同義性だけで概ね説明できる，統語操作を伴わない局所的言い換え
(4) 一層の苦境に陥る恐れがある ⇔ 一層の窮地に陥る可能性がある
語彙構成的言い換え語の統語的特性と意味的特性に基づいて構成的に説明できると考えられる規則性の高い言い換え
(5) 2 位が先頭との距離を縮めた ⇔ 2位と先頭の距離が縮まった
推論的言い換え内包的意味が近似的に等価な言い換えのうち，上のどの種類にも当てはまらないもの
(6) 財政再建が急務の課題だ ⇔緊急に財政再建する必要がある
http://paraphrasing.org/~fujita/publications/coauthor/inui-LF-2.pdf

**デフォルトの名無しさん** · 2014/07/09(水) 09:13:08.64

イヌ語、イルカ語、サル語を解析するアルゴリズムありますか？

**デフォルトの名無しさん** · 2014/07/09(水) 19:42:55.77

>>80
バウリンガルと同じアプローチで可能

**デフォルトの名無しさん** · 2014/07/09(水) 20:08:34.07

たとえばどのようにしたら？

**デフォルトの名無しさん** · 2014/07/10(木) 11:50:45.70

10^5単語
10^3個の単語からなる文章

(10^5)^(10^3)の組み合わせ（テンソル）

全ての組み合わせを予め計算するのは不可能だ
構文が似ている単語は同じ構文を持つと仮定し、確率的に構文解析すればいいのか？

**デフォルトの名無しさん** · 2014/07/10(木) 14:23:18.66

>>83
＞10^5単語

固有名詞（住所・氏名など）を一般化し、さらに頻出単語のみに絞る。

**デフォルトの名無しさん** · 2014/07/10(木) 14:39:03.10

>>84
オートマトンでやるからテンソル演算にはならないが、それにしても桁違いだから絞ってどうなる量じゃない。
未知の単語が来た時対応できないし、自分で入力されたことのない文章を構文的に正しいものを推定して組み立てないといけない。

**片山博文MZ悪魔崇拝** ◆T6xkBnTXz7B0 · 2014/07/18(金) 14:38:59.47

自然言語相手にすべてのケースのテストデータを作成しようとしたら、800MB超えてしまった。。。
愚かだな。

**デフォルトの名無しさん** · 2014/07/18(金) 15:09:02.82

800MBならまだましでは？

**片山博文MZ悪魔崇拝** ◆T6xkBnTXz7B0 · 2014/07/19(土) 21:02:40.01

まずは、この無限大に近い組み合わせと戦わないといけないのか。
ランダム抽出か、代表値でやってみるか。

**デフォルトの名無しさん** · 2014/07/22(火) 12:13:33.59

チンパンジー語解読される
http://wired.jp/2014/07/22/dictionary-of-chimpanzee/

**デフォルトの名無しさん** · 2014/07/23(水) 06:05:31.34

日本語のmecab cabochaと同じことを英語でする場合には
どのソフトを使えばいいのでしょうか？

**デフォルトの名無しさん** · 2014/07/26(土) 22:52:13.10

Stanford CoreNLPでぐぐってみ

**デフォルトの名無しさん** · 2014/07/27(日) 08:37:51.99

>>89
言語構造を見つけたらまた来てくれ

**デフォルトの名無しさん** · 2014/07/29(火) 05:02:08.10

>>91
nltk
よりそっちの方がお勧めなんです？

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/07/30(水) 00:17:55.16

動詞活用と動的パーサーを頑張ってやるぞー！

エイエイオー！

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/07/30(水) 01:03:45.57

違う違う。そんな文字コードが固定された融通の利かないありきたりの形態素解析ツールの
１ユーザーにとどまるのはイヤだ。もっとオープンでダイナミックに組織化されるシステムでなきゃ。
えっ、大規模機械学習や統計学を否定するの？ひょっとして馬鹿？

**デフォルトの名無しさん** · 2014/07/30(水) 01:06:51.20

あげ

**デフォルトの名無しさん** · 2014/07/30(水) 14:46:58.32

moses-supportやparser-supportでアホな質問ばかりする中国人やアラビア人にも真摯に対応する姿に感心する

**デフォルトの名無しさん** · 2014/07/30(水) 22:44:45.78

http://anond.hatelabo.jp/20090330065954
JavaのStanford CoreNLP
より　
pythonのnltk
の方が良いみたいですね

**デフォルトの名無しさん** · 2014/08/06(水) 18:09:18.10

ところでだ。「チンボがシコシコする」という日本語表現は、文法的に正しいのか？

チンボ「を」シコシコするのではなくて、チンボ「が」シコシコする。この場合、「チンボ」は主語となる。

オブジェクト指向で言う「集約」は２種類あって、全体（俺）と部分（チンボ）が繋がっている場合と、
全体（俺）と部分（チンボ）が別々になっている場合とが考えられる。けれども「チンボ」はそれ自体
が独立した生き物であり、所有者の意思とは無関係に、勃起して「シコシコする」。
例えば寝てる時にエロい夢みて朝起きてみたらチンコが勃起して射精してたとか。

違うか？

「頭がズキズキする」は良いが、「チンボがシコシコする」はダメな理由を、５０字以内で述べろ！>>98

**デフォルトの名無しさん** · 2014/08/29(金) 20:13:29.62

1. 辞書の違いによる形態素単位の分割
2. 機能語，複合語などによる文節分割
3. 鍵括弧内の読点による文の分割
4. 鍵括弧による文節分割
5. 機能文節などの特殊な文節による分割
6. 係り先の文節を複数持つか

http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/P3-15.pdf

(1)二格深層格の出現比率はコーパスによって有意な差がある．特に「場所」，「複合辞」，「目的」
における差が顕著である．
(2)定性的に分類された深層格を定量的に見ると頻度において差が顕著であった．特に「対象」（間
接目的語）の頻度が高い．一方，「場所」や「時間」の頻度は全体の割合から見るとさほど高くない．
(3)二格と共起する名詞と動詞と深層格との関係について主成分分析を行った結果，「結果」「複合
辞」「その他」＞「副詞」「目的」＞「時間」「場所」の順に他の深層格との隔たりが確認された．これに対して，
「対象」「役割」「動作主」「頻度」は共起語においては特性が薄いため，深層格推定にも困難が予想される．
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/P5-3.pdf

今後は、平成 28 年度末を目標として、日本語の書き言葉の文 4 万文に統辞・意味解析情報をタグ付けし
た欅ツリーバンクを完成させる予定である。また、これとは別に、対話データのタグ付けも計画している。
開発したツリーバンクのうち公開可能なものは全て以下のサイトで配布する予定である。

http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/P8-8.pdf

**デフォルトの名無しさん** · 2014/08/29(金) 21:20:47.93

構文解析って文法的に正しいかどうかしか判断できないんじゃないの？

**デフォルトの名無しさん** · 2014/08/29(金) 23:25:55.15

>>101
>構文解析って文法的に正しいかどうかしか判断できないんじゃないの？

なら、「チンボがシコシコする」という日本語表現は、文法的に正しいのか？

**デフォルトの名無しさん** · 2014/08/30(土) 02:26:42.95

単語と動詞という分類で言えば正しいが、単語としては確率低い組み合わせだろうなぁ

**デフォルトの名無しさん** · 2014/08/30(土) 09:34:03.26

指示表現と文体―「この」のジャンル別コーパス分析を中心に
https://www1.doshisha.ac.jp/~cjtl210/data1/22_ryuuhyoo.pdf
日本語機能表現の自動検出と統計的係り受け解析への応用
https://www.jstage.jst.go.jp/article/jnlp1994/14/5/14_5_167/_pdf
文脈の多様性に基づく名詞換言の提案
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/D5-1.pdf
構文構造の処理技術 - 芝浦工業大学
http://www.sic.shibaura-it.ac.jp/~sugimoto/nlps/nlps14-3.pdf
文体から見た『今昔物語集』の語彙 ―『日本語歴史コーパス平安時代編』と比較して
http://www.ninjal.ac.jp/event/specialists/project-meeting/files/JCLWorkshop_no4_papers/JCLWorkshop_No4_15.pdf
NTCIR MedNLP: 本邦初の医療分野の言語処理コンテスト
http://mednlp.jp/PAPER/2013-jcmi-ntcir.pdf
単語間結合度に基づく複単語表現のアライメントの改善
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/A2-4.pdf
NTCIR MedNLP-2: 医療分野の言語処理
http://must.c.u-tokyo.ac.jp/sigam/sigam05/sigam0512.pdf
述語と項の位置関係ごとの候補比較による日本語述語項構造解析
http://hayashibe.jp/publications/JNLP2014.pdf
「述語構造の意味範疇の普遍性と多様性―理論的および応用的な成果―」
http://www.ninjal.ac.jp/event/specialists/project-meeting/m-2013/20140202-ninjal2014/pdf/008.pdf
検索・分析のための手順文章からの意味構造抽出
http://db-event.jpn.org/deim2014/final/proceedings/C3-2.pdf
コーパスに基づく日本語の文法形式の使用傾向の記述 ―「大きい・な」「小さい・な」の使い分けについて―
http://ir.nul.nagoya-u.ac.jp/jspui/bitstream/2237/19119/1/1306.pdf
大域的な統語情報を用いた単語アラインメントの改善
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/A3-2.pdf
対訳抽出におけるハブの影響
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/B2-2.pdf

**デフォルトの名無しさん** · 2014/08/30(土) 09:35:42.15

述部意味関係コーパスの構築
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/C4-4.pdf
日本語文章に対する述語項構造アノテーション仕様の考察
https://www.jstage.jst.go.jp/article/jnlp/21/2/21_333/_pdf
機械学習を用いたニ格深層格の自動付与の検討
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/D6-2.pdf
統辞・意味情報を付加した日本語コーパスの構築欅ツリーバンクプロトタイプについて
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/P8-8.pdf
記号化による数学文の理解—線形代数における数学文を中心として—
http://www.seto.nanzan-u.ac.jp/msie/gr-thesis/2013/10se201.pdf
文の意味構成に伴う高次元空間の最適化と単語表現学習
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/D6-3.pdf
用語の属性を考慮した上位，下位概念辞書の構築
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/B6-1.pdf
学校数学における確率を捉える枠組みの一提案
―数学的モデルとしての確率という視点から―
http://www.juen.ac.jp/math/miyakawa/article/2013-ronhatu-ikarashi.pdf
『現代日本語書き言葉均衡コーパス』形態論情報アノテーション支援システムの設計・実装・運用
https://www.jstage.jst.go.jp/article/jnlp/21/2/21_301/_pdf
統語情報と意味情報を統合した日本語句構造ツリーバンクの構築
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/B5-3.pdf
統計的日本語述語項構造解析のための素性設計再考
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/D1-5.pdf
教師あり機械学習による助詞「も」の分析
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/P8-11.pdf
単語出現頻度を考慮した事後確率制約による単語アライメント
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/A3-4.pdf
日本語カルテをアノテートする
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/P5-2.pdf
比喩表現コーパスの構築と問題点-言語学の立場から-
http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/P3-2.pdf

**デフォルトの名無しさん** · 2014/09/08(月) 02:15:18.02

東大のプロジェクトどうなったのw
もう挫折ですか

**デフォルトの名無しさん** · 2014/09/08(月) 09:27:57.13

>>101
機械的な構文解析のこと？
正しいかどうかじゃなくて、正しいと仮定して解釈することじゃないのかな
意味ある形で分かれてるかどうかは、人が解釈するしかないような気がするけど。

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/09/08(月) 11:11:27.22

ひらがな電卓Calc-H ver.0.8.0
http://katahiromz.web.fc2.com/calc-h/

まだまだ頑張るぞ！！！

**デフォルトの名無しさん** · 2014/09/08(月) 21:00:23.20

>>107
いや、コンパイラの構文解析って正しいか間違ってるかしか出力しないじゃん

**デフォルトの名無しさん** · 2014/09/09(火) 01:59:16.85

なんでやねん
最低でもツリー構造くらい取るわ

**デフォルトの名無しさん** · 2014/09/09(火) 08:12:04.96

「問題文を読んで題意が理解できない」ってのは、去年の東ﾛﾎﾞと共通する点に思える。

教えているうちに気づいたことがあります。それは、数学の問題文を読んでその題意が理解できない子どもが目立って増えた、
ということです。「問題文を読んで題意が理解できない」といっても、いろいろなタイプがあります。
1.?語彙力が不足していて文節と文節のつながりがわからない。
2.?数学特有の言葉、つまり記号や用語の定義が理解できていない。
3.?文章と文章のつながりがわからず、条件がつかめない（演繹的な推論による文法の知識がない）。
4.?文章が長くなると全体像がつかめなくなり、題意の目標が捉えられない（論理的な読解力の不足）。

『読解力を強くする算数練習帳』著：佐藤恒雄
「数学とは、何のために勉強するんだ」と悩んでいる人へ
http://gendai.ismedia.jp/articles/-/37357

**デフォルトの名無しさん** · 2014/09/11(木) 17:25:16.70

自然言語は社会性を表現できないとダメだろう

オートマトンの集団がいて
それぞれが他のオートマトンと自然言語でのみ通信できる
任意のオートマトンは、自分以外のオートマトンの社会的な状態を知っているか推測できる

**デフォルトの名無しさん** · 2014/09/12(金) 11:01:38.13

子供は指差しで覚える
http://development.kt.fc2.com/point.html

**デフォルトの名無しさん** · 2014/09/12(金) 13:53:52.51

http://livedoor.blogimg.jp/dfdgg/imgs/b/a/ba89783c.jpg

http://livedoor.blogimg.jp/dfdgg/imgs/2/5/251eed64.jpg

http://livedoor.blogimg.jp/dfdgg/imgs/1/8/1812a8fa.jpg

http://livedoor.blogimg.jp/dfdgg/imgs/3/0/301bcf4f.jpg

http://livedoor.blogimg.jp/dfdgg/imgs/a/e/ae860fd3.jpg

http://livedoor.blogimg.jp/dfdgg/imgs/d/4/d49c5e51.jpg

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/10/11(土) 00:07:21.76

学習ありの字句解析の上に動的パーサーを乗せれば最強

**デフォルトの名無しさん** · 2014/10/13(月) 21:41:40.39

機械は人間と同じように現実世界を認識したり、また人間と同じように来るべき状況を推論することはできない。
けれども人力で「擬似状況シミュレータ」と「注釈付きコーパス」を充実させれば、試験問題の回答率は向上する。
例えば「マクドナルドのハンバーガーを買う」というフレーム問題は、試験の範囲内ということで人力インプット。
マクドナルドは企業・店屋で、ハンバーガーは商品・食べ物、そして「買う」については、所持金と支払い金額
とお釣りはいくらかという、試験の範囲内だけで連想する。数学や物理に関してはパターンがある程度決まっており、
入試の範囲内にのみ対応させればいい。但し言語解釈が正しくできないと、同じ問題は解けても類似の問題は解けない。
朝三暮四になっていないか、一つの問題を様々な角度から理解させたり、表現や設定を変えて類題を作ってみる。

＞もし台車を動かしても，天井は落ちてこない．
＞もし台車を動かしても，部屋の壁の色はかわらない．
＞もし台車を動かしても，部屋の電気は消えない．
＞もし台車を動かしても，壁に穴があいたりしない．

考えられる全ての可能性を、人力でインプットする。例えば台車を動かしたときに停電が起これば、部屋の電気は消える。

**デフォルトの名無しさん** · 2014/10/15(水) 07:18:38.39

問題に出てきたものだけ考えればいいんじゃないの？
台車が斜面を動く問題で衛星の軌道や壁の色なんてのは考えなくて良い。その上で天井や床は動かないとか、台車が斜面にめり込むことはないとかだけを考えればフレーム問題は抑えられる。

**デフォルトの名無しさん** · 2014/10/15(水) 11:31:02.58

デネットフレーム問題でググれ

**デフォルトの名無しさん** · 2014/10/15(水) 15:22:08.72

10個も同時に物体が出てこないんだし全ての組み合わせを考えても10!で3628800、十分に時間内に解答可能。

**デフォルトの名無しさん** · 2014/10/15(水) 16:35:37.73

トチ狂ってたわ。10!も無い。2^10しか無いから尚更速い。

**デフォルトの名無しさん** · 2014/10/17(金) 16:43:02.23

@noricoco さんの最後のお話はいわゆる東ロボ、東大入試を突破する人工知能プロジェクトについての記念講演だったのだが、
中身は数学基礎論をいかに実世界に接地するのか、という極めて意欲的・現実的なお話であった。論理だけでは解けない問題
を経験的に解く。しかも、それは単なるパターンマッチではなく、コンピュータ将棋の初期の開発で評価関数をヒューリスティック
に設計していたように、入試問題に合わせて作り込む、というものである。かといって80年代に逆戻りする、というわけではなく、
「この問題は数学的にどのクラスの問題（たとえば集合論）なのか」「高校数学の範囲内で解を求めようとすると、どうなるか」
といったようなことを記述するのである。
自分も学部生時代は数学基礎論をかじったことがあり、それこそが哲学ではなく言語学、そして自然言語処理へと専門を変えて
いく理由となったのだが、このようなプログラムがその当時あって、自分が参画できるのであれば、哲学の立場のまま哲学を現実
世界に基礎付ける、という方向に挑戦していたかもしれない。東ロボプロジェクト全体に関しては、あまり重要な問題を解いている
わけではないと半ば距離を置いて見ていたが、少なくとも数学に関しては、とても野心的な試みであり、数学の問題が解けるよう
になるだけでも、このプロジェクトは人類にとって大いに意味のある試みなのではなかろうか。
http://d.hatena.ne.jp/mamoruk/20141004/p1

**デフォルトの名無しさん** · 2014/10/17(金) 21:14:01.02

すっかり聞かなくなったけどとうロボどうなったの

**デフォルトの名無しさん** · 2014/10/17(金) 23:45:31.75

664 ：デフォルトの名無しさん：2009/02/20(金) 20:42:25.00
大辞林
日本語「国語＋百科」大辞典の最高峰、「スーパー大辞林3.0」のoneswing仕様版。
「現代語義優先方式」にもとづく解説で知りたいことがすぐ分かる。　　
実際に使われている意味を懇切丁寧に解説し揺れ動く日本語の現在を映し出す
25万2千語を収録。本製品では、百科的要素として動植物のカラー写真約1,000点
様々なモノクロ線画約2,000点および鳥虫の鳴き声の音声約270点を収録。
日本語のアクセントが表示されているほか、注意が必要な約1,000語には音声を付与しており耳で確認することが可能。
さらに、近代の作品から採録した豊富な用例ほか同音語や類義語の使い分け誤用などの解説も充実。
http://jp.fujitsu.com/group/personal/services/jisho/kaiset95.html

＞25万2千語を収録

ではその25万2千語全ての単語について、百万冊の書籍をスパコン「京」で形態素解析し、
さらにコンピュータの「誤読」と「理解不能表現」を分析抽出し、これらを「人力で修正」し、
「属性フレーム」と「意味ネットワーク」と「RDFトリプル」を作成というわけにはいきませんか。
コンピュータには何が理解できて何が理解できないのかも、ここではっきりさせられませんか。

　そして次に、ワトソンの「誤答」はワトソンが自然言語を理解していないことを示している。アメリカの都市名を
問う質問に対して、カナダの都市名を答えたというのだ。そのときには失笑が起こったという。これは知識の誤り
ではない。問題文の文意自体を理解していないから起こることだ。開発途中では、ファーストレディーの名を問
われているのに大統領の名を答えるといった間違いも起こしているらしい。
http://d.hatena.ne.jp/r-hiragi/20130218/1361158109

あるいは現在の技術では、未だにコンピュータの「誤読」と「理解不能表現」が多すぎて無理なのですか。
けれどもそれなら２チャンネラー百万人を動員して、人力でオントロジー作成という手もあると思われますが。

**デフォルトの名無しさん** · 2014/10/17(金) 23:51:06.28

＞２チャンネラー百万人を動員して、人力でオントロジー作成

一般にコーパスアノテーションは複数の作業者により実施され，異論があるにせよ
アノテーションの一貫性がほぼ唯一の定量的な評価方針となる。このため，
基準の修正はアノテーション従事者全てで共有する必要がある。作業者の多くは
人文系の日雇いもしくは時間単価で働くパート労働者であり，基準の見直しの
たびに動機づけを含めた組織運営が必要になる．
https://www.jstage.jst.go.jp/article/jnlp/21/2/21_95/_pdf

**デフォルトの名無しさん** · 2014/10/23(木) 13:59:17.26

PAS-NNLM のモデルとしての表現力 SVO に関しては, 本実験では PAS-NNLM の学習後のモデルを用
いた ‘PAS-NNLM comp’ により, ‘PAS-NNLM add’よりも高い相関係数 (0.42) を得た. これは Tsubaki
ら [10] の C-NLM による結果 (0.38) を上回るものである. この C-NLM は, 動詞と目的語のペアのみに着目
して NNLM を学習するモデルである. しかし, 同じくTsubaki ら [10] の CoC-NLM による相関係数 (0.47)
には及ばなかった. CoC-NLM の優れている点は, 一種の語義曖昧性解消の手法を, 動詞-目的語の組み合わせ
の意味構成に取り入れたことである. また, Kartsaklisと Sadrzadeh [7] も, 単語からの意味構成の前に語義
曖昧性の解消を行うことの重要性を示している. 本研究の PAS-NNLM では, 品詞の情報は用いているものの,
その他の明示的な語義曖昧性の解消を行っていない. より文脈に依存した語義曖昧性解消の手法を取り
入れることにより, さらなる性能向上が考えられる.
http://www.logos.t.u-tokyo.ac.jp/~hassy/publications/nlp2014/paper.pdf

言語学における語彙意味論の立場からすれば，その名詞の意味構造に記載すべき内容は語を成立させる最低限の要素に
限るというのが基本的な立場であろう．これは本研究の枠組みでいうならば情報抽出システムをソフトウェアと捉えた場合，
システム辞書が持つ基本オブジェクトデータと捉えることが出来る．つまり，評判やその診療所 (インスタンス) に関する人
からみた認識などは，既存のオブジェクトデータに対して動的に加えられた属性項目と考えられる．人の言語表現はまさに発
話者の認識において，抽象的に聞き手と共有するオブジェクトに対して個別の情報を加えることで新たな情報を提供している
と捉えるならば，こうした名詞意味構造の属性の拡張は取り込むべき機能であり，ソフトウェアにおけるオブジェクト指向の
枠組み?6で情報抽出システムを構成していく必要がある．
https://kaigi.org/jsai/webprogram/2014/pdf/679.pdf

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/10/23(木) 20:25:59.88

【技術】ロボットは東京大学の入試に合格できるか？　「東ロボくん」、猛勉強で私大A判定も [10/23]
http://daily.2ch.net/test/read.cgi/newsplus/1414063059/

**デフォルトの名無しさん** · 2014/10/29(水) 15:23:53.31

翻訳って不可逆変換された後のデータから、別の不可逆変換された後のデータにいきなり変換しようとしてるから困難なんだよね。
いわばjpgからjpg2000にraw画像に戻さずに変換しようとしてる

**デフォルトの名無しさん** · 2014/10/29(水) 17:53:35.79

超解像みたいな

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/10/29(水) 19:15:45.42

読み・書き・聞き取りの最強の日本語コーパス「三位一体」
プロジェクトを開始しました。
ご期待下さい。

**デフォルトの名無しさん** · 2014/10/29(水) 23:38:27.55

raw画像に戻すってのは、
中間言語式の翻訳のこと？

**デフォルトの名無しさん** · 2014/10/30(木) 00:55:36.93

1pixごとの完全に元のデータ

自然言語の場合で言うなら、必ずしも言語である必要もないと思う

**デフォルトの名無しさん** · 2014/10/30(木) 01:56:04.20

鏡に映るものを計る、それがMZの目標である。

自然言語処理スレッド その４

自然言語処理スレッド　その４