【統計分析】機械学習・データマイニング30

[1 デフォルトの名無しさん (ﾜｯﾁｮｲ db01-G7ci) 2021/01/01(金) 09:10:55.46 ID:a+OQlEaa0]

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

---

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

[952 デフォルトの名無しさん (ﾜｯﾁｮｲ 6b10-VSBu) 2021/08/30(月) 11:41:39.31 ID:D5v3tNv00]

sudachi

[953 デフォルトの名無しさん (ﾜｯﾁｮｲ 7b89-U7Lh) 2021/08/30(月) 13:28:14.44 ID:HWYFF8sx0]

メカブは体にいい

[954 デフォルトの名無しさん (ﾜｯﾁｮｲ 856e-bRri) 2021/08/30(月) 19:26:51.33 ID:t9q3RQuP0]

>>951
使っている手法がcrfベースと古いから

[955 デフォルトの名無しさん (ﾜｯﾁｮｲ 6b10-rjuI) 2021/08/30(月) 20:53:05.50 ID:DbDPNUf30]

>>954
手法が古くても必要な結果を得られたら問題無いんじゃね？

[956 デフォルトの名無しさん (ﾜｯﾁｮｲ 6b10-VSBu) 2021/08/30(月) 20:58:58.02 ID:D5v3tNv00]

バイトペアエンコーディング全盛の今、形態素解析なんて時代遅れだよねと思いきや、Whole Wordなんて手法も出てきてやっぱり重要だっていうね

[957 デフォルトの名無しさん (ﾜｯﾁｮｲ 856e-bRri) 2021/08/30(月) 21:56:49.19 ID:t9q3RQuP0]

>>955
ビッグデータ処理してると数パーセントの精度の違いが大きく出てくるから
なるべく高精度のが欲しい

[958 デフォルトの名無しさん (ﾜｯﾁｮｲ 856e-bRri) 2021/08/30(月) 21:59:20.42 ID:t9q3RQuP0]

松尾研の要約システム、ひどいな

[959 デフォルトの名無しさん (ﾜｯﾁｮｲ 9d01-wtVn) 2021/08/30(月) 22:00:46.32 ID:FcBMjYja0]

精度が売上に直結するならいいけど
弱い相関ならシンプルなロジック選んでしまうな

[960 デフォルトの名無しさん (ﾜｯﾁｮｲ e302-3Axr) 2021/08/30(月) 22:13:34.30 ID:IfLgW1Xz0]

40年以上前から言われているけど
何文字以内、何行以下の要約というのは
あまり意味がない。必須な部分がかけてしまうかもしれないし
余分な部分が残ってしまうことがある

[961 デフォルトの名無しさん (ﾜｯﾁｮｲ 25dd-RulN) 2021/08/30(月) 22:23:27.16 ID:6Ldth3Lh0]

愚痴みたいになるけど形態素解析とかIMEみたいな古典的な分野ばっかやりすぎて
統計的機械学習やディープラーニングへの対応が遅れて
世界に取り残されたのが日本の自然言語処理のアカデミアってイメージ
アテンションやトランスフォーマーみたいな仕組みが
日本から出てこなかったのは悲しい

[962 デフォルトの名無しさん (ﾜｯﾁｮｲ 6b10-rjuI) 2021/08/30(月) 23:06:53.06 ID:DbDPNUf30]

>>957
それなら古いからじゃなくて必要な精度を得られないからってことで
精度に関わる他の部分を変えることで目的を達成できるかも
何がその目的達成に影響するのかは判らない

[963 デフォルトの名無しさん (ﾜｯﾁｮｲ 3dca-yDFm) 2021/08/31(火) 04:15:10.73 ID:D+Jl3XmV0]

>>950
spaCyかな。利点はGPUを使えるので圧倒的に早いこと。欠点はPython依存。

[964 デフォルトの名無しさん (ﾜｯﾁｮｲ 3dca-yDFm) 2021/08/31(火) 04:39:38.87 ID:D+Jl3XmV0]

>>958
個人的にはあれはよくできてると思う。
まず、要約はextraction法とabstraction法の2種類がある。
extractionはbowを作って単語の頻出度で統計処理することでウェイトの高いセンテンスを抽出する。
一方、abstractionは要約済みの学習データをseq2seqで機械学習させることで、要約エンジンを作る。
松尾研のベンチャーが作ったのは、後者のabstractionの方で、日本語でabstractiono方式の要約エンジン
というのはほとんど見たことがない。
ただ、実際に売れるかどうかは別。
この種のシステムは、を企業向けに販売しようと思ってもクラウドでAPIで提供する方式の場合だと
企業は内部情報が外部に流出することになるのでまず100％導入はしない。
一般的なのは、企業が利用してるクラウドの中にシステム用のサーバーを立ち上げるか、
企業のイントラネットの中に専用サーバーを立ち上げることなんだが、
これをやるとSI業者には勝てない。
また、下手にこの領域に踏み込むとSI 業者が海外製の要約エンジンを日本語化して販売
を始めたりするので、敵を誘い込むことになる。

[965 デフォルトの名無しさん (ﾜｯﾁｮｲ 4db0-Y/PZ) 2021/08/31(火) 07:41:34.77 ID:vHl4DeHq0]

>この種のシステムは、を企業向けに販売しようと思ってもクラウドでAPIで提供する方式の場合だと
>企業は内部情報が外部に流出することになるのでまず100％導入はしない。

用途で言えば内部情報より外部の公開情報を要約してリサーチ等に使う方が多そうな気がするが。
そうでなくても、契約文書をチェックするサービスなんてのも商売になっているくらいだし。

[966 デフォルトの名無しさん (ﾜｯﾁｮｲ 856e-bRri) 2021/08/31(火) 14:21:53.09 ID:Sht6cbMy0]

optunaで指定するパラメータの範囲はどう決めれば良いの？

apiにパラメータの取りうる範囲が1 <= p < ∞とあるとき

[967 デフォルトの名無しさん (ｵｲｺﾗﾐﾈｵ MM09-ABh5) 2021/08/31(火) 15:50:48.02 ID:j/ruVWceM]

1と∞で二分探索

[968 デフォルトの名無しさん (ﾜｯﾁｮｲ 6b10-VSBu) 2021/08/31(火) 19:28:12.45 ID:l6anRrPu0]

無限の半分は・・・無限!!

[969 デフォルトの名無しさん (ﾜｯﾁｮｲ 25dd-RulN) 2021/08/31(火) 19:30:49.23 ID:IiAPjlBZ0]

>>966
無限大に発散するような関数はまずないはずだけどどういう式？

[970 id:ignore (ｵｯﾍﾟｹ Sr99-BJ4f [上級国民]]) 2021/08/31(火) 20:06:05.81 ID:Yj2FMtNrr]

exp

[971 デフォルトの名無しさん (ﾜｯﾁｮｲ 7b89-U7Lh) 2021/08/31(火) 20:07:05.73 ID:TL2gsmuJ0]

表からともったら裏、裏かとと思ったら表

[972 デフォルトの名無しさん (ﾜｯﾁｮｲ 856e-bRri) 2021/08/31(火) 20:56:01.05 ID:Sht6cbMy0]

>>969
xgboostのパラメータ
reg_alphaとか

[973 デフォルトの名無しさん (ﾜｯﾁｮｲ 85ca-mUqo) 2021/09/04(土) 02:49:35.61 ID:9cArpdYt0]

>>877
Rejected internal applicants twice as likely to quit
doi.org/10.5465/amj.2018.1015

[974 デフォルトの名無しさん (ﾜｯﾁｮｲ 85ca-mUqo) 2021/09/04(土) 04:02:08.87 ID:9cArpdYt0]

>>965
いずれにしてもSeqモデルによる実装は簡単だから、要約済みの学習データさえ準備できれば
要約システムは簡単に構築可能。無料で出す分にはみんなは面白がって使うだろうけど、有料提供
となると、かなり困難に直面するんじゃないかと思っただけ。
Seqモデルは、かなり一般化してきてるので、NLP専攻の学卒者だったら、十分に構築は可能。
これが機械翻訳とかだと、かなり膨大な学習データが必要となるので、参入障壁になるが、
自動要約だと、元の学習量もしれてるので、NTTデータや富士通あたりだと多分、簡単に作れる。
また、要約の精度は学習データに依存するので、どこまで精度の高いデータを作れるかは、
最終的には開発元の資本力によって決まることになる。

[975 デフォルトの名無しさん (ｵｯﾍﾟｹ Sr81-T5eM) 2021/09/05(日) 22:01:26.67 ID:zykEaDwPr]

松尾研で文章を3つの文にまとめるアプリができてましたが
これを任意の文の数にまとめられて更に
「動作を文章にするアプリ」と組み合わせることで作業手順書の自動作成ができて
ひいては行動計画に関する人工知能の開発が進むといいんですがねえ

[976 デフォルトの名無しさん (ﾜｯﾁｮｲ 2302-KrGZ) 2021/09/05(日) 22:33:17.49 ID:vgQPhGSA0]

どうして文の「数」にこだわるの?
重要なことがその「数」以上あったらどうするの?

[977 デフォルトの名無しさん (ｵｯﾍﾟｹ Sr81-T5eM) 2021/09/06(月) 01:15:14.50 ID:otQfwK4Sr]

3つにする、5つにする、など試して最も妥当な説明書になっているものを最終出力出来たらいいんですがねえ

[978 デフォルトの名無しさん (ﾜｯﾁｮｲ 4b10-jJn5) 2021/09/06(月) 01:21:37.13 ID:owoO2Yj90]

妥当な説明を定式化せよ

[979 デフォルトの名無しさん (ﾃﾃﾝﾃﾝﾃﾝ MM4b-8fYv) 2021/09/06(月) 08:50:13.28 ID:0zGOZ0ajM]

>>975
できるんじゃない？

[980 デフォルトの名無しさん (ｱｳｱｳｳｰ Sa69-KrGZ) 2021/09/06(月) 09:29:44.52 ID:fsHJbGHja]

重要な項目が5つあって、3つの文にせよ
という場合は、一つの文に2つ盛り込むとか?
なんだか本末転倒だなあ
重要な項目がいくつあるか分からなくなるじゃないの

[981 デフォルトの名無しさん (ｵｯﾍﾟｹ Sr81-T5eM) 2021/09/06(月) 10:59:46.00 ID:fK8LC2SFr]

重要な項目の数に合わせて文の数も調整できたらなあ
更にはそれぞれの文の構造化まで自動化

[982 デフォルトの名無しさん (ｱｳｱｳｳｰ Sa69-KrGZ) 2021/09/06(月) 11:36:22.35 ID:fsHJbGHja]

例えば、裁判所の判決文とかは全部重要なのだそうで
要約できないらしい。法曹関係者が要約が下手なのは
そういう理由もあるらしい

[983 デフォルトの名無しさん (ﾃﾃﾝﾃﾝﾃﾝ MM4b-8fYv) 2021/09/06(月) 16:50:04.99 ID:XuYnRkl0M]

ほう、そうかい

[984 デフォルトの名無しさん (ﾜｯﾁｮｲ 2302-KrGZ) 2021/09/06(月) 21:34:45.15 ID:3OGE1cne0]

マニュアルを要約して
手順を飛ばされてもやだな

[985 デフォルトの名無しさん (ﾜｯﾁｮｲ 4b10-jJn5) 2021/09/07(火) 08:21:33.30 ID:QjyEMXOy0]

だが待って欲しい
その手順は本当に必要だったのだろうか

[986 デフォルトの名無しさん (ﾜｯﾁｮｲ ad5f-m4tS) 2021/09/07(火) 09:23:15.96 ID:IHJavDsS0]

いやちょっと待って欲しい
そもそも三つの文に…

[987 デフォルトの名無しさん (ﾜｯﾁｮｲ 6d6e-8fYv) 2021/09/07(火) 12:15:41.45 ID:X6g3xS9u0]

富士通あたりがやり出しそう(笑)

[988 デフォルトの名無しさん (ｱｳｱｳｳｰ Sa69-KUaQ) 2021/09/07(火) 13:03:13.11 ID:oZHnA/lFa]

試しにここのテキスト入れてみたら
めちゃくちゃ的外れな要約が出てきた
どうやら掲示板は向いてないらしい

[989 デフォルトの名無しさん (ﾜｯﾁｮｲ 2302-KrGZ) 2021/09/07(火) 20:01:11.19 ID:Cp1uuQsT0]

新聞記事も読み終わって何がなんだかわからない
という記事が多いから、要約しても無駄だな

[990 デフォルトの名無しさん (ﾜｯﾁｮｲ 13ad-GwBl) 2021/09/12(日) 11:08:30.42 ID:PNU8wIel0]

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

[991 デフォルトの名無しさん (ﾜｯﾁｮｲ e336-qG80) 2021/09/22(水) 19:51:03.76 ID:pNoEEii80]

リッジとラッソ回帰をうまく説明するためのデータセットて何かある？

勉強会の資料で探すてる
ボストンの住宅価格でやると効果わかりにくいからその他でいいのおすえて

[992 デフォルトの名無しさん (ｴﾑｿﾞﾈ FF43-hED7) 2021/09/23(木) 12:44:23.64 ID:7tGJmFKPF]

次スレここの再利用？
https://mevius.5ch.net/test/read.cgi/tech/1578890891/

[993 デフォルトの名無しさん (ﾜｯﾁｮｲ 8310-4VFp) 2021/09/26(日) 01:33:41.18 ID:fnXwjiVa0]

次スレ
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/

[994 デフォルトの名無しさん (ﾜｯﾁｮｲ 8310-4VFp) 2021/09/26(日) 01:34:31.80 ID:fnXwjiVa0]

スカラー倍

[995 デフォルトの名無しさん (ﾜｯﾁｮｲ 8310-4VFp) 2021/09/26(日) 01:36:40.35 ID:fnXwjiVa0]

みっつの数に意味はない
ただの経験則

[996 デフォルトの名無しさん (ﾜｯﾁｮｲ 8310-4VFp) 2021/09/26(日) 01:41:50.83 ID:fnXwjiVa0]

アルタナティブ

[997 デフォルトの名無しさん (ﾜｯﾁｮｲ 8310-4VFp) 2021/09/26(日) 01:42:53.67 ID:fnXwjiVa0]

🉑

[998 デフォルトの名無しさん (ﾜｯﾁｮｲ 8310-4VFp) 2021/09/26(日) 01:44:07.46 ID:fnXwjiVa0]

(*´∀｀*)

[999 デフォルトの名無しさん (ﾜｯﾁｮｲ 8310-4VFp) 2021/09/26(日) 01:44:53.74 ID:fnXwjiVa0]

(*´∀｀*)

[1000 デフォルトの名無しさん (ﾜｯﾁｮｲ 8310-4VFp) 2021/09/26(日) 01:45:22.39 ID:fnXwjiVa0]

(*´∀｀*)