0009デフォルトの名無しさん
2021/09/25(土) 15:37:43.65ID:FWkcECmyそれの前提になるデータ分析基盤を構築するデータエンジニアの仕事もあるぞ。
人口無能だか知能だかが解析する大元のビッグデータ基盤を整備するやつ。
ログやらIoTのDBやら、クローラーやらスクレイピングで集めたJSONやCSVを
PythonやScalaでSpark使ってDataFrameやSQLでETLパイプライン組んで、データマートを構築。
その後の分析は、人口無能だか知能だかが勝手にやってくれ、という部分までを構築するお仕事。
統計とか学習に関する知見がなくとも、DBや分散処理やPythonやJava/Scalaに関する経験とか、AWSやGCPのクラウドに詳しければできる仕事。
PandasでDataFrameいじったり、RDBでSQL書いてた経験があるとなおよし、という感じ。