かばやん's だいありー

かばやん's だいありー

学んだことをゆるゆるアウトプットしていきたいです。

Machine Learning Production Pitch #4 x ML@Loft #6 に参加してきました

勉強会・イベント 自然言語処理

はじめに

2019/9/20(金) に行われた、Machine Learning Production Pitch #4 x ML@Loft #6 に参加してきました。

mlloft6.splashthat.com

machine-learning-pitch.connpass.com

当日の様子は、Twitterのハッシュタグ、#MLPP と #MLLoft でもわかります。

togetter.com

今回は、Machine Learning Production Pitch と ML@Loft との共催とのことでしたが、私は初参加でした！

本編

富士通研の時系列データ解析技術　梅田 裕平 氏 (株式会社富士通研究所)

資料

drive.google.com

私のメモ
各LTに対して「私のメモ」という項目で書きますが、概要ではありません。文字通りメモです。

所感
富士通研の方のお話をうかがう機会はほぼないので（初めてかも？）、とても新鮮でした！ 天の声が聞こえて時系列データの方へ行ったのがすごいと思いました！

ゼロベースからの論文レコメンドシステムの構築　河合 俊典 氏 (エムスリー株式会社)

資料

私のメモ

  • エムスリー株式会社
    • エンジニアが80人くらい
    • 医療の不自由なとこをなんとかする
    • お医者さん7-8割の人が使っている
  • CIWorks
    • 医師限定のサービス
    • arXivTimes の医療版的なやつ
  • 論文のレコメンド
    • 2ヶ月前に「特にデータも評価も決まってないけど作って！」
  • 分野の重なりが多い
    • 合併症の範囲が広い
    • 希少疾患
    • ワードの揺れ
      • MR 5個くらいある！しんどそう
    1. 医師と論文の名寄せ
    2. ジャーナルごとに形式違ったりする
    3. 同姓同名いる
    4. unique id を振る
    1. 興味ワードの生成
    2. TF-IDFで医療用語タグ付け
    3. Label propagation
  • Elasticsearch
    • WAND(Week AND)検索
  • Content-Based Citation Recommendation
    • 糖尿病　← 5割くらいの論文に出てくる
    • 引用、abstract、著者とかを使う
    • これでコールドスタート問題を解決
  • 2つのモデルで、最後にマージ
  • 評価は編集部の目視を基準にアドバイスをもらいつつモデル化
  • 引用数の遷移を評価指標、時系列

所感
エムスリー株式会社が想像以上に多くのサービスを提供していること、また医療従事者の7-8割が使っているというのがまず驚きでした。
特にデータも評価も決まってない状態から、2ヶ月でお一人でこれだけのしっかりとした推薦のシステムを作られたとのことなので、本当にすごい以外の言葉が出てきません。
医療分野でのNLP特有の問題も知れて面白かったです。
あと、gokart 気になります。

社内の XX に詳しい人を知りたい　押条 祐哉 氏 (ストックマーク株式会社)

資料

私のメモ

  • ストックマーク株式会社 stockmark.ai

  • BERTやELMoの日本語モデルの配布などもしている

stockmark.ai

stockmark.ai

  • Anews
    • ビジネスニュース配信
    • チームの人が読んだ記事も読める
    • コメント機能あり
    • チームの共通知のアップデート！

  • 特定のキーワードやニュースで検索した時に、その分野に詳しい社内の人を推薦するエンジンを実装した stockmark.ai

  • 使うデータは、text (本文、記事タイトル、URL) とテーブル（ユーザ情報、ユーザアクションのログ、記事のメタデータ）

  • コンテンツーベースでやった
    • 別用途で使用していたユーザベクトルがあった
  • ユーザベクトルと記事ベクトルのcos類似度
  • 記事ベクトル
    • 各記事のタイトルと最初の導入部分の名詞数単語をfastTextでベクトル化
  • バッチ処理とオンライン処理
  • 課題
    • コールドユーザは？
    • 他にも取れるデータで有効なものを探す
    • 評価指標
      • ABテスト、オンラインテスト

所感
ストックマーク株式会社の方の発表を聴くのは初めてで、前からどんな事されてるか気になってはいたので良い機会でした！ かなりの短期間で実装されたとのことなので、使えるもの（既存のユーザベクトル）を使ってたり、記事ベクトルを作る時にタイトル+α だけ使ってたり、といった部分に機能としてスピーディーにリリースする工夫を感じました。 今後データどう変えるのかとか手法自体を変えるのかとか、評価どうするのかとか、色々気になるので、個人的にはまた発表聴けたら嬉しいなと思いました。

ESG評価を支える自然言語処理基盤の構築　久保 隆宏 氏 (TIS株式会社)

資料

私のメモ

  • ESG(Environment, Social, Governance)
  • 評価機関が複数あり、各評価機関のスコアに相関がない（本当に全然ない！）
  • 数十から百ページ、マンパワーでやるの大変 → NLP
  • 文書データの収集
    • AWSによる収集基盤構築
    • 作成したデータ5年分を近日無償公開するらしい
    • 企業がどういうことを書いてると株が上がったりするかみたいなのがわかる！
  • 評価対象となる文・段落の絞り込み
  • 課題
    • 各社各様の場所・仕様で公開しており集めにくい、解析しにくい
    • ESG評価、見た目は関係ないので綺麗なのより解析しやすいのを書いて欲しい
    • 自社内にデータなければ端正にデータを集めることがスタート地点？
    • 営業とフロントもインフラもやった！

所感
私自身にとってはあまり馴染みのないESG評価の話でした。かなり地道な努力をして取り組まれていていらっしゃったのが伝わってきました。

ディスカッション

普段は参加者も交えたディスカッションをしているそうなのですが、今回はLT登壇者の方々のパネルディスカッションでした。 Slido の質問に答えていただく形の進行でした。

TDA for time-series 興味深いです。 SARIMAなどの古典的手法、LSTMなどの深層系列モデルなどと比較したときの利点・欠点などをお伺いしたいです。

梅田さん

  • 予測というよりは分類とかに使う

MLチームの開発方法論って確立してきてますか？もしくは皆さんのチームはどうされてますか？

押条さん

  • ストックマークだと40人中5,6,人がMLで3サービスくらい
  • 個々人で責任持ってやる

河合さん

  • 再現性とか（パラメタとっとかないといけないよね）とか議論決行されてるし確立できてきた
  • Jupyterからそのままデプロイの会社もある。pipelineのossもあるし。ベストプラクティスは場合によるので難しい

梅田さん

  • 個人による？仕組み化したい

久保さん

  • 方法論の文脈によって違う。社内のデータ活用、jupyterの管理ノウハウ、プロダクトに入れる、MLopsをいかに早くするか

どこまでプロダクト寄りのことをすべきか？

久保さん

  • 全部やるメリットは何がいいのかわかる

梅田さん

  • 一人でやると回らないことも、企業による。

  • 一人でやった方が理想どうりにはなると思うけど、得意不得意もあるので分業でもいいかも。

河合さん

  • ヤフーは全部別
  • エムスリーだとデプロイもやるし、問題あれば営業巻き込んで解決、アラート出たら自分で解決。

押条さん

  • エンジニアが20人もいないとこで分業だと回らない。インフラ、バックエンド、フロントエンドとか分かれてる。API化してデプロイするところまではやっている。会社で決められてるならどうにもならないのでは？

研究成果の事業貢献は？

梅田さん

  • 結構PoCを長々やってしまう。課題を感じている、なかなか事業貢献できない

ML系アルゴリズムをオンラインテスト(A/Bテスト)に乗せるかどうかの判断をどのようにしていますか？ to みなさん

河合さん

  • ABテスト大好き！目的を一つにすることを大事にする。オフラインだといろんな指標を見るけどオンラインは1つだけ。それを達成するためのオフライン指標はたくさん持つの大事。RecSysでも評価指標を目的にしてしまったらダメだって話があった。

久保さん

  • 強化学習の文脈でABテストの話聞くけど、ABテストまで行けばいい方。オフラインで足きりしたりとかはしてない。ユーザ数1%とかからテストしていく

河合さん

  • 1%とかでちょっとのユーザーで始めるの難しくない？本当は勝ってるかもしれないのに

司会

  • ビジネスKPI定量化するのって普通なの？

河合さん

  • 好きだからやってる、難しいとも思う。現場に行く、アンケートとる

久保さん

  • 好き。結局答えがないと何を目指していいかわからない。
  • チームマネジメント、評価でも使う。
  • 海外の成功してるスタートアップはビジネスKPIと機械学習のは比例している、Uberとか

オフラインで良くなったけどABテストで悪くなったとかとの場合どうなる？フィードバックとか...... 河合さん

  • エムスリーはテックブログにも書いてるし、大事にしてる　

久保さん

  • 広告だと種類によってある。オフラインのデータのバリエーションを増やしておく。オンラインだとキャンペーンとか影響があることも。評価シチュエーションを増やす。

押条さん

  • 営業ストーリードリブン。ビジネスKPIとはまあ連動してるかも

河合さん

  • 営業ストーリー難しくない？実際それユーザ嬉しいのみたいなのない？落とし所をうまくつけるのが機械学習エンジニアみたいなところある？

梅田さん

  • 最初から評価指標聞き出せないとかある。お客さんがイメージしか語ってくれない事があって大変

おわりに

今回は、自然言語処理や時系列データがどう実際のプロダクトで実装されてるかといったお話が聴けて、勉強になりましたし楽しかったです！ 最近NLPしていないので、また久しぶりにちょっとNLPしたくなりました。