The Roles of Supervised Machine Learning in Systems Neuroscience
by Joshua I. Glaser, Ari S. Benjamin, Roozbeh Farhoodi, Konrad P. Kording

システム神経学(Systems Neuroscience)でどのようにMLが使われているかのSurvey

  1. Solving engineering problems
    MLは医学的診断やBMI、その他研究のためのツールの機能を向上させた。

セグメンテーションの例:

segmenting and labeling parts of an image, which usually requires manual annotation, is an especially important task. However, as imaging techniques improve and the volume of data increases, it will become infeasible to rely on manual annotation. To solve this problem, many ML techniques have been developed to automatically segment or label new images based on a dataset of previously labeled images. These techniques have been used to label medical images (Litjens et al. 2017; Ronneberger, Fischer, and Brox 2015) . They have also been used to understand the connections and morphologies of neurons from electron microscopy (Helmstaedter et al. 2013; Funke et al. 2017; Turaga et al. 2010) .

  1. Identifying predictive variables
    MLはある現象に対して、どの変数が影響を与えているかを見出すことができる。leave-one-out strategy(各変数を抜いてみて、精度がどれくらい下がるかを観察する)やbest-first strategy(各変数一つだけにしてみて精度の変化をみる)といった方法があるが、いまだ研究中である「The development of feature selection algorithms that appropriately allow for nonlinear feature interactions is an active field in ML and statistics (Tang, Alelyani, and Liu 2014) .」
    ただ、画像処理など変数そのものが生の入力データに明示されていないこともある。これはこのカテゴリ(2.)の対象外。

観察できる事象から神経の活動を推測すること(encoding)にもML(XGBoostやアンサンブル学習法、深層学習)が力を発揮している。MLを使うことで、シンプルなモデルが理解に役立っていたとしても、重要な特徴の見落としがわかることがある。
脳のある領域の活動からどんな情報が読み取れるかという逆問題(decoding)の解析にも役立つ。
もちろん、観察可能な変数からの疾患の推測にも使われている。モデルを仮定せず分析できるのも利点。
クラシフィケーション技術も、疾患の分析から脳のセグメンテーション等様々に使われている。

  1. Benchmarking simple models
    MLはあるモデルの性能を計るのに用いることができる。
    モデルの予測のぶれが、入力のノイズによるものなのか、それともモデル自体の不備によるものかの解析は難しいが、DNNを用いることで、モデルがどの程度の構造を説明できるかのUpper Boundを示すことができるらしい。これは、これまでのモデル同士を比較する手法からのパラダイムシフトである。

  2. Serving as a model for the brain
    MLは脳モデルとして用いることができる。
    似ているところは当たり前なのでスキップ。

  • there are a few reasons to be skeptical (Lake et al. 2017 (Check!))
  • neural networks require large amounts of data to train, while the brain can often learn from few examples (Carey and Bartlett 1978; F. Xu and Tenenbaum 2007) .
  • artificial networks are plainly different in both architecture and response patterns from biological brains
  • many biologically-motivated deep learning algorithms do not scale well to large datasets (Bartunov et al. 2018)

Interpretability / There has been much recent work to develop methods to better understand what is occurring within neural networks

  • methods for visualizing what features and information are represented at different scales within convolutional neural networks (Olah et al. 2018, video)
  • methods for understanding the dynamics within recurrent neural networks (Sussillo and Barak 2013)
  • researchers are also developing new model architectures that are more easily interpretable (Foerster et al. 2017; Linderman et al. 2017)
  • researchers recently tested whether the tuning of individual units in neural networks were important for classification generalization (Morcos et al. 2018)
  • fully observable neural networks may serve as test-beds for new neural data analysis methods, which are greatly needed to increase understanding (Jonas and Kording 2017/video)

focusing on which cost functions the brain is optimizing rather than the final properties of the network. Similarly, it is important to focus on determining the learning rules implemented by the brain. We have discussed some of these matters recently in a separate review, particularly focusing on how neuroscience should learn from machine learning’s quest to understand neural networks (Marblestone, Wayne, and Kording 2016 / Summary by google) .

NN以外も研究対象である。

  • Decision trees, for example, offer a compelling framework to model decision-making as a prunable tree of potential decisions (Huys et al. 2012) .
  • Simple neural circuits have also been modeled with threshold decision trees (Uchizawa, Douglas, and Maass 2006)
  • The cerebellum and similar structures (like the mushroom body in Drosophila ) can potentially be modeled as implementing a weighted nearest-neighbors calculation (Dasgupta, Stevens, and Navlakha 2017)
  • information processing in the brain relates to the ML concept of random projections (Arriaga and Vempala 2006)
  • comparisons of the brain to reinforcement learning (Wang et al. 2018; Gläscher et al. 2010; Glimcher 2011; Doya 2000) and unsupervised learning (Hinton and Sejnowski 1999; Doya 2000

Note:

As is the case with any modeling, we wish to remind readers that it is important to be cautious
when interpreting ML models. High predictability does not mean causality. This is especially true
because there are so many unobserved variables within neuroscience. For instance, the
apparent importance of a variable within a model may be inaccurate due to other unobserved
variables (Stevenson 2018) . Moreover, high model accuracy does not mean that it is actually a
causally correct model of what is occurring in the brain. High accuracy is a necessary, but not a
sufficient condition for model correctness. This is because there is an enormous space of
potential models that could explain the data well. This is a difficulty of modeling the brain and
identifying predictive variables with ML, but does not impact the use of ML for engineering, or
benchmark, applications.

Ubicomp 2004 Adjunct Proceedings, Nottingham, England, pp. 7-10 (2004)
https://www.researchgate.net/publication/228966279_Interactive_Storytelling_with_Captured_Video

ライフログ的にビデオを撮り続けたものを物がたり的(Storytelling)できるように整理し再利用・共有することで追体験を可能にするシステム。実装には3DゲームエンジンとタンジブルUIを用いた。

わずか2ページの概要論文のためと、なぜかすごく日本語にしにくい英語だったため、わかりにくい説明になっています。ごめんなさい。僕もよく分かってません。

... "Interactive Storytelling with Captured Video by Lin, Mase, Sumi, Katagiri ’04" を続けて読む

2016/4/6 論文ではなくブログ記事。
http://www.wildml.com/2016/04/deep-learning-for-chatbots-part-1-introduction/

ChatBotすなわち会話エージェントの現状について非常によくまとまっている。ほとんど全訳になった。
... "Deep Learning for Chatbots, Part 1 – Introduction at WildML" を続けて読む

Proceeding
WASDGML '11 Proceedings of the Workshop on Automatic Summarization for Different Genres, Media, and Languages
Pages 1-7

http://www.aclweb.org/anthology/W11-0501
http://dl.acm.org/citation.cfm?id=2018988

これからこんな方針でチャット要約の研究をするぜ!という論文。そもそもこういう内容の論文が存在するということ自体が驚き。何を達成したわけでもないので論文というよりはポジションペーパーのようなもの?
ただ、読むのが無駄なわけではなく、それなりに知見は得られるのでこれはこれでよしとしたい。
... "Plans toward automated chat summarization by Uthus & Aha ’11" を続けて読む

Proceeding SIGIR '98 Proceedings of the 21st annual international ACM SIGIR conference on Research and development in information retrieval Pages 335-336
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.188.3982&rep=rep1&type=pdf
http://dl.acm.org/citation.cfm?id=291025

クエリが与えられた時に関連するExtractiveな要約を生成する(重要な文を抽出する)問題においてよく使われるMMR(Maximal Marginal Relevance)の元論文。
... "The Use of MMR, Diversity-Based Reranking for Reordering. Documents and Producing Summaries. by Carbonell & Goldstein ’98" を続けて読む

研究報告情報学基礎(FI) 2010-FI-97(11), 1-6, 2010-01-21
情報処理学会
http://arakilab.media.eng.hokudai.ac.jp/~araki/2009/2009-C-6.pdf
http://ci.nii.ac.jp/naid/110008003402

非タスク志向型対話システムにおいて、ユーザーが過去に話した対話内容と関連のある発言を再び行った際に、対話履歴からユーザー発話の要約を用いて応答するシステムを提案する。これによって、システムが会話上新たな情報を提供できなくなった時に飽きられる問題を緩和することができる。

ただし、後ろの方に行くと説明がだんだん雑になり、よくわからないところがある。締め切り間際だったのだろうか?
私の背景知識不足によるものかもしれないが。

... "対話システムにおける対話履歴要約の有効性について by 福田,荒木,Rafal ’10" を続けて読む

黒橋 禎夫,大泉 敏貴,大西 貴士,柴田 知秀,鍜治 伸裕,河原 大輔,岡本 雅史,西田 豊明
2005年情報学シンポジウム講演論文集--社会システムを支える情報学 ; セッション5:知識獲得・記述の支援 情報学シンポジウム講演論文集 / 情報学シンポジウム実行委員会 編 p.145-152

http://ipsj-ifat.org/sympo/2005/OnlineProceedings/2005InfoSympo13.pdf
http://iss.ndl.go.jp/books/R000000004-I7699604-00

会話の場に知識ベースを提示することを目的とした、自動スライド生成システム。すでにできている「知識カード」に様々な処理を施してスライドの形に変換し、クエリを与えると関連するスライドを表示する。
... "会話型知識プロセスのための テキストの自動プレゼンテーション by 黒橋 et al. ’05" を続けて読む

Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016)
http://www.lrec-conf.org/proceedings/lrec2016/summaries/366.html
http://www.lrec-conf.org/proceedings/lrec2016/pdf/366_Paper.pdf

インドネシア語のチャットの要約研究のため、コーパスを作った話。
手作業で要約を生成するツールなども作成。Extractiveな要約とAbstractiveな要約の両方がデータに含まれている。チャット要約の性能評価のための尺度も作った。(ROUGH-NとROUGH-LCS)

機械要約のためのアルゴリズムを提案しているわけではない。
Related Workにチャット要約研究へのポインタが結構あるのがうれしい。

コーパスにアクセスしたい人は、fajri.phd@gmail.comまで、所属と目的を送ってほしいとのこと。

International Journal of Engineering Research and Technology (IJERT) 4 (04), 211-214
http://www.ijert.org/view-pdf/12802/a-survey-on-various-methodologies-of-automatic-text-summarization

テキスト自動要約のサーベイ。意味解析を含む3論文について詳しく解説し、統計的手法と意味的手法を組み合わせるべきだと結論付けている。
... "A Survey on Various Methodologies of Automatic Text Summarization by Lahkar and Barman ’15" を続けて読む