統数研 オープンハウスの講演の感想とメモ

主に講演に出られなかった人に,僕の気になった文献を紹介する記事です.
過度な期待はしないでください.

甘利俊一 先生

甘利先生の講演では以下の文献が気になった.

Neural Tangent Kernel: Convergence and Generalization in Neural Networks
Arthur Jacot, Franck Gabriel, Clément Hongler
https://arxiv.org/abs/1806.07572

Exponential expressivity in deep neural networks through transient chaos
Ben Poole, Subhaneil Lahiri, Maithra Raghu, Jascha Sohl-Dickstein, Surya Ganguli
https://arxiv.org/abs/1606.05340

Deep Learning with the Random Neural Network and its Applications
Yonghua Yin
https://arxiv.org/abs/1810.08653

福水健次 先生

神経回路の数理でニューラルネットの研究を始める.
企業で先に研究されていた.

「良い原理が見つかれば,発展する」とおっしゃってて印象が深かった.

GANをサンプリングと見立ててベイズ推論に使おう.

Everybody Dance Now
Caroline Chan, Shiry Ginosar, Tinghui Zhou, Alexei A. Efros
https://arxiv.org/abs/1808.07371

Hierarchical Implicit Models and Likelihood-Free Variational Inference
Dustin Tran, Rajesh Ranganath, David M. Blei
https://arxiv.org/abs/1702.08896

ELBOを最大化するqによって事後確率を近似する.(上の文献要確認)

ロトカ・ヴォルテラ方程式との関連もある?

福水健次先生が興味あること
・GANによるサンプリング
ベイズ推論
シミレーション
時系列解析

・非線形時系列モデル
HMM
センサーデータ
非マルコフでも適用できるように

今泉先生

従来の手法
・フーリエ変換
・スプライン法
・カーネル法
・回帰法
はデータを1~2層で変換していると見立てることができる.

多層だと何故性能がでるのか.

Deep Neural Networks Learn Non-Smooth Functions Effectively
Masaaki Imaizumi, Kenji Fukumizu
https://arxiv.org/abs/1802.04474


Adaptivity of deep ReLU network for learning in Besov and mixed smooth Besov spaces: optimal rate and curse of dimensionality 
https://openreview.net/forum?id=H1ebTsActm

について説明された.「局所的構造がある関数の学習ならば深層学習は有効」だと聞いてなるほどと思った.局所的構造な関数とは「水資源の最適化」「経済的な損失での最適化」などの複数の関数からなる関数のこと?(要確認)

スライドは以下のサイトにある.
https://sites.google.com/view/mimaizumi/home_JP

全体的な感想

私の個人的な感想を書くと,数理はやっぱ楽しい,なぜそのように説明できるのか,深層学習の性能を説明することの必要性.また,あるモデルをこのように見立ててこの問題に適用してみるなど,研究者として大事なことを学んだ講演だった.(僕は研究者じゃないけど)
いつかあの場所に立ちたいと思うし,講演者の方と願わくば一緒に研究したいと思った.

統数研 オープンハウスの講演の感想とメモ」への7件のフィードバック

  1. 下記の方々がOshitaさんはOshitaさんのレベルに合わない難しい本を読んでいると指摘していますが、論文を読むことに関しても背伸びをしていう印象を受けます。
    MolGAN、M2det、clusterGAN論文を解説している記事・スライドを見ましたが、アーキテクチャと用語を理解せずにただ直訳したり、他の方がまとめた内容を並べただけの印象を受けます。
    いきなり最新の論文を読んでもわかる人間なんていませんので、もっと基本的なGANや物体検出を解説している記事や本を読んだが良いと思います。
    更に、他のOshitaさんの日本語を基にした記事と比べて明らかに完成度が低い、かつgoogle翻訳のような記述が目立つので、高校レベルの英語ができていないんじゃないでしょうか?
    また、文章構成や日本語がおかしい所も散見されます。そもそも、論文を英訳する際には国語力が必要なので、その国語力も足りていないと思います。
    このように国数英全てにおいて、高校レベルの基礎がなっていないので、研究をしたいとお思いなら、学部生レベルの勉強以前にそれこそセンター試験からやり直すことをお勧めしますよ。試しに時間はある程度オーバーしても構わないので、センターの過去問を一度解いてみるといいと思います。学問は基礎の積み重ねであり、Oshitaさんはそのレベルから基礎が積み重っていないことがわかると思いますよ。

  2. 再びコメントさせていただきます。

    情報理工の方が言うには、マスオさんのこちらのサイトが情報理工の院試にも役立つそうです。(ご存知かも知れませんが)

    https://mathtrain.jp/

    ところで、難関大学の学部入試の数学を解いたことはありますか?
    確かにネットにはレベルが高い方がたくさんいます。しかし、彼らもこういう学部入試を経験してきた人たちで、ベースはここ辺りにあるはずです。また、一般レベルならこの程度の問題が解けるだけでも、十分数学ができる人です。
    まずは、難関大の学部入試をやってみて、答案をツイッターに投げてみてはどうでしょうか。パズルのようなものなので、楽しめると思います。答案を見る側も、学部入試程度ならさほど時間を取られないので、アドバイスを得られやすいと思います。

    あるいは、大学の数学宿題や学コンというものもあります。学コンに関しては、詳しく添削してもらえます。

    難しい問題が解けるようになりたいのはよくわかりますが、いきなり難しいものに取りかかって、長続きしないのでは意味がありません。(ツイッターを見ていると、難しい本を買ってはすぐに読むのをやめている印象を受けます。)また、基礎をちゃんとやることもなんら恥ずかしいことではありません。地道にやることをおすすめします。

  3. 私も通りすがりなのですが、機械学習の理論の研究を志すなら上級の数学をやるのではなくて、まずは統計数理研究所の入試問題や東大計数科の入試問題ぐらい簡単に解けるレベルに達することが大事だと思います。

    「医学部編入もいいかもしれない」などとツイートされていますが、大変失礼ですが、高校数学も怪しいのではないかと勝手ながら心配しています。

    Oshitaさんを見ていると基礎力(というか基本?)がかなり抜けているのに難しい本ばかり買い集めて背伸びをしている印象を受けます。某勉強会で、札幌の勉強会のレベルが低いと豪語していましたが、ご自身のレベルを客観的に評価することもとても大事だと思います。

    以上、辛辣な感想ですが、とにかく急がば回れです。応援してます。医療分野での就活頑張ってください。ぜひ就活の近況の記事も載せてくださいね。

  4. Oshitaさんのツイッターも含めいろいろ拝見させていただきました。

    ここに以下のようなコメントを残すのは不適切かも知れません。しかし、気になったのと、最新記事ゆえOshitaさんの目に留まりやすいだろうと思い、投稿させていただきます。

    失礼ながら、今の状況ですと、測度論的確率論のような学部上級向けのものを読むよりも、微積分や線型代数の簡単な教科書をしっかり読むことの方が大事だと思われます。いきなり厳密な本を読むのはオススメしません。

    また、見知らぬ人にこのようなことを言われると腹が立つかとは思いますが、数学の基礎的な用語の定義をちゃんと理解できていないところもあるようです。期待値、直積、(訂正前の)可算集合の説明がその例です。数学の用語を理解するための基礎力をつけるために、高校数学からやり直した方がいいのかもしれません。

    面識がないにも関わらず、かなり厳しいことを申し上げましたが、参考にしていただけると幸いです。

    1. おっしゃるとおりだと思います.いえいえありがとうございます.
      ご指摘いただき大変感謝します.ちゃんと1から数学について向き合っていきたいと思います.

      1. 頑張ってください。
        なお、ひとつ前の記事の「山田」に関しても私が投稿したものですので、無視していただいてかまいません。(こちらの投稿に失敗したと思い、あちらにコメントしました。)

コメントを残す

メールアドレスが公開されることはありません。

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください