JTCの研究職として働く人のブログ

2021年4月から企業でデータサイエンスの研究開発している者のブログです。

Lasso推定がスパース推定になる理由を数式で理解する

2ヶ月ほど前にZennでまとめたので, 見る際は以下のリンクから飛んで下さい

zenn.dev

最初はこのブログ内で書こうと思っていたんですが, はてなブログだとたくさん数式出てくる場合はちょっと執筆に向いてないですね...

ちなみにZennはtexライクで記述できるので, とても書きやすかったです.

Zennの他にMathlogというサービスもありました(Zennで記事を書いてから存在に気づきました). 数学系の記事を書く際は, Mathlogさんの方がトピック的に適していると思うので, 今後はそちらへ書いていこうと思います.

2022年にやらないことリスト

今年やらないことを決めるよ

新年になって, 「今年のやることリスト」を発表している人がたくさんおられます. そんな中で僕は「今年やらないリスト」を発表しようと思います.

今回は

  1. なぜそんなこと思ったのか
  2. 2022年にやらないことリスト(仮)

を書いていきます.

なぜやらないことを決めるの?

年末年始はtwitterで各フォロワーさん達が今年の振り返りや, 新年の目標を発表されています.

そんな中, 「やりたいことは沢山あるけど全部できる時間はないので, 逆に今年やらないことを決めます!」みたいなツイートが流れてきました. これを見て僕は「この考えいいな. 真似させてもらおう」と思いました. 何故このように思ったかの理由は

  • 好奇心旺盛で, 色んなことに興味があるが, 全部に挑戦できるほどの時間や, マルチタスクの処理能力がない.
    • 研究活動とか, 新しい分野の勉強とか, kaggleコンペ参加とか...(因みに, 2021年はKaggleコンペに挑戦して, 銅メダルを獲得できました.)
  • 割と飽き性なので, 興味のある対象がコロコロ変わる. → 浅い理解で終わってしまう恐れあり(よくない...).

みたいな感じです.

2022年にやらないことリスト(仮)

それでは, 2022年にやらないことリストを発表していきます. ただ, 業務や研究活動上で必要になった場合はこのリストからは外れることにします.

1. 多様体微分幾何の勉強.

学部時代に幾何学系の講義を真面目に履修していなかったので, 勉強したいなあ常に思っていますが, 現状は研究や業務で使うことはない&多様体が登場する文脈があってもこれまで困ったことないから.

2. 関数解析の復習&勉強

これを選んだ理由も, 大体1.と同じです. 関数解析の知識は積分論の授業で登場したLpヒルベルト空間などの関数空間の知識と, 申し訳なさ程度にちょろっと学んだ線形作用素の簡単な性質ぐらいなので, しっかり学んでみたいなと思っています. ただ, これも現状, 関数解析の知識がなくて困ったことがないので, 別にそこまで優先して勉強しなくていいかなという結論になりました.

3. 情報幾何の勉強

結構興味あるのですが, いかせん, 研究や業務で使う機会がないので... 参考書は揃えているので, いつかゆっくりと取り組んでみたいです.

4. 強化学習の更なる理解

強化学習に関しては, このブログでも紹介したように2020年の夏にひと通り勉強したことがあります. また, 僕は現在「意思決定に役立つ」分析手法全般に興味を持って, 日々頑張っています(e.g.因果推論やベイズ統計とか).

近年は因果推論の分野にも強化学習的な問題設定をした論文を結構見かけるので, ちゃんとした書籍でもう一度学び直した方がいいかな?と思うことあります. ただ, 強化学習的な手法は直ぐに業務で使うことはまだないのでリスト入りにしました(バンディット系は必要かもしれないので, 除外しておきます).

5. 数理最適化(連続版)を体系的に学ぶ

連続最適化に関しては, 正直講義で学んだ記憶がないので, ちゃんと体系的に学んでおきたいなと思っているんですよね(数理最適化は機械学習にとって大事なので...). 「じゃあお前これまで機械学習とかで困らなかったの?」と言われそうですが, 典型的な機械学習で出てくるような最適化手法に関しては, ぶっちゃけ微積と線形ができれば十分理解できるので, 困ったことはなかったです. あと, 論文読んでてわからない最適化手法が登場したら, その都度 講談社さんのMLPシリーズの連続最適化本を読んでなんとかなってました.

www.amazon.co.jp

でも, 最近 梅谷先生の「数理最適化本」の登場や, twitterで「数理最適化学ぶべき!!」というようなツイートをよく見かけるようになったので, 一度体系的に学んでおこうかな?という気持ちになっています. ただ, 現状あまり困ってないので, 2022年中はリスト入りということにしておきます

6. あまり興味ないデータ分析コンペには参加しない

この気持ちは大事だと思っているので, 忘れずに書いておきます.

終わりに

上記で宣言した, 「やらないことリスト」をしっかり守って, 「2022年に本当にやりたいこと」に一つでも多く取り組めるようにできればなと思います.

自主ゼミでコミさんの強化学習入門pdfを読んだときのノートを公開

研究室に配属されたB4の1人が強化学習をテーマに研究することになったので, 勉強がてら一緒に小南さん(通称コミさん)が書かれたこちらのpdf github.com をB4(強強)と他大学院の友人(流体に強化学習を応用している強強), 僕(素人)の3人で7月末~10月末まで自主ゼミしました. 今回は, そのときに僕が取っていたノートを公開します.

注意点

全部の内容をノートに書いている訳でなく, 読んでいて疑問に思った箇所を数式展開したり, コメントとか書いているノートになっています

対象読者: 小南さんのpdfの3, 4章が難しく感じる人

公開した理由は, 自主ゼミをしていて所々行間があるように感じたので(これは小南さんが対象でない読者という節で言及されているように思います), 読んでいて式変形が追えなくて, モヤモヤして気持ちの人がいるのではないかと思ったからです.

小南さんのpdfは3, 4章を理解すれば, 残りの章もすんなり理解できる構成になっていると思います. ただ, 3, 4章が一番難しいと思うので, そこで読み手が挫折してしまって, 折角の素晴らしい強化学習入門pdfに入門できない人が出ている恐れがあります. そう言った方々の助けになれば幸いです.

トンチンカンな内容を書いていたらすみませんが, ご指摘の程よろしくお願い致します.

drive.google.com

参考になるサイト

にのぴらさんが強化学習についての資料や参考書をまとめてくださっているので, 強化学習に興味のある方は覗いてみる事を強くお勧めします.

pira-nino.hatenablog.com

参考書

速習 強化学習

日本語訳verについている付録が素晴らしいです. ただ, 本文の内容は割とあっさり書かれているので, 人によっては評価が分かれると思います. 僕は学部の時に, 関数解析とか確率解析を少々かじっていたのでそこまで抵抗なく読み始められましたが, 行間があるのが多くて難しいと感じました. 所々の内容は認めて読み進めるのが良いと思います.

www.kyoritsu-pub.co.jp

数学書でよくある「〇〇は上と同様にして確かめられる」はしっかりと確認しようというお話

どうもりんちです。

今回は、数学書や演習の授業で先生から配られる解答で、例えばパラメータでの場合分けするときによくある記述で、 a>0の時だけ考えていて、 a \leq 0の時は「 a >0と同様にして示すことができる」という記述を見たら(数学徒としては当然なのですが)よく確かめようという話です。

これは、しっかりやってみると意外と面倒なことが多々あります。

なぜこの話をするのかというと、つい先日、僕がTAをやっている1回生の数学演習の授業準備での出来事がきっかけです。

新型コロナウイルスの影響でTAの僕が担当している数学演習系の授業は、先生が作られる問題をレポート形式で解答し、解答例も先生が作られて演習の時間終了後に公開されるという方法で授業なさっています。

いつもなら僕も1クラスを担当して、チューター役として学部生の発表に突っ込むのですが、コロナの影響でそれができません。。

コロナ禍でのTAとしての仕事は、先生が作られる問題と解答例に不備はないかを確認することです。 僕は毎回問題を自分で解きながら解答例と照らし合わせて、1回生には分かりにくい記述があるのかを確認して先生に報告しています。

今回の事例

該当の問題は、 \varepsilon -  \delta 論法を用いた連続性に関する証明問題についてでした。 (数学系の1回生が壁にぶち当たるポイントの一つですね。。。)

その中で、先生が「  a<0 の時は、 a>0の時と同様に示せる。」という記述を解答例で書かれていたのでいざ確認してみると「これ、 \varepsilon -  \delta論法と三角不等式の扱い方に慣れている人じゃないと厳しくないか?」と思ったので、僕の解答例を先生に送ったら「確かに、 a \lt 0 の時はもう少し丁寧に解答しないと分かりにくいですね。ありがとございます。」という返事が返ってきました。

恐らく、先生確認していなかったんですね(お忙しいので仕方がない)。

とまあ、出題者がしっかりと確認していないことも割とある話だと思いますので、数学を学びはじめの人がしっかりと確認しましょうというお話でした。

ブログ初めてみた

自己紹介

どうも初めまして。りんちと申します。

現在、数学系の大学院に通っているM2の院生です。機械学習の数理と応用について興味を持っており色々と研究しています。 京都にある企業で機械学習エンジニアとしても働かせてもらっています。

2021年4月からは新卒として神奈川の企業で機械学習に関する研究開発を行っていく部門に配属される予定です。

経歴などは以下のLinkeinをみてもらえるといいと思います(TJOさんのまね)。

https://www.linkedin.com/in/daichi-hayashi-0bb007182/

このブログで発信すること

このブログでは、僕が機械学習や数学で気になったことなど技術系の事柄について発信していくつもりです。

就活についても話すかもしれません。 よろしくお願いします。