人工的なノイズが耳につくようで、同時にブリザードのような自然の険しさが想起されてめちゃくちゃカッコいい
デスストみたいな情景が思い浮かぶ
Rakkaについて調べてたらついでに知って、再生して5秒でお気に入り登録した
この曲に関する情報が少なすぎる
double descentに関する論文を漁ってたころ、どの論文もrandom matrix theoryの知識を前提としてて辛かったから、今になってそれに関する本を読んだ
https://terrytao.files.wordpress.com/2011/02/matrix-book.pdf
著者はあのテレンスタオさん
エクササイズ解いてないし証明も所々読み飛ばして爆速で読んだんだけど、それでもrandom matrix theoryではモーメント法、Stieltjes transform、concentration of measureとかが重要で、central limit theoremの代わりにsemicircular lawやcircular lawがあるんだなーとか程度は分かった(雑
theoryと名がついてるくらいだから何か大きな基盤があってその上で色々議論するものかと勝手に思ってたけど、中身はかなりのゴリ押し解法が多かった*1*2
本の構成は理路整然としていて流れは分かりやすいんだけど、証明をちょくちょくエクササイズにしていることが多くて、しかもどのエクササイズも激重っぽいから、証明を丁寧に追いたい場合は
とかを参考にするのもいいかもしれないなと思った*3
そして何より、改めてHigh Dimensional Probabilityに登場するテクニックとかは滅茶苦茶綺麗に整備されてたんだなと感じた*4
とりあえず自分の頭の整理も兼ねて今度RMTに関する記事みたいなのを書いておきたい
あとこれは完全に浅い考えだけど、ニューラルネットワークが行列演算である以上double descentの証明とかもRMTを用いてなされるものが多いけれど、double descent自体はその偏在性からしてもっと高レベルの話、例えば情報論的な議論で説明できるような気がしてるし、それで得た知見をRMTに逆輸入して行列の条件数に関する定性的なお話ができるんじゃないかなーと夢想してる、double descentの最新情報追えてないけど
P.S.
書き終わってからネットサーフィンしてて見つけたけど
もいろんなテクニックが載ってて良さそう
*1:例えばモーメント法、つまり行列の全モーメントを計算してスペクトル分布を確定させる手法は、実際に要素ごとの積を(工夫も当然しながらだけど)計算するというもので、あまりの筋肉っぷりにゲンナリした
*2:同時にゴリ押し力の強さに、自分じゃ絶対無理だなと思った
*3:あとこっちの本にはsample covariance matrixに重点をおいたセクションも多くて統計モチベのある人に向いてるかもしれない
*4:もちろん扱ってる内容も微妙に違うし、計算がめんどくさい箇所がカバーされてないだけって話もあると思うけど、テレンスタオさんやバイさんの本から約10年ほど後にHDPは出版されていて、その分理論の区画整備がなされたのかなとも感じた
