ややプログラム紀行

博士2年のプログラムに関する日記

モデル複雑度

Aphex Twinが前にSound CloudであげてたやつをStian Gjevikがミックスしたものらしい、今更知ったけどかっこいい

www.mixcloud.com

 

最近、double descentについて知りたいということに起因してモデルの複雑度に興味がいってる*1

この論文が様々なモデル複雑度を紹介、評価してて新参者にありがたいと思った

openreview.net

この論文によるとflat minimaに関する指標とPACベイズバウンドの性能が良かったらしく、今はPACベイズの勉強をしてる

実はこの論文自体は2週間前くらいに読んだやつなんだけど、もう少し見識を広げてから記事に書こうかなとか思ってたら時間が経ってた(そして結局何の情報のない記事を書くことに

 

最近少したるんでいる気がするから、週に10本論文を読むことを目指そうと思う😅

*1:もうちょい細かくいうと

[2003.02139] Rethinking Parameter Counting in Deep Models: Effective Dimensionality Revisitedを読んでflat minimaが重要だということを知り、そっからモデル複雑度に繋がった