結局起きたのが19時という大惨事だった(日常茶飯事
時間を測ってみると自分が思ってるよりはるかに休憩していることがわかる
逆に研究にかなり時間を割いているつもりでも実際には2時間だけだったりして、これがわかっただけでも時間計測した価値あったと思う
今日はcontinual learningのサーベイを読んでいた
そもそも問題設定が明確に定まってないゆえ各手法で想定されている設定が異なっていて、それらの性能を比べるということ自体が難しいって印象を受けた
実際の比較方法も少し🤔となる部分がある
例えば登場する手法はどれも課題の性質上stability-plasticity dilemmaという、古い知識の温存(stability)と新しい課題への順応(plasticity)のどちらを優先するかに関するハイパーパラメーターがあり、その程度を全手法で揃えるために論文では各手法に対して
- 前の課題を無視した時にどれほど新しい課題に順応できるか(maximal plasticity search)を調べ
- ハイパーパラメーターをstabilityが最大に設定した状態から初めて①で得られたスコアのp割を達成できるまでplasticityをあげるようにハイパーパラメーターを減少させていく
という処理をしているのだけど、まずstability-plasticityに影響を与えるハイパーパラメーターを綺麗に特定できるのか、そしてそのパラメーターを減少させていくと単調にstabilityが減少しplasticityが増加するのかというとこあたりが少しもにょる
それでも関連する手法についてのまとめはありがたいし、実験の結果をみると概してelastic weight consolidationやpack netあたりの成績がいいんだな〜ということは分かるので、そこらへんも少し調べてみよう
continual learningの研究を見ていると、モデルに与えられる一連のタスクが事前に分かれている、もしくは与えられた入力がどのタスクに属するか既知な状態で学習が進められることが多いみたいだけど、そういうのが未知な場合どうするべきかみたいなことが気になってくる
