ややプログラム紀行

博士2年のプログラムに関する日記

D2

雑記

 

沖縄から帰ったら総括を書こうと思ってたんだけど、気がついたら新学期始まってたし自分は博士2年になってた

今更色々まとめるのも面倒なので書かないけど、今回のサマースクールを通して一番感じたこととして、とりあえず今学期は(出来たら英語で)映画や本にもう少し触れようと思う！😤

沖縄

雑記

eye spliceはラボメンが教えてくれた曲なのだけど、普段hiphopはあまり聞かないから新鮮で良い*1

 

 

気がついたら2月をすっ飛ばしてもう3月になってた、気を抜くとすぐ1ヶ月過ぎてしまう

 

先週から何某のサマースクールで沖縄に来ている*2

毎日朝8時にバスで施設に向かい、200人強くらいの外国人とともに何時間も英語での授業、そして2日に1回くらいポスターセッションを経て宿に戻るのは21時ごろというかなりのハードスケジュール*3

正直自分なんかがこの1週間やり過ごせたという事実がかなり信じられない

おかげさまで夜11時くらいには眠くなり始める真人間っぷりで、今も少し眠い*4

 

基本的に朝から夜まで施設に収容されていて観光する暇などないのだけど、昨日は唯一丸ごと休みが取れる日だったので研究室の人たちとレンタカーで沖縄観光をした

(ホテルのwi-fiがありえん遅く、吟味するのも面倒なので適当に選んだ写真)

 

今までせっかく沖縄に来てたのに全然沖縄感を感じれていなかったのでめちゃくちゃ楽しかった

もう心残りはないし、さあ帰るか...と言いたいけど、まだもう4日ほど残ってるらしい🥹

 

*1:軽率にhiphopという言葉を使うと煩い人に絡まれるらしいということも教えてくれた

*2:調べればすぐ出てくるのでほぼぼかす意味がない

*3:もしかして会社員はこれを40年間続けてるというのか...？😨

*4:めちゃくちゃ眠いはずなのに、それでもボケーっとしてると平気で深夜2時くらいになっているので自分の夜型っぷりが怖い

26

雑記

 

1月19日に誕生日を迎えて、無事26歳になってしまった

26歳を迎えることを無事と形容するのには何だか抵抗があるけど、怪我や病気してないだけ無事なんだと思う

 

8,9,10歳くらいだったのがつい先日のことのように感じる(流石に昔すぎか)けど、もうその2倍以上も生きてるのかぁって考えると人生が早く感じる

そろそろ自分の人生を生きているという自覚を身につけたい、最近少し分かってきた気がするけど多分まだ全然足りてない

 

「誕生日にお得になること」で検索したところ、どうやら誕生日にナムコナンジャタウンやお台場ジョイポリスに行くと入場料が無料になるらしい

というわけで誕生日当日に1人でナンジャタウンに行ってきた

小さい頃は親&姉とよく行っていた記憶があるけれど、もう本当に十数年ぶりだったと思う

 

今のナンジャタウンは経営戦略を少し変えたっぽく、アニメなどのコラボを主軸にしているようだった

規模も昔は2階分の広さがあったのに1階だけに縮小していて、平日なのもあって客より係員の方が多い次第で場末感がえぐかった

「あれ、こんなちゃっちかったっけ...？」と少し思ってしまったり

ただ、僕が一番好きだった、蚊取り線香の乗り物に乗ってアマゾン蚊を退治するアトラクションが健在なのは嬉しかった*1

*1:あまりにお客さんが少ないので、僕がアトラクションに乗ろうとすると後ろから来た係員が「そこでお待ちくださいね！」と言ったのちバックグラウンドに行き、数刻後に同じ人が説明係としてアトラクションの入り口から現れる、ということが何度かあった

生活の振り返り

雑記

 

2024年の目標として「活動時間を倍にする」を掲げていたので、その第一歩として今年に入ってから毎日の全ての行動を記録してみた

今日で記録を始めてから2週間くらいになるので、一旦ここら辺で生活の振り返り&反省をしてみようと思う

 

休憩が多すぎる

なんて悲しい見出しだろう

記録をする前から自分は休憩をしてばっかりなんだろうとは思っていたけれど、それでも思ってた3倍は休憩しかしてなくてびびった

毎日コンスタントに5~6時間ほどは休憩していた、作業をしているときと比べて休憩中は時間の進みが早すぎる

 

生活に費やす時間がいちいち長い

具体的には、歯磨きに30分~1時間、風呂に1時間、食事に1~1.5時間という具合で、何をするにもめちゃくちゃ時間がかかっていた

ちなみに風呂の1時間は、30分間シャワーを浴びて、浴室から出て次の行動をできるようになるまでもう30分、と言う具合

朝起きられないタイプなので食事は昼食と夕食の2回になることが多いけど、それでも単純計算で毎日4時間ほど費やしている

 

深夜に時間を無駄にしている

自分はかなり夜型なので、深夜2~3時くらいまでは作業をしていることが多いのだけど、その作業を終えてから風呂に入って寝るまでの「風呂入るのめんどくさいな〜」フェイズがかなり無駄時間になっていた

大体2~3時から風呂に入る5~6時くらいまでなので、3時間ほどダラダラ過ごしているらしい

夜はずっと真っ暗だし1人でぼーっとしているだけなので時間の経過がわかりづらかったけど、これはニートが部屋でこもってネットサーフィンをしている光景となんら変わりないと言う自覚を持ちたい

 

睡眠が少し長い

5~6時頃に寝て、大体13~15時くらいに起きていたので、毎日9~10時間くらい寝ている

ただ、この睡眠時間はベットに入った瞬間から起きるまでの時間なので、実際はこれに寝付くまでの時間も含まれていることを考えると許容範囲内じゃないかなと思っている

 

以上を総括すると、生活に関わる時間+休憩だけで1日24時間のうち21~23時間を費やしていることになる

こりゃ活動時間も短いですわ

 

ただ、記録をしたおかげで反省点もだいぶわかった気がする

なんとなくこんな感じの生活を続けて終わるのを回避できただけでもよしとしたい

反省点は優先度順に、

  • 深夜のグータラ時間を減らす、9時間睡眠を確保することを考えると2時くらいには寝る必要がある
  • 夜になると風呂に入るのが億劫でしょうがないのだけど、これは風呂に入ることで1時間タイムワープする(= 寝る時間がさらに遅くなる)からだと考えると納得がいく
    例えば4時ごろになってしまうと、そこから風呂に入って寝るのが5時以降になってしまうので、「生活崩壊してしまう！😫」と言う焦りで余計風呂に入りたくなくなると言う最悪の悪循環にハマっていると思う
    2時までに寝たいなら、その1時間前の1時までには風呂に入らなければいけない
  • 歯磨き、風呂、食事をもう少しキビキビやる
    自分は食事はゆっくり味わって食べたい派なので、以前は食事に時間がかかっていることを自覚しつつも改善しようとは思っていなかった
    ただ、活動時間を増やしたいならある程度食事の時間を短くするのも避けられなさそう
    ひとまず1時間かかっているところを40分程度に短縮したい
    歯磨き、風呂に関してはRTAをやる気分で急ぐしかない

こうして書くと「何を当たり前のことを...」と思われているに違いないけど、当たり前のことを明示的に書かないとできないのが社会不適合者の辛いところである

 

とりあえず次の2週間は上記の反省点を改善できるように頑張ってみようと思う

ちなみに理想としては

  1. 8時起床
  2. 9時までに歯磨きと朝食
  3. 12時すぎに昼食を30分で食べて30分ほど昼寝
  4. 6時ごろ帰宅、先に風呂入ってから30分ほど夕飯
  5. 24時就寝

と言う感じの生活がしたい(小学校低学年の頃こう言うのを書かされる宿題があった気がする)

log-Sobolev不等式

確率



去年最後に投稿した記事でPoincaré不等式について書いたので、その続きで今回はlog-Sobolev不等式について軽く&フォーマルに書こうと思う

Markov過程が均衡状態に収束していく様子はある意味で熱伝導方程式のように捉えることもできて、その様子を分散の指数関数的収束で特徴づけるのがPoincaré不等式だと言える
一方、(自分的には)熱の伝導といえば熱力学第二法則、すなわちエントロピーの増大を思い出すが、Markov過程の均衡への収束をエントロピーの観点から特徴づけるのがlog-Sobolev不等式である

ここではエントロピーを以下のように定義する: 測度 \nuと関数 f \geq 0に対して

\displaystyle \begin{align*} \operatorname{Ent}_\nu(f) := \int f \log f d\nu - \left(\int f d\nu\right) \log \left(\int f d\nu\right) \end{align*}
\left(\int f d\nu\right) \log \left(\int f d\nu\right) は正規化項のようなもので、 \int f d\nu = 1であれば \operatorname{Ent}_\nu(f) = \int f \log f d\nuと見知った形になる

log-Sobolev不等式はエントロピーの時間経過による収束率の不等式なので、まずはとりあえず時間で微分してみると、エントロピーとFisher情報量を繋ぐ次の等式が得られる

(de Bruijn's identity) 関数 f \geq 0に対して

\displaystyle \begin{align*} \frac{d}{dt} \operatorname{Ent}_\nu(P_t f) = -I_\nu (P_t f) \end{align*}

上式に登場する I_\nu がFisher情報量で、carré du champ operator \Gamma(g,h) = \frac{1}{2}[L(gh) - gLh - hLg] を用いて I_\nu (g) := \int \frac{\Gamma(g,g)}{g} d\nu として定義される
特に、Fisher情報量は常に非負なので、de Bruijn's identityはエントロピーの単調減少性を示している*1

これ以降では、具体例として前回同様Ornstien-Uhlenbeck過程 dX_t = \sqrt{2}dW_t - X_t dtとその定常分布である標準正規分布 \muについて考えてみる

まずおさらいとして、Ornstein-Uhlenbeck過程のinfinitesimal generator L_{\mathrm{OU}} は L_{OU} = f'' - xf' と書けるので、carré du champ operator \Gamma_{\mathrm{OU}} (f,f) は

\displaystyle \begin{align*} \Gamma_{\mathrm{OU}} (f,f) = \frac{1}{2}\left[ L_{\mathrm{OU}}(f^2) - 2fL_{\mathrm{OU}}f \right] = (f')^2 \end{align*}

また、Ornstein-Uhlenbeck過程はMarkov semigroupが標準正規分布に従う確率変数 Gを用いて

\displaystyle \begin{align*} P_t f = \mathbb{E}\left[ f\left(e^{-t}x + \sqrt{1-e^{-2t}G} \right) \right] \end{align*}
と書けるので、その xによる微分は
\displaystyle \begin{align*} (P_t f)' = e^{-t}P_t \left(f'\right) \end{align*}
と表せる

これらを用いると、 P_t fのFisher情報量は

\displaystyle \begin{align*} I_\mu (P_t f) &= \int \frac{\Gamma_{\mathrm{OU}}(P_t f,P_t f) }{P_t f} d\mu \\ &= \int \frac{{\left(P_t f\right)'}^2}{P_t f} d\mu \\ &= \int \frac{e^{-2t} \left(P_t(f')\right)^2}{P_t f} d\mu \\ \end{align*}
さらに P_t (f') = \mathbb{E}[ f'(X_t) \mid X_0 = x] が積分であることを思い出せば、Cauchy-Schwarz不等式 \left(P_t(f')\right)^2 \leq (P_t f) (P_t \frac{(f')^2}{f} ) より
\displaystyle \begin{align*} I_\nu (P_t f) &= \int \frac{e^{-2t} \left(P_t(f')\right)^2}{P_t f} d\mu \\ &\leq e^{-2t} \int P_t \frac{(f')^2}{f} d\mu \\ &= e^{-2t} \int \frac{(f')^2}{f} d\mu \\ &= e^{-2t} \int \frac{\Gamma_{\mathrm{OU}} (f,f)}{f} d\mu = e^{-2t} I_\mu (f) \end{align*}
となる、ただし3行目の式変形は \muが定常分布であることを用いている(すなわち \int P_t g d\mu = \int g d\mu )

以上の議論とde Bruijn's identityより \frac{d}{dt}\operatorname{Ent}_\nu(f) = -I_\mu (P_t f) \leq -e^{-2t} I_\mu (f)、すなわち

\displaystyle \begin{align*} \operatorname{Ent}_\mu(f) &= \lim_{t \to \infty} \operatorname{Ent}_\mu(P_t f) + \int_\infty^0 \frac{d}{dt}\operatorname{Ent}_\nu(f) dt \\ &\leq \lim_{t \to \infty} \operatorname{Ent}_\mu(P_t f) + I_\mu (f) \int_0^\infty e^{-2t} dt \\ &= \lim_{t \to \infty} \operatorname{Ent}_\mu(P_t f) + \frac{1}{2} I_\mu (f) \end{align*}
ところで t \to \inftyで P_t f \to \int f d\muとなるので*2 \lim_{t \to \infty} \operatorname{Ent}_\nu(P_t f) = 0となることから、以下の不等式が得られる

(log-Sobolev inequality for the Gaussian measure) 任意の(適当な)非負関数 f \geq 0と標準正規分布 \muに対して

\displaystyle \begin{align*} \operatorname{Ent}_\mu(f) &\leq \frac{1}{2} I_\mu (f) \end{align*}

ちなみに一般的にFisher情報量 I_\nu (f) は I_\nu (f) = 4\int \Gamma \left(\sqrt{f},\sqrt{f}\right) d\nu とも表せるので、上の式は任意の(適当な) fに対して

\displaystyle \begin{align*} \operatorname{Ent}_\mu(f^2) \leq 2\int \Gamma_{\mathrm{OU}} \left(f,f\right) d\mu = 2\int (f')^2 d\mu = 2\mathcal{E}(f) \end{align*}
が成り立つ、とよりPoincaré不等式と比較しやすい形に読み替えることができる


一般的にあるMarkov過程と確率分布 \nuが「任意の(適当な)関数 fに対して \operatorname{Ent}_\nu(f^2) \leq 2C\mathcal{E}(f) + D\int f^2 d\nu」を満たすときにlog-Sobolev不等式 \operatorname{LS}(C,D)を満たすと言う
上の例で言えば、Ornstein-Uhlenbeck過程は \operatorname{LS}(1,0)を満たす、となる
なお、 \operatorname{LS}(C,0)はPoincaré不等式より強い主張であることが知られている
実際、 \int g^2 d\nu = 0となる gを用いて f = 1 + \epsilon gとおけば \mathcal{E}(f) = \epsilon^2 \mathcal{E}(g^2)および

\displaystyle \begin{align*} \operatorname{Ent}_\mu(f^2) = 2\epsilon^2 \int g^2 d\nu + o(\epsilon^2) \end{align*}
が成り立つので、 \operatorname{LS}(C,0)を満たすときPoincaré不等式 \operatorname{Var}_\nu(g) = \int g^2d\nu \leq C\mathcal{E}(g)も満たされる

*1:エントロピーが増加どころか単調減少しとるやないかい！とツッコミが入りそうだが、ここで定義されているエントロピーはどちらかと言うとKLダイバージェンスに近いもので、 \operatorname{Ent}_\nu(f)の減少は分布が定常分布 \nuに近づくことを意味する

*2:Ergodicityという

2024

雑記

明けましておめでとうございます！

気がついたらもう2024ですが、今年もよろしくお願いします🎍

 

今年の目標は「活動時間を2倍にする」です

とりあえず食事や休憩時間などを記録するアプリ入れてみたら、すでに6時間くらい休憩してました

デュエルスタンバイ！

Poincaré不等式

確率

気がつけばもう今年も終わりだ
今年は何もしてないわけではない(と思う)のでその点は自分を褒めたいけど、振り返って反省点を挙げるならとにかく活動時間の短さだと思う
周りの博士課程の人たちが毎日朝から夕方まで社会人のように研究してて、(自分もそんなに研究したら毎月論文書けるわ！)なんて思ったりしてたけど、流石にそろそろ態度を改めた方がいい気がしてきた😰
何となく研究に充てる時間を増やせばそれに反比例して効率が下がりそうで甘えていたけど、多分今の活動時間を2倍にしても何も効率は変わらない
というか現状が0*(効率)=0でやばい

最近電車に乗っている間などにMarkov過程とそれにまつわる不等式まわりの本↓を読んでたので、それについて軽くまとめようと思う
link.springer.com
毎回軽くと言いつつ少し長文になってる気がするので、今回は本当に適当&フォーマルにまとめる


Markov過程の詳しい定義は省略するとして、Markov過程 X=(X_t)_{t \geq 0} に対応して次のような演算子が考えられる: 各時刻 tと適当な実数値関数 fに対して

\displaystyle P_t f(x) := \mathbb{E}\left[f(X_t) \mid X_0 = x \right]
こうして定義される演算子の族 P = (P_t)_{t \geq 0} は任意の t,s \geq 0に対して P_t \circ P_s = P_{t+s} を満たす、すなわち半群になっているのでMarkov semigroupと呼ばれる
引数の fはそれなりに広いクラスを取れるので、Markov過程の挙動をMarkov semigroup P=(P_t)_{t \geq 0} を通して考えることができる

Markov過程といえばMarkov性、すなわち時刻 tでの変化がそれ以前の時刻 s < tでの状態に依存しないという性質を持つので、Markov semigroupの時刻 tでの瞬間的な変化、すなわち微分に注目したくなる
そこで次のような演算子、infinitesimal generatorが考えられる

\displaystyle L: f \mapsto \partial_t P_t f|_{t = 0}
Markov semigroupの線形性より \frac{1}{s}\left[P_{t+s} - P_t\right] = P_t\left(\frac{1}{s}[P_s - 1]\right) = \left(\frac{1}{s}[P_s-1]\right)P_t 、 s\to 0とすれば \partial_t P_t|_t = P_tL = LP_t が成り立つので、逆にinfinitesimal generator LからMarkov semigroup Pを構成する、ということも考えられる

例えば有名なMarkov過程としてOrnstein-Uhlenbeck過程を考えてみると、これは確率微分方程式

\displaystyle dX_t = \sqrt{2}dW_t - X_t dt
に従う( (W_t)_{t \geq 0}はWiener過程)確率過程 X=(X_t)_{t \geq 0}として定義されるが、これのMarkov semigroupは
\displaystyle P_t f(x) = \mathbb{E}\left[ f\left(e^{-t}x + \sqrt{1-e^{-2t}}G \right) \right]
( Gは標準正規分布に従う確率変数)、またinfinitesimal generatorは
\displaystyle L_{\mathrm{OU}}: f \mapsto \partial_t P_t f|_{t = 0} = f'' - xf'
となることが示せる

実は、 L_{\mathrm{OU}} の固有ベクトルはHermite多項式によって与えられることが知られている:

\displaystyle e^{sx - s^2/2} = \sum_{k \in \mathbb{N}} \frac{s^k}{\sqrt{k!}}H_k(x)
によって定まる多項式 H_0(x) = 1,\ H_1(x) = x,\ H_2(x) = \frac{1}{\sqrt{2}}(x^2-1),\dots は
\displaystyle -L_{\mathrm{OU}}H_k = k H_k
を満たす

さらに (H_k)_{k \in \mathbb{N}} は \mathbb{L}^2(\mu) ( \muは標準正規分布)の正規直交基底なので、関数 fは

\displaystyle f = \sum_{k \in \mathbb{N}} a_k H_k
と表すことができ、
\displaystyle -L_{\mathrm{OU}}f = \sum_{k \in \mathbb{N}} ka_k H_k
と書ける

そもそもinfinitesimal generator L_{\mathrm{OU}} はMarkov semigroup P_tの時間微分 L_{\mathrm{OU}}f = \partial_t P_t fだったことを思い出すと、 P_tf = \sum_{k \in \mathbb{N}} e^{-kt} a_k H_kという関係式が得られる

以上のことから、 t\to\inftyで P_t f \to a_0 H_0 = a_0に \mathbb{L}^2(\mu)収束することがわかるが、これはMarkov過程が t\to\inftyで平衡状態に収束している様子の現れと言える
より厳密に \mathbb{L}^2(\mu)収束の様子を調べると、

\displaystyle \begin{align*} \left\|P_tf - \lim_{t \to \infty}P_t f\right\|_2^2 &= \left\|\sum_{k \in \mathbb{N}} e^{-kt} a_k H_k - a_0 \right\|_2^2 \\ &= \sum_{k \geq 1} e^{-2kt}a_k^2 \\ &\leq e^{-2t} \sum_{k \geq 1} a_k^2 \\ &= e^{-2t} \left\| f - a_0 \right\|_2^2 \end{align*}
\operatorname{Var}_{\mu}(f) = \left\| f - \int fd\mu \right\|_2^2と定義すれば a_0 = \int fd\muより左辺は \operatorname{Var}_\mu(P_t f) 、右辺は e^{-2t} \operatorname{Var}_\mu(f) と書けるので、上の式はMarkov semigroup P_tが指数関数的に均衡に収束していることを表す不等式になっていることがわかり、「Ornstein-Uhlenbeck過程と正規分布 \muはPoincaré不等式を満たす」という

今までの議論はinfinitesimal generatorが \mathbb{L}^2(\nu)空間の正規直交基底 v_0,v_1,v_2,\dotsで固有分解できれば同様のことが言える
具体的には、 v_0,v_1,v_2,\dotsに対応する固有値を \lambda_0 = 0 > \lambda_1 > \lambda_2 > \dotsと書けば

\displaystyle \begin{align*} \operatorname{Var}_\nu(P_t f) &= \sum_{k \geq 1} e^{-2\lambda_k t}a_k^2 \\ &\leq e^{-2\lambda_1)t} \sum_{k \geq 1} a_k^2 \\ &= e^{2(\lambda_0-\lambda_1)t} \operatorname{Var}_\nu(f) \end{align*}
となり、その収束率 e^{2(\lambda_0-\lambda_1)t}の形からspectral gap不等式とも呼ばれる
ちなみに \lambda_0 = 0となるのは L1d = \partial_t P_t 1 = 0が成り立つことによる

なお、一般的に「分布 \nuがPoincaré不等式を満たす」といえばDirichlet form

\displaystyle \mathcal{E}(f) := -\int fLfd\nu
を用いて「適当なクラスの任意の関数 fに対して \operatorname{Var}_\nu (f) \leq C\mathcal{E}(f) ( Cは定数)」を指すことが多いが、これは「任意の f \in \mathbb{L}^2(\nu)に対して \operatorname{Var}_\nu (P_tf) \leq e^{-2t/C} \operatorname{Var}_\nu (f)」と等価であることが示せる
\operatorname{Var}_\nu (P_tf) \leq e^{-2t/C} \operatorname{Var}_\nu (f)からはテイラー展開 P_t f = f + tLf + o(t)より
\displaystyle \int \left(P_tf\right)^2d\nu = \int f^2 d\nu - 2t\mathcal{E}(f) + o(t)
となり、右辺 e^{-2t/C} = 1 - 2t/C + o(t)と見比べれば良い
逆に \operatorname{Var}_\nu (f) \leq C\mathcal{E}(f) からは等式 \frac{d}{dt}\operatorname{Var}_\nu(P_t f) = -2\mathcal{E}(P_t f)を利用することで \operatorname{Var}_\nu (P_tf) \leq e^{-2t/C} \operatorname{Var}_\nu (f)が示される

いずれにせよMarkov過程における均衡への収束スピードを評価した式になっており、これは機械学習の分野でもMarkov Chain Monte Carloや確率的勾配降下法のLangevin dynamics的解釈などMarkov過程の収束スピードを知りたくなる場面は多いので、シンプルでありながら有用な不等式になっている

Ornstein-Uhlenbeck過程の場合をもう一度考えてみると、部分積分より

\displaystyle \mathcal{E}(f) = -\int fLfd\mu = \int {f'}^2d\mu
となるので \operatorname{Var}_\mu (f) \leq \mathcal{E}(f) = \int {f'}^2d\mu が成り立つ

同様のことが \mathbb{R}^n上の正規分布に対しても言える

(Poincaré inequality for the Gaussian measure) \muを \mathbb{R}^n上の標準正規分布とするとき、任意の(適当な)関数 f:\mathbb{R}^n \to \mathbb{R}に対して以下が成り立つ:

\displaystyle \operatorname{Var}_\mu (f) \leq \int_{\mathbb{R}^n} |\nabla f|^2d\mu

この式にはもはやOrnstein-Uhlenbeck過程が登場していないことに注目したい
このように、Markov過程の均衡への収束率を調べることによって、同時に定常分布についての不等式が得られることが度々ある(自分の興味はどちらかというとこっち)