notebookLMのポッドキャストにも論文を解説してもらう

misreading.chatというポッドキャストをたまにやっている。森田さんと二人、毎回どちらかが何らかの論文を読んできて紹介するというポッドキャストだが、性懲りもなく続けている。

さてGoogleのnotebookLMに、アップロードしたドキュメントをベースにしてポッドキャストベースの音声対話を自動合成してくれるという機能が最近入った、というのはmisreading.chatでも冒頭で話されたことがあった。

それで自分の回の論文でも話してもらってどんなものか見てみますか、といっぺんやってみることにした。題材はこないだ公開された GSM-Symbolic という論文だ。

音声はこちら。

https://notebooklm.google.com/notebook/bb23e1ac-d4bb-4cb4-beea-02adbe5a05cd/audio

20分ほどで手際よく解説されている。終盤、そんなこと書いてあったかな、conclusionsの部分の適当に読んでた部分をかなり丁寧に拾ってる感じかな、と思うが、全体的によくまとまっている。わかりやすい。バランスの取れた感じなのも好感が持てる。翻って自分のは……センセーショナルな部分を取り上げ過ぎか、という気もするが、自分の興味のある部分を重点的に解説していたな、とも思える。一方、例えばGSM-Symbolicの具体的な構造や、個別の問題がどのように改変されるのかといった例などは自分は興味深く思ってるので詳しく話したつもりだけど、AI要約ではごく簡単な言及で済まされていたり具体例には乏しかったりしているような気がする。実際そういう話は要約としては不要なのは確かなのだが、結果として、AI側はややふわっとした内容になってしまっているような気もする。

それにしてもLLMの能力の(ある種の)限界について論じた論文をLLMにトークしてもらうというのは何というかこう……入り組んだ何かだな、という気がして興味深い。まあいいです。

もう一個べつなネタとして、少々前だがCVMアルゴリズムというストリーム内の要素の種類の数を概算する確率的アルゴリズムの回を与えてみた。この回はメインの論文とKnuthの解説記事を両方与えて生成している。

https://notebooklm.google.com/notebook/f80dc7a8-2ef5-4ef7-8341-3aeed7b8f622/audio

これも確かによくまとまっているし、内容を的確に要約している。しているが……アルゴリズムの具体的な話も、証明の概略も、特にあんまり説明されていない。このアルゴリズムのキモはなんなのか、という話もなくて、全体的にふわっとしている印象がより強まっている。気がする。

というわけで、機能としては本当に素晴らしいのだけど、自分たちのポッドキャストの競合なのか?というとよくわからないな、という気もしてきた。もちろん、もうすこし微調整ができたりするとこの辺はどうにでも変化しうる気もするし、現状でもかなりポッドキャスターとしては脅威という気もするけど、やっぱそれとはすこし違う何かなんだろうなというふうに思った方が適切な気もしてきました。

そもそもAIに要約してもらう時にポッドキャストの形態で教えてもらいたいものなんだろうか? 実験プロジェクトなのでそういうことをいうのも変だし、論文紹介ポッドキャストをやっている身でいうのも何だが、あんまり実際のニーズはなさそうではある。なさそうではあるが、生成物は大変興味深いので面白いんだよなぁ。