本記事は研究コミュニティ cvpaper.challenge Advent Calendar 2025の6日目の記事です。
古来より「桃栗三年D十年」*1とはよく言ったもので、人を博士まで育てるには長い時間がかかります。しかし、「D十年」は転じて「叶う年」とも読むことができ、D進してから十年目は何かが叶う年だと言っても過言ではないでしょう・・・そんな妄言が事実になる日を楽しみに日々を過ごしています。こんにちは、品川です。
気づけばD進してから10年が経過していました。年の瀬も近いことですしここはひとつ、1年と言わず10年分を振り返ってみようかなと思います。ただ駄文だけではご覧いただくのに申し訳ない&普段から好き勝手D進芸を披露してお目汚しをしているので、心ばかりのお礼お詫びとして、これからD進する・するかもしれない・してしまった方々に向けて心構え的なおススメTipsもところどころで述べておこうと思います。
2015年4月、D進ことはじめ
D進しました。
— Seitaro Shinagawa (@sei_shinagawa) 2015年3月31日
東北大学における学部時代、週6日練習をする柔道部に所属して主務も務め、俗に言うガクチカを十分に保持しておきながら知ったことかとD進してしまいました。誰に望まれたわけでもなく、相談したわけでもなく、親には事後報告です。あの時の私の行動力は神がかっており、誰も私を止められませんでした。
なぜD進したのだろうかと自分に改めて問いかけてみると、一言で言えば心躍る冒険をしたいという気持ちが強かったのだろうなと思います。大学柔道部時代に首を怪我して柔道選手としては再起不能になり、自分の熱を向ける矛先の不在にくすぶっていたこと、ちょうど深層学習が日本でも流行り始めた段階でこの先面白くなりそうな予感があったこと、記号創発システム論にも出会って画像と言語の紐づけがコミュニケーションのプロセスの中で生じる過程をAIでもやってみたいという研究としての興味の対象ができたこと、学部修士を通して身に着けられると期待したスキルがあまり身に着いた感じがせず、もうより良い環境で訓練を積みたかったことなど、様々な材料が重なりました。対して修士就活はよくわからん企業を付け焼刃で調べていきなり自分の将来を預けるのが不安というのがあり、あまりワクワクしなかったのです。D進後の世界というものはどうなるか不確実過ぎて見当がつきませんでしたが、なんとかやれるだろうという根拠のない自信だけはあり、これから迫りくるであろう冒険にワクワクしていました。
博士課程の洗礼
博士課程の研究室として重視したのは学生がたくさんいて生き生きしているかどうかでした。学部修士は少人数の研究室だったのもあり、博士課程から在籍していたNAIST知能コミュニケーション研究室では輪講やゼミ、勉強会だったりレクリエーション的な催しのある研究室生活は新鮮で楽しいものでした。誤算だったのは、やはり研究室教育というのは当時学生の私が期待していたものではなかったこと、私が身の程知らずで特に生活習慣がよろしくなく、体調を崩しがちだったことです。
研究室教育への期待と現実のギャップ
東北大学柔道部では最上級生が幹部として部の運営を担う仕組みを採用しており、自分や部の仲間も、部員一人一人の成長戦略を考えて全体の練習メニューを組み、先輩の技を後輩にいかに伝えていくか、効率的な練習方法は何かを追求していくことをしていました。七大学柔道部というのは伝統的に15名vs15名の団体戦という特殊な試合ルールを採用しており、部員獲得が死活問題になります。ゆえに、一人一人を大事に、強く成長させるという考え方があります。私もこの信条を持つ一人です。
当時学生の私が期待していた研究室教育にもそのようなものを期待していたところがあったのですが、実際にはこれといったカリキュラムがあるわけではなく、教員から学生に技術を伝授する仕組みや先輩学生から後輩学生に技術を伝達する仕組みは弱いなと感じていました。しかし、間違いなく当時の知能コミュニケーション研究室は先輩学生が後輩学生の面倒をみるという仕組みづくりではアカデミア最高峰にあったのではないかと思います。勝ち負けが明快に決まる柔道競技と異なり、対戦相手がいないこともあればチーム戦にならず個人競技に近い営みになりがちな研究・大学研究室教育にあってここまでの仕組みを構築したボスの手腕には舌を巻いたものの、一筋縄ではいかないのだなと思う気持ちと、まだまだ伸びしろがあるのではないかと思ったのが正直なところです。
こうして研究室教育というものに色々な想いを積もらせ始めたのが、D進を趣味として発現するに至る下地となっていた気がしています・・・ 研究だけでなく研究室教育という営み自体にも興味が湧き、その一環として、色々と研究のテクニックや心構えなどを趣味で調べるようになりました。
ソースとしては、研究室で教えてもらった資料や、twitterで流れてきた資料、学会や勉強会の資料をストックしていったという感じです。 これを毎年行っている研究室のM1向けの勉強会を機に自身の経験も加えてまとめて、「AHC-Lab M1勉強会 論文の読み方・書き方」を作って公開してみたところ、予想以上の反響があり、色々な方に名前を覚えていただくきっかけになり嬉しかった記憶があります。特に大学の先生方が研究室の学生さんに「これを読むべし」と紹介してくださったらしく、2,3年後に学会や勉強会で初対面の学生さんにお会いした際に「あの資料を最初拝見して学びました」と言ってもらうこともたびたびありました。ちょっとした有名人になった気分で気恥ずかしさも感じつつも、こうして喜んでもらえるならやって良かったなと思いましたし、研究室教育に寄与するにはこういう方法もあるのだなと視野が広がりました。
そういえば留学してないなとトビタテに応募して留学しようとしてトラブルでトビタテないかもしれないのを教員に助けてもらったりして留学したりもして充実した研究生活を送りながら、帰国後要件になる論文誌と博士論文をなんとか提出し、公聴会が終わった後は空が黄色くて「これが幸せの色か・・・」となったのは今でもよく覚えています。思えば好き放題させていただいてしまったという感じはあり、この辺のご恩は後世に報いていければと思っています・・・
おまけ：指導教員という存在を学生はどう捉えていけば良いか？
指導教員と学生の関係とはどのような関係だと考えて、あるいは想像してらっしゃるでしょうか？
- コーチとプレイヤー？
- 上司（マネージャー）と部下？
- ジムのパーソナルトレーナーと顧客？
- コンサルと雇い主？
- テナントオーナーとそのテナントで働く自営業者？
- 雇用者と被雇用者？
実際には多様な関係性が重なり合って存在しており、時と場合に応じて目まぐるしく変化したりもします。私がD進した当時はどう思っていたかというと、すごい研究室というのは、入ったら教員から色々指示を出されて、研究を通じたトレーニングをしてもらえると思っていました（運動部のイメージ）。しかし現実はそうではなく、自分が何かをして教員に相談しに行くと何かアドバイスをもらえるという仕組みであることが多いように思います。適切なタイミングで適切な粒度の相談をするスキルも重要でした。私は当時これが壊滅的に苦手で、この10年で一番伸びたのもこのスキルかと思います。
学生の立場から見ると、教員が自分をどう扱いたいのか気になるところですが、ぶっちゃけわからないことが多いです。私も学生の時はよくわかりませんでした。自分が教員になってからは、自分の先生方は学生の自主性をできるだけ促すために、時にはコーチとして、またある時には上司として…と学生の状況を見て使い分けてくれてたんだなということが分かってきました。
自主性というとなんかとりあえず自分で色々手を動かせば良いのかという話になりがちですが、ここでの自主性というのは研究プロジェクトの最終責任の所在が自分にあることを自認して行動することなのではないかと思っています。もう少しわかりやすく言うと、自身の研究プロジェクトにおいては自分がマネージャーであり、教員はそのプロジェクトを成功させるためのリソースだと考えるということです。この考えに立つと、自分が実行可能な行動というのは予想以上に広いです。例えば以下のような行動がありえると思います。
- 自分のやりたい研究について、教員のコネをつかって詳しい人に弟子入りを志願する
- 教員にボールがわたっているタスクについて、進行が遅ければ適宜問い合わせる、期日に間に合わなければ合意と見なして先に進むと宣言しておく
- 自分の研究領域について、教員がアドバイスできるように教員に自分の研究分野の動向や技術をレクチャーするつもりで研究報告や相談をする
昔、ある先生が「学生が教員を教育す（るつもりでいる）べき」という投稿をXでされて「教員なんだからちゃんと教育をしろ！学生に甘えるな！」とプチ炎上したことがありましたが、学生の立場に立つと本当に教員を教育するつもりでいるべきだと思います。自分のプロジェクトにおいて教員をリソースとしてうまく使う上で、教員の知識が博士学生の研究トピックに追いついてないのならば教員にレクチャーをして有益なコメントがフィードバックに出てくるように訓練するのもあり得る話です。
※こういったことはある程度経験を積んできた博士学生だからできることで、学部修士くらいだとまだわからないことが多すぎて難しいのではないかと思います。学部修士くらいの方は一通り研究を一周回して経験を積むのが先決だと思っています。
上記のようなことが当たり前になってくると、基本となるコミュニケーション方法にも変化があります。代表的なのは、人に質問やアドバイスをしたりする際に、自分なりの意見や仮説としての選択肢を持つようになることです。これは相手になるべく即応してもらいやすいようにする工夫としてだけではなく、自分で仮説を立てて立証するプロセスが入るという点で、考える訓練になります。この辺のスキルはどこに行っても役に立ちますし、主体性のある人間として評価してもらいやすくなるので、D進するしないに関わらず、学生の間に自分で意識して練習しておくのもおススメだと思います。
身の程知らずで体調を崩しがちだった件について
若かったし四六時中研究できるぞ、といって効率化をおろそかにしていたのは反省すべき点でした。 ちゃんと研究にかけてる時間を計測するとかすればもっと成果がちゃんと出たでしょうに・・・ 学生時代の研究生活はそれ自体も自分が高いパフォーマンスを維持するために色々試しながら自分を学ぶ良い機会だったのだなあと思っています。 この辺は2022年のAdvent Calendarで書いた「メタ視点の研究効率化Tips（研究生活のデザイン）について」で詳しく取り上げたので、ご興味あればぜひ。
ちなみに助教になってからは既にだいたい毎日死にそうだったので、逆に生活習慣はまあまあ自然と修正されました（寝不足になると即死ぬことが分かっていたので・・・）
cvpaper.challengeとの出会い
MIRU2018で札幌に行った時のMIRU若手プログラムで片岡さんに出会い、異分野サーベイで八木さんと同じチームでポスターを一緒に作ったりしていたのが今思うとcvpaper.challengeと接点を持つきっかけになった気がします。cvpaper.challengeは2015年5月に既に始まっており、後日片岡さんに誘っていただいて参画しました。
私自身はあまり貢献できた感がないのですが、cvpaper.challengeは面白い取り組みだと思っていてこれまでお付き合いをさせていただいてきました。 研究室という環境は世界が閉じがちで思考や行動の幅が狭くなりがちですし、問題を抱えたときに解決する手段が限定されてきてしまいます。他の研究室の学生や先生と交流することで、自分の諸々が研究室にロックインされてしまうのを防ぐことができます。そういう意味では研究室単位を束ねた村のような単位で協働する仕組みも重要だと考えていて、cvpaper.challengeはまさにその趣旨に合致していました。
2021年には村山さん、山本さん、Qiuさんらと一緒にTransformerメタサーベイを実施し、一つの大きな転機になりました。当時はVision Transformerが出たばかりでCV界隈でも注目が集まっていたので、色々な方々に見ていただけましたし、学会でもチュートリアルをさせていただく機会がありました。
ただ、まさかVision Transformer入門を書くというところまでいくとは思ってなかったです。学生も指導しながら執筆していてなかなかしんどかったですが、結構熱を入れて書くことができたのでとても良い経験になりました。
同時期にはコンピュータビジョン最前線Winter2021で「ニュウモンVision and Language」を執筆する機会に恵まれました。これからはVision and Languageの時代だということで、Vision and Languageの仲間が増えるならと書いたものでした。学生さんの指導にも使う予定でしたが、残念ながら全員対話システム研究をはじめてしまったのでその面ではあまり役に立たなかったのが若干無念でした笑。でもcvpaper.challengeや他の研究室の学生さんで、Vision and Languageをこれからやってみたいということで読んでくれたという方が結構いらっしゃったので、書いて良かったなと思います。
助教時代の話
博士をとってしばらくはポスドクをして自分の将来の研究の基礎を作るつもりでいたのですが、私の博士取得見込みが決まったのと同時期あたりに助教の先生が異動されたのも大きな転機でした。2020年8月くらいに突然「お話があります」とボスに呼び出されて「次は君の番だ」というわけです。「助教・・・正直1,2年早いぜ・・・」と思っていましたが、博士まで育てていただいたご恩もあるので受けることにしました。9月に博士をとってから、これからは強化学習が必要になると思い、強化学習苦手の会を発足して強化学習を学んでいたのが懐かしいです。この会は実態としては毎週2回程度Discordで開催するもくもく会となっており、強化学習苦手を自称する様々な方にご参加いただいて大いに盛り上がり、12月には「強化学習苦手の会 Advent Calendar 2020」を開催させていただきました。当時私は言語生成の強化学習を主に触れていて、それに関連する記事をいくつか執筆しました。
言語生成の強化学習、結構いいとこいってると思うんだけどなんで流行ってないんだろうな～とは当時思ってたり話したりはしていました。特に気にしていたのはOpenAIが2019年にGPT-2をPPOで学習する論文を、2020年にGPT-3をPPO+オフラインで学習する論文を出していたことです。「強化学習苦手の会 Advent Calendar 2020」の拙記事でも取り上げていました。当時はGPT-3のAPIが出てきたりHyperCLOVAが出てきた時期でもあり、GPT-3の強化学習が跳ねると研究室レベルで扱える話じゃなくなる上に対話システム研究もやべーのでは？と思いはじめていました。当時は嫌な予感しかなかったので2021年4月に研究室に配属された学生さんらには「今は対話システムよりVision and Languageをやった方がいいんじゃない？」と勧めていたのですが、その思いは叶わず、2022年11月にChatGPTという黒船に乗り込まれてうわ～～まあこれはこれで面白くなってきたな！とか思っていたのが懐かしいです。その学生さんらはChatGPTの威風に負けず、ちゃんと修了してそれぞれの道で元気に活躍してらっしゃいますし、教員として最低限の役目は果たせて良かったです。自分自身、学生さんを通してアイデアを実現可能な研究につなげる思考力も培われた気がします。教員はイイぞ。
cvpaper.challengeでは山本さん綱島さんといった早稲田大森島研の方々と仲良くさせていただいていて、その縁で紹介いただいた大島遼祐さんとVision and Language＋対話システムの研究をしたのも楽しかったです。これはエージェントが人間（or 別のエージェント）に質問をして画像中の物体当てゲームをするのですが、人間側が間違えて不正解になった場合にどこが間違えているのか当てるというタスクです。昔から、実世界のVLMは失敗して謝ったところでそのまま許されるわけではない、失敗した状態から頑張って復帰してタスクを成功に導かないといけないと思っていて、そういう枠組みをVLMでやれば自己改善ができるようになっていくよね、というねらいがあり、個人的に面白い研究でした。今だとReasoningの文脈でこの辺も高度にこなせちゃいそうですね。
また、Stable Diffusionが出てきたあたりで画像と言語の結びつきを多様性と言う観点で評価できないかというのがあり、指導学生さんの岡本さんとやった話が個人的に面白かったです。これはtext-to-imageにプロンプトを突っ込んで、出てきた画像の多様性をVendi Scoreという指標で測り、その多様性を別のモデルで予測できるかを調査したものです。研究として議論するために限定的な実験条件下だったのですが、画像と言語の結びつき度合いを測るのにポテンシャルは感じていたので、どこかでまた取り組みたいなと思っています。
それから大きな変化として、助教時代のハードワークの中で、趣味という趣味がことごとく消滅し、コロナのせいでNAISTのトレーニングルームも消滅した結果として、積み重なった想いの集積として、D進が趣味のおじさんが誕生してしまいました。グヘヘ、D進はイイぞ。
SB Intuitions時代の話
ボスが定年退職されるにあたり研究室が解散することは決定していたので、自分も他の大学に行くか企業に行くかを考えていたのですが、最終的にSB Intuitions株式会社に転職しました。
本日からSB Intuitionsで働き始めました。何をやっていくかはまだ話せないのでご想像にお任せしますが、新たなチームメンバーと協力して迫力のある研究開発をしていく所存です。Shinagawaの今後の活躍にご期待下さい。#春からSBIntuitions pic.twitter.com/UEhINRnXo8
— Seitaro Shinagawa (@sei_shinagawa) 2024年4月1日
理由は下記の通りなので、ご興味あればどうぞ。端的に言うと、「企業経験があった方が研究や学生指導に生きそう」、「計算資源欲しい」、「良いVLMを作れば社会貢献できて博士が社会の役に立ってる感をアピールできる→学生がいっぱいD進する」あたりが理由です。
大学教員であり続けるというのは困難な道です。今の大学教員というのは、一人で何役もこなすスーパーマンのような方々の集まりです。研究と指導と事務処理を同時に進める忙しさは院生時代から肌で感じていたのですが、実際に体験してみるとその忙しさは予想の3倍でした。いま大学教員をされている先生方には頭が下がるばかりですし、当時指導させていただいた学生さんには十分な成果につながる指導を提供できなかったことに申し訳なさを感じています。自分にはまだまだ足りないものが多いです。
そこで一つ気になっていたのが、一旦アカデミアの外に出ることです。私の当時の所属研究室のボスも、若い頃に民間企業に所属した経験があり、そこでの経験や視点がアカデミアに戻った後でも役に立っていると話していました。幸いなことにVLMは民間企業でも需要が高いので、アカデミア一本よりも産業界も経験してみる方が将来的に大学教員としてやっていくにしてもプラスになるだろうという予感がありました。
アカデミアから民間に移った理由はいくつかありますが、雑に箇条書きにすると
- アカデミアの世界しか知らないことにリスクを感じたから
- 情報系のポストが増えていて、新しいことにチャレンジして失敗しても教員として戻れる可能性がそこそこありそうだから
- 大量のGPUをぶん回したい気持ちが高まっていたから
- 日本の中でも最高の教育を提供する研究室に所属して教育の可能性や限界を思い知ったから。結局教員が多忙過ぎるし、教育がスケールしないのが問題（私が成長させたいと思う「できない学生」への教育コストは学生の能力が低いほど際限なく高まる）
- 品川の目指すものは「一人でも多くの人が幸せなD進生活を営むこと」なので、教員として活動を続けるよりも基盤モデルにベットする方が見込みがあると感じているため
とこんな感じです。
SB Intuitionsに移ってVLMチームを立ち上げてからは忙しなくてしばらく目が回る日々が続いていたのですが、最近は社員もチームの仲間も増えてきて賑やかになり、VLMの開発体制も整っていて色々新しいことにも手を出し始めているところです。毎日とても充実しています。VLMのニーズというのも色々な方から相談いただいているので、しっかり社会実装まで貢献できるように頑張りたいと思っています。
結婚します
私事ですが、12月（今月）に結婚することになりました。理由は色々あるのですが、SB Intuitionsの同僚には妻帯者が多く、単純にうらやましくなったというのと、生成AIの進展がすさまじすぎて自分が情熱を傾ける対象がAIに奪われた時に生きる気力なくなりそうなので、奥さんと家庭を築いていくことで自分の世界が広がって楽しそうだなと思ったからというのが大きなところです。
せっかく東京に来たというのもあるので、2025年の4月に意を決して東京都のマッチングアプリ（AIマッチングシステム「TOKYO縁結び」）を始めました。東京都のマッチングアプリはお見合いの場所が女性側の利用する駅周辺優先で決まるので、お見合いをしに毎週末東京の各地を回って東京の地理を知る良い機会にもなりました。皆さん良い方ばかりで毎回楽しくお食事をさせていただいて、東京の暮らし悪くないな・・・と思ってしまいました。
彼女には5月に出会いました。マッチしたお相手の中では一番プロフィールがぶっ飛んでいたので最初は何かの罠であることを懸念していたのですが、会ってみるとだいぶ考え方とか価値観とか合いそうな方で、冒険心をくすぐられる形で結婚を前提にお付き合いを始めました。毎週土曜日に色々なところに一緒に行きまして、いい夫婦の日にプロポーズをしてアクセプトされた次第です。
【ご報告】いい夫婦の日に彼女にプロポーズをして無事アクセプトされました。ここからは短い間ですがN日後に結婚するShinagawaをお楽しみください🤗結婚はイイぞ pic.twitter.com/3MFc3Izc0W
— Seitaro Shinagawa (@sei_shinagawa) 2025年11月23日
ちなみに東京都のマッチングアプリは真剣交際後に結婚するだろうと思ったタイミングで成婚退会することになっており、100組目くらいの時期に成婚退会しました。 成婚率を採択率と考えると東京都のマッチングアプリの採択率は200名(100組)/25000名=0.8%です。マッチングアプリ始める際に成婚率とか全然見てなくて後から見て唖然としました。成婚できてよかった～～～ でも実際のところ、このアプリ自体まだ開始して間もないからあまり成婚数が出てきてないだけで、登録されている方は基本的に面倒な書類を提出するくらいのリテラシーは最低限持っている方々だと言えるので有象無象の民間マッチングアプリよりは良い方に出会いやすいのではないかと思っています。一応成婚させてもらったので宣伝でした。
ちなみに以下のサイトを見ると現在の成婚数が確認できます。今見ると212名(106組)/28000人＝0.76%ですね、登録者数がいつの間にか3,000人くらい増えてますね・・・乗るしかない、このビッグウェーブに・・・
www.seikatubunka.metro.tokyo.lg.jp
これからはD進はイイぞからの結婚はイイぞの二段構えでやっていきたいと思います。私は今36歳ですが、D進してからの人生は未だ収束する様子がありません。これから迫りくる新たな冒険にまだまだワクワクできそうです。今後ともよろしくお願いいたします！
