こんにちは、品川です。実益を兼ねた趣味として、気になった話題をブログにまとめる趣味を始めようと思います。今回はAppleのFerret-UIです。 Ferret-UIの概要 Ferret-UIはMobile Web UIのためのMLLMです。記事にとりあげられていたのを見かけました。注目が…
こんにちは、品川です。大学教員になって約3年半、ボスの定年退職に伴い、異動することにしました。 新しい所属先はSB Intuitionsです。民間企業ではありますが、研究機関登録もされていて科研費もそのまま移すことができます。まだ学生の投稿中の論文誌が残…
こんにちは、品川です。大学教員になって約3年、今の所属はボスの退官に伴い、今年度で終了になる予定なので、備忘録としてぽつぽつと反省をまとめていこうと思います。今回は大学教員としての仕事の仕方についてです。 せっかく大学教員になるのだから、学…
こんにちは、品川です。 何番煎じかわからないですが、ChatGPTを研究室のSlackに入れたいと思って少し色々といじっていました。とりあえず目的のものはできたので備忘録がてらbot作成についてまとめておきます。 仕様 メイン： botはGASとSlack API、ChatGPT…
こんにちは、品川です。この記事は画像生成AI Advent Calendar 2022 14日目の記事です。 adventar.org ECCV2022の論文をサーベイしていてテキストからの画像生成の評価指標の研究を見つけて面白そうだと思いまして、この機会にまとめてみたので紹介したいと…
こんにちは、品川です。 本記事は研究コミュニティ cvpaper.challenge 〜CV分野の今を映し,トレンドを創り出す〜 Advent Calendar 2022の2日目の記事です。 adventar.org 自己紹介 メタ視点の研究効率化Tipsとは？ 研究室生活の概要を知って目標を立てる ①知…
こんにちは、品川です。Vision Transformer入門という本の執筆に参加しました。いよいよ本格的な販売がはじまります。どんな本なのか注目してくださってる方もいらっしゃると思うので、著者陣の一人の視点から執筆の背景と書評を少しだけ書こうと思います。 …
こんにちは、品川です。 言語処理学会2022に参加してきました。楽しかったです。 懇親会にも参加してきてNAISTの他研や他大学の学生さんたちと話していたのですが、「懇親会で声をかけたくてもかけられなくてもどかしい思いをしてました」という声がありまし…
こんにちは、品川です。本記事は強化学習 Advent Calendar 2021 17日目の記事です。 今回は以前献本いただいた「深層強化学習入門」についてご紹介したいと思います。 www.kyoritsu-pub.co.jp 噂の深層強化学習本を頂いたので拝読しました！概論として基礎知…
こんにちは、品川です。本記事は強化学習 Advent Calendar 2021 6日目の記事です。 短いですが、最近の言語生成周りの強化学習関連の話題を取り上げたいと思います。 言語生成周りの強化学習のおさらい（2020年時点での私の理解） 最近の言語生成の強化学習①…
こんにちは、品川です。 学生さんが自分の研究の進め方に悩んでいるのを最近（通年）よく見ます。例えば、何をしたら新規性が出るのかとか、指導教員との研究議論や進捗報告のコミュニケーションがうまくいかないといったことです。 こういうところで苦しん…
こんにちは、品川です。 最近仕事でGPT-2,3について調べてたのですが、日本語GPT-2を作っているプロジェクトのことを知りました。 github.com 見てみると学習済みモデル(small, medium)が公開済みで、fine-tuning用のコードなども揃っておりいたく感動しまし…
この記事は強化学習苦手の会 Advent Calendar 2020の25日目の記事です。 こんにちは、品川です。いよいよこのAdvent Calendarも最終日ですね。 紹介する論文は、引き続きOpenAIの"Fine-Tuning Language Models from Human Preferences (ArXiv, 2019)"です。 …
この記事は強化学習苦手の会 Advent Calendar 2020の24日目の記事です。 2020.12.28 追記 解釈が致命的にミスってました・・・"To keep $\pi$ from moving too far from $\rho$"なので「両分布が離れすぎないように」です。 （誤）学習する方策$\pi$が、初期…
この記事は強化学習苦手の会 Advent Calendar 2020の16日目の記事です。 はじめに REINFORCEへのコードの改変 実験設定 学習結果 BLEU（単語n-gramの一致率、高いほど良い） CIDEr (CIDEr-D) （TF-IDFも考慮した単語n-gramの一致率、高いほど良い） SPICE（…
この記事は強化学習苦手の会 Advent Calendar 2020の14日目の記事です。 追記 2020.12.15：loss計算の式を以下のように変更しました。 （修正前）：$loss = -\underset{\hat{Y} \sim \pi_{\theta}}{\mathbb{E}}\left[\left( r(\hat{Y}) - r_b \right) \right…
この記事は強化学習苦手の会 Advent Calendar 2020の10日目の記事です。 言語生成の強化学習 参ノ型 「Actor-Critic with Q-learning」 [164] Decoding with Value Networks for Neural Machine Translation (NIPS2017) [167] Learning to Decode for Future…
この記事は強化学習苦手の会 Advent Calendar 2020の5日目の記事です。サクサク行きましょう。 追記 2020.12.16 Actor-Criticの式が思った通りに伝わらなさそうなので、以下のように書き直しました。 （修正前）$\nabla_{\theta} \mathcal{L}_{\theta}= - \f…
この記事は強化学習苦手の会 Advent Calendar 2020の3日目の記事です。 2020.12.04 追記 はじめに サーベイ論文の概要 言語生成モデルのおさらい 言語生成における強化学習 （前提知識） エピソード 報酬 学習における立ち位置 言語生成の強化学習 壱ノ型 「…
この記事は強化学習苦手の会 Advent Calendar 2020の1日目の記事です。 こんにちは、品川です。はじめましての方ははじめまして。 最近、強化学習苦手の会というのを始めました。強化学習苦手の会もはじめてから早1ヶ月以上経ったので、一つ発表の機会がある…
品川です。最近本格的にBERTを使い始めました。 京大黒橋研が公開している日本語学習済みBERTを試してみようとしてたのですが、Hugging Faceが若干仕様を変更していて少しだけハマったので、使い方を備忘録としてメモしておきます。 準備 学習済みモデルのダ…
品川です。引き続きMIRU2020の参加報告です。いよいよ最終日です。 自然言語による対話的画像編集システムについての研究を発表しました。 gatherというアプリがあるらしい その他見た発表 IS3-1-7 擬似陰影を用いたフレーム間追跡によるアニメ線画の自動着…
品川です。MIRU2020の参加報告の続きです。8月4日分です。 藤吉研のAttention Branch Networkへの愛がすごい YouTube風のサムネイル画像が人気 その他、見にいった発表 OS2-1A-1 背景学習による対象領域抽出 OS2-1A-4 コンテクストを考慮したChannel-wise At…
品川です。MIRU2020に参加しているのでいくつか気づいたことなど。 集中力、持たない インタラクティブセッションという名の超ロングオーラルが聞いていてつらい 発表について チュートリアルQA 鈴木大慈 (東京大学) 深層学習の数理：カーネル法，スパース推…
MIRU2020の若手プログラムに参加したので忘れないうちに振り返ってまとめておきます。 参加時の私の状況 グループのプロジェクトについて プロジェクト始動時期について プロジェクトの進捗過程 若手プログラム発表当日の結果 考察と反省 発表の改善点 準備…
博士論文の公聴会(defense)が終わってようやく一息つけました。 ジャーナルを書いて投稿して博論書いてをタイトなスケジュールでこなさなければならなかったのでなかなかしんどかったです。 徐々に論文を読む余裕も気力も無くなってきて新しい論文がtwitter…
昨日関西合同音声ゼミに行ってきたので感想などを残しておく。 招待講演：コミック工学 まず、招待講演の立命館大山西先生のコミック工学研究の紹介が面白かった。技術が先にあって課題を探す技術指向、課題が先にあって課題を解決するために技術を開発する…
AIPのシンポジウムに参加してきた。日本のヒーロー大集合という感じでとても心が躍った。一般に開かれたシンポジウムだったので公開しても大丈夫だろうと判断し、忘れないうちに思ったことなどメモしておく。 社会実装，倫理から基礎数理まで：革新知能研究…
jupyter notebookでscroll boxの高さを変える方法が検索しても出てこなかったのでメモ。 結論から言うと、以下のようにすればとりあえずできる。 from IPython.core.display import display, HTML display(HTML("<style>.scroll_box { height:30em !important; }</style>"))…
最近めっきり記事を書いてないので、今後はメモくらいのつもりでもいいから小出しに書いていこうと思う。 chainerがv1.22.0でVGG16LayersとResNet50Layersをchainer.linksでサポートした。 Standard Link implementations — Chainer 1.22.0 documentation こ…
