myelin

「ミエリン」です。機械学習系の情報をまとめているかと思いますが、よくわかりません。とり…

myelin

「ミエリン」です。機械学習系の情報をまとめているかと思いますが、よくわかりません。とりあえずフォローと「スキ」をよろしくおねがいします。

論文まとめ（第4回）：Evolutionary Model Merge

　さて、前回の投稿から1年弱の間隔が空いていますが、予測できていたことなので一々言い訳しません。「三日坊主も百回繰り返せば一年」と言いますので、何度でも始動すればよいのです。 　今回紹介する論文は、複数のモデルを一つに統合するモデルマージにおいて進化的アルゴリズムを適用するEvolutionary Optimization of Model Merging Recipesです。 Evolutionary Optimization of Model Merging Recip

myelin

    • 論文まとめ（第3回）：DreamBooth

      　ミエリンです。コンピュータビジョン分野においてTop-Tierの国際会議であるCVPR2023の開催に先立ち、採択された論文のリストが公開されています。投稿された9155本の論文のうち、通ったのは2359本（25.8％）。その中で、注目論文（Highlight）としてピックアップされたのが235本、受賞候補が12本となっています。採択率で見ると少なく思えますが、投稿数、そして採択された論文の数を考えるとかなり膨大です。前回のCVPR2022では、採択/投稿数は2067/81

      myelin

      • 論文まとめ（第2回）：自己教師あり学習法の比較とDistilling step-by-step

        　ミエリンです。GWも終わりそうですが、皆さんはGWを楽しく過ごせましたか？　私のGWっぽい思い出は自宅のコンロでマシュマロを焼いたぐらいですね。 　今回紹介するのは、異なる自己教師あり学習法を用いたVision Transformerの特徴表現や下流タスクでの性能を比較する"What Do Self-Supervised Vision Transformers Learn?"と、LLMの新しい蒸留法を提案する"Distilling Step-by-Step! Outper

        myelin

        • 論文まとめ（第1回）：AudioGPTとTransformerのトークン数拡大

          　皆様、お元気ですか？　私が今いる時空間上の座標はGWの初めですが、窓の外は雨模様ですので、こうして記事をしたためています。 　今週の話題は、大規模言語モデル（Large Language Models; LLMs）を音声情報を扱えるように拡張した"AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head"と、Transormerの入力トークン数を大幅に増加させた"Scalin

          myelin

        論文まとめ（第4回）：Evolutionary Model Merge

        myelin

        • 論文まとめ（第3回）：DreamBooth

          myelin

        • 論文まとめ（第2回）：自己教師あり学習法の比較とDistilling step-by-step

          myelin

        • 論文まとめ（第1回）：AudioGPTとTransformerのトークン数拡大

          myelin

          自己紹介

          ミエリンです。英語で書くと"myelin"で、「髄鞘」を構成する脂質を指します。髄鞘は神経細胞から伸びる軸索を断続的に覆っており、その絶縁性によって軸索を伝わる神経パルスの伝導を高速にするそうです（Wikipediaより）。といっても、私が何か神経科学にルーツを持っているという訳ではなく、「ミエリン」という言葉の雰囲気が可愛らしく、人の名前っぽいので勝手に名乗っています。 気の迷いによって男もすなるnoteというものを始めたいと思います。理由は（１）物を書く習慣を持つためと

          100
          myelin

          自己紹介

          myelin