テック徒然草 -- 04/2024

先日、たまたま機会があって日本語で多少まとまった文章を書いたのだが酷い有様であった。単語が出てこないし文章の構成も無茶苦茶である。なんとかこねくり回して捻り出して、七転八倒しながら書き終えたのだがこれではまずい。日本語力を取り戻すため、とりあえず一ヶ月に一回くらい、月初にnoteを投稿することにした。今までのように書きたいテーマを探すとなかなか筆が進まないため、とりあえず一ヶ月の振り返りを随筆調で書くという方向性でいこうと思う。

4月のシアトルは未だ寒い

日本に住んでいた頃、私は4月中旬くらいから5月中旬くらいまでの一ヶ月がとても好きだった。この期間が、多くの開成生にとって最も盛り上がるイベントである運動会の準備から本番までの時期と被るのは偶然ではないだろう。運動会の匂い、というと、あぁあれか、となる開成出身の諸兄も大勢いるのではなかろうか。まぁとにかく力強い新緑と、柔らかな日差しと、目が覚めるような朝のぴりっとした空気というのはとてもよいものである。書いていたら焼肉が食べたくなってきた(運動会の打ち上げ、焼肉が多い気がする)。

がしかし、私が今いるのはシアトル周辺。4月後半でも寒い。朝はぴりっとした空気どころか凍える勢いである。最高気温が10度前後までしか上がらない日も多々ある。まだまだ雨も降る。厚手のジャケットは未だ仕舞えない。端的に言ってつらい。シアトルに引っ越してきて10年弱、秋から冬にかけて寒くて雨が降るのは慣れたが、この春の陽気があまりよくないというのはどうにも堪える。今週末も寒そうで悲しい。

とはいえ晴れている日の青空は素晴らしい。これからくる短い夏に向けての期待値を上げてくれる。

仕事は忙しい

Metaに来て以来、ずっと忙しい。特に生成AIが盛り上がってきて以来、私の労働時間は大きく上昇している。とはいえ株価の上昇ほどではないので、労働する喜びを噛み締めながら社畜街道まっしぐらである。

忙しいのは兎にも角にも注目されているエリアで仕事をしていることが大きいと思うのだが、Metaのカルチャーに起因する部分もあるように思う。前職のAmazonやAWSはどちらかというと組織で動き組織で頑張るようなスタイルだったのだが、Metaはとにかく個人の裁量が大きく、特定の個人に仕事が集中する傾向があるように思う。

このあたりは社内で信頼されている、ブランドができている、というポジティブな見方もできる一方で、自分の何気ない発言が予想より深刻に受け止められていたりするなど今までにないチャレンジも経験している。あとはかなりシニアなエンジニアや組織のリーダーと働くことも多いので、伝えるべきことがあってもそれをどう伝えるのか、であったり、社内のダイナミクスをどう読むか、などというちょっと大人な悩みも増えて来ている。

まぁしかしこれだけ革新的なAIの発展に（リサーチ側ではないにしろ）多少なりとも関われているというのはとてもありがたい話である。感謝の気持ちを込めて今日も労働に邁進する。いつかあれは俺がやったんだおじさんになって引退する日を目指して。

他社の研究結果は面白い

勿論雇用主への忠誠度の高い私はLlamaを全力でおしたいのだが

Introducing Meta Llama 3: The most capable openly available LLM to date

他社のPaperやTechnical Reportを読むのも面白い。個人的に最近面白かったのは以下の辺りである。尚、私は研究者ではないので読めるものに限りがあるし、読めたとしても数学的・統計的な理解に限界があるので、主要なものを追うにとどめている。何かこれが面白かった、というものがあればDMください。

Phi-3: TrainingをPhase分けする、というのはよくあると思うのだが、phase1と2で使っているデータをかなり変えているように読めて、さらに言うとphase 2のみでreasoningなど用にsynthetic dataを使っているようである。

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

Phi-3、一番小さいモデルのパラメーターサイズが4bなのだが、他の7-8bサイズのモデルのMMLUのスコアを上回っていて、まぁこれは素直にすごいなと思った次第である。

Gemni 1.5: モデルの性能を語る上で、Context Windowという重要な要素があって、例えばモデルが答えを出す時に参照できる過去の対話などの長さのようなものを表している。これは今まで100kとか200kとかのバトルをしていたわけだが、Googleはmillions of tokens、ということで桁が一個違うモデルで殴り込みをかけてきた。

Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context

Context windowに関しては色々と進歩が起きている分野のような気がしていて、一昔前はちょっと長めのものをモデルに渡すと、真ん中くらいで出て来た内容は忘れがちだったりしたのだが、その辺りも昨今のモデルは大幅に改善されているようである。

OpenAI: プロンプトによるジェイルブレイクといったセキュリティに関する問題は、LLMを使ったアプリ提供者にとっては頭の痛い問題だと思うのだが、OpenAIから面白い研究が出ている。

The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

これはいわゆるシステムプロンプトなどと呼ばれる、開発者側で安全性を確保したりするためにモデルに渡しているプロンプトを、ユーザーから提供されるプロンプトに比較して優先順位を高くすることで、ジェイルブレイクなどに対応する、という話である。

他に気になっていることというと、圧倒的にTransformerが主流のLLMだが、アーキテクチャに対する話も色々と出て来ていて(弊社のチーフサイエンティストも色々なご意見をお持ちのよう)、そのあたりも盛り上がっている印象を受けている。最近だとJambaが気になっているのだがまだ何も手をつけていない。精進します。

弊社は筋トレする人によい環境

アメリカに来てから何が成長したか、と聞かれると返答に窮するのだが、一つ明確に伸びたのは筋肉量である。久しぶりに会う友達には驚かれる程度に筋肉は増えている。

筋トレ自体は楽しいのだが、大変なのは食べることである。私はもともと食が細めで、学生の頃は身長180cmちょっとに対して体重が60kg前後であった。が、食べねば体が大きくならないので今は頑張って食べている。

ともすると食事が作業になりがちなので、最近はオフィスで朝と昼、黙々と食べ、夕飯は食事として家族と楽しく食べるようにしている。弊社はオフィスで食事が無料で提供されるので、卵とヨーグルト、サラダとチキン、といったものを重点的に多めに食べている。

…白状するとピザも結構な頻度で食べている。さらに白状するとインド料理も結構食べている。

ということで、筋トレしてたくさんご飯を食べたい人にとって、弊社はとてもよい環境なのではなかろうかという話である。