#エンジニア系記事まとめ

Generative AI for Everyoneから、古のNLPエンジニアの心に刺さったこと8選

こんにちは、IVRyでAIエンジニアをやっているべいえりあです。今回はタイトルの通り、Andrew NgのGenerative AI for Everyoneを見て自分の心に刺さったこと、そしてそれらについての個人的なコメントを書いていこうと思います。 Generative AI for Everyoneについてこちらの講義は機械学習やAI教育についての第一人者と言っても過言ではない、Andrew Ng先生のLLMの応用についての講義になります。タイトルにはGenera

無料GPT-4アプリの公開とクリーンデータセットの作成について

※ 本記事の取り組みのその後については以下で紹介しています。どうもこんにちは。最近、大規模言語モデル（LLM）の個人開発に取り組んでいる@kun1em0nと申します。この度、最近話題のChatGPTの最新モデルGPT-4を無料で使用できるアプリを作成したので公開いたします。今回アプリを無料で公開する意図についてこの記事で説明したいと思います。 Japanese-Alpaca-LoRAの作成前回の記事ではスタンフォード大学が作成したStanford Alpacaの日本語対

日本語Alpacaデータを用いてJapanese-Alpaca-LoRAを作ったので公開します【期間限定デモページあり】

⚠️注意今回公開するのはLoRAを用いて作成したLLaMAの日本語化Adapterでありモデル自体ではありません。 LoRAをマージするベースのLLaMAは商用不可であり、今回公開するAdapterで日本語化したモデルも商用利用はできません。 OpneAIの利用規約で、OpenAIサービス、ChatGPTの出力結果を競合モデル開発用途に利用することはできませんコンテンツ生成者はできません。詳細は記事後半で述べていますが利用規約が適用されるのはコンテンツ生成者までです。

ChatGPTに自社データを組み込んで新しい検索体験を模索してみました

イントロChatGPTやBing、NotionAIなどの大規模自然言語モデル(LLM)を活用したサービスが注目を集めています。対話、要約、翻訳、アイデア生成などの多様なタスクにおいて、とても性能が高いです。ただ、ChatGPTでは、ときどき嘘が混じっていたり、文献が捏造されたりすることがあります。それを防ぐために、BingやPerplexityでは、文献を引用した上で、なるべく嘘が紛れ込まない形で回答してくれます。しかし、これらのAIは、Web上の公開されている一部の

読者の行動データを用いたnote記事レコメンドをリファクタリングした話

noteのMLチームで主にMLOps関係の開発をしている、むっそです。先日「読者の行動データを用いたnote記事レコメンドのMLパイプラインツアー」という題材でMLパイプラインについてご紹介いたしました。今回はnoteの読者の行動データを用いたnote記事レコメンドをリファクタリングした話をしたいと思います。 ※前回の記事をまだ読んでいなくても、この記事は読めます！ AWS環境にてnoteユーザーの行動データを用いたnote記事レコメンド機能を提供しております。

機械学習でハタラクをバクラクにするために LayerX に入社しました #LayerX

こんにちは、2022年9月1日に LayerX にフルタイムの機械学習エンジニアとして入社した松村優也(@yu__ya4)と申します。バクラク事業部の AI-OCRチームに所属しています。チーム名の通り、請求書や領収書といった帳票の画像データを読み取り、人間が手入力せずとも必要な項目を自動で抽出してデータ化する OCR 機能の開発をメインのミッションに持つチームです。この note では、私がなぜ LayerX に機械学習エンジニアとして入社したのかを、転職のご報告に代

Google Colab ではじめる Stable Diffusion v1.4

「Google Colab」で「Stable Diffusion」を試してみました。【最新版の情報は以下で紹介】 1. Stable Diffusion「Stable Diffusion」は、テキストから画像を生成する、高性能な画像生成AIです。 2. ライセンスの確認以下のモデルカードにアクセスして、ライセンスを確認し、「Access Repository」を押し、「Hugging Face」にログインして（アカウントがない場合は作成）、同意します。 3. Hug

多様なコンテンツをとどける、レコメンドベースのnoteのホームタイムラインをつくる

本記事では、note社内において、レコメンドとパーソナライズをベースにした新しいホームタイムラインのMVP（Minimal Viable Productの意、開発コードネームはHorizon）を開発した経緯や思想とその推移を、エンジニアの観点から書いている。PdM的な観点から書いた以下の記事も参照いただけると幸いである。想定する読者としては、以下のような読者を想定している。情報推薦や検索、データマイニング、機械学習の活用に興味があるエンジニアちょっと賢い機能をコア

人工培養された脳細胞によるゲームプレイの仕組み〜自由エネルギー原理について〜

イントロ「実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得」というニュースが話題になっています。脳細胞をトレーの中で人工培養させて、その細胞に卓球ゲームの「Pong」をプレイさせたところ、たった５分で学習し、ラリーが続くようになったと報告されています。まるで、マトリックスの映画のようで、この技術を使った未来がワクワクすると同時にちょっと怖くもあります。一体、どんな技術を使って、脳細胞に卓球ゲームを学習させたのでしょうか。このニ

【機械学習】TecoGANで学生時代の古い映像を高画質で見たかった話

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回は機械学習の技術を使って昔に撮影した映像を高画質に変換してみたいと思います。技術紹介低解像度から高解像度に変換する画像超解像を行うために今回はTecoGANという機械学習モデルを使用します。これはGAN（Generative Adversarial Network）の一種であり、学習済みモデルも提供されているので誰でもすぐに試すことができます。またライセンスは「Apache License

Huggingface Transformers 入門 (10) - 日本語の感情分析

「Huggingface Transformers」による日本語の感情分析方法をまとめました。・Huggingface Transformers 4.1.1 前回1. Huggingface Transformers「Huggingface Transformers」は「自然言語理解」と「自然言語生成」の最先端の汎用アーキテクチャ（BERT、GPT-2など）と何千もの事前学習済みモデルを提供するライブラリです。今回は以下の事前学習済みモデルを使います。 2. Hu

#iOSDC 2020で登壇しました／初のオンラインカンファレンス参加の感想

iOSDC 2020で「機械学習のブルーオーシャン Core ML」という発表をさせていただきました。iOS×MLで実務でこういうことやってますよ、というのを解説しました。プロポーザルスライド動画（字幕付き／目次付きでサクサク飛ばせます！）（YouTube目次） 00:00 自己紹介 00:54 機械学習はレッドオーシャン 01:57 Core MLはブルーオーシャン 02:12 なぜCore ML？ 04:18 Core ML ≠ CoreML.framework 0

Netflixを支える推薦システムの裏側

イントロNetflixは、スマホやPCがあれば、どこでもいつでも、映画やドラマを見放題で楽しむことができます。今年はお家時間が増えたことで、Netflixをより満喫している方も多いのではないでしょうか。実際に、2020年1月〜3月に会員が全世界で1600万人ほど増え、合計1億8000万人を超えています。 Netflixをいくつかの数字で見てみると、さらにその凄さに驚かされます。そんな多くのユーザーを有するNetflixの魅力の１つに、推薦システムがあります。Netfli

機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ（2020年3月版）

更新：2023年12月版を書きました

#エンジニア 系記事まとめ

#機械学習