jniimi

大学でデータ分析とかAI開発とかやってます。音楽とかアートの仕事もたまに。(Assoc…

jniimi

大学でデータ分析とかAI開発とかやってます。音楽とかアートの仕事もたまに。(Assoc. Prof., Ph.D. in Economics)

マガジン

  • Python超基礎

    大学で持っているPython実習の資料を共有しています。

最近の記事

  • 固定された記事

右耳に耳管ピンを入れた話

これは耳管開放症 (Patulous Eustachian tube) というかなりふざけた病の患者の話です。 まずは前提の話僕自身の基本情報として、2024年4月現在33歳で身長185cm、体重48kg。かれこれ10年ぐらいこんな感じ。耳管開放症には中学時代から悩まされてきて、大学時代にたまたま行った病院で相談したところ難治性耳管開放症の診断をいただきました。一時期、『耳管開放症と10年付き合って』というブログをやっていました。 症状の程度としては、横になるか、頭を真下に

    • NLPの諸手法としてTextBlob、VADER、SO-CALをPythonでサクッと実行するための備忘録

      0. とにかく参照モデルを作り続ける…いま書いているLLM系の応用論文の参照モデルとして有名なルールベース系の手法でひたすら精度を比較をしているので、ついでにコードを(非常に簡単ながら)共有しておこうかと思う。手法は今のところ、TextBlob、VADER、SO-CALの3つ。本当はSupport Vector Machine、k-Nearest Neighbor、Naive Bayesでも比較してるんだけど、学習の過程を示すのが面倒なのでその辺はまた今度にします。 それら

      • NotebookLMに論文を食わせて質問攻めにしてみた

        1. NotebookLM日本公開!GoogleのGeminiベースのサービスであるNotebookLMが日本でも利用可能になったので、早速触ってみた。 NotebookLMについて簡単に説明しておくと、こちらが提示したソースに従って情報の抽出や要約、議論ができるサービス。これが必要とされる背景として、生成AIを検索サービスに絡めると、LLM一般で問題とされるハルシネーションだけではなく、Redditなどに落ちてる真偽不明な情報に引っ張られるという問題があって(代表例として

        • StreamlitでUser-Agentなどのユーザー情報を取得する(ただし面倒なJavaScriptは書かずに)

          1. streamlit_js_evalとかいう便利すぎるやつちょっと作りたいものがあってStreamlit (https://streamlit.io) をいじっていたのだけれど、Python以外は長らく書いていない人間なのでフロントエンドがどうも触りづらくて困っていた(まあフロントエンドなんか触らなくていいのがstreamlitの良さなのでその辺の根本を間違えているといえばそうなのだけれど)。特にUser-Agentなんかを取得するには、これまでstreamlitのbi-

        • 固定された記事

        右耳に耳管ピンを入れた話

        • NLPの諸手法としてTextBlob、VADER、SO-CALをPythonでサクッと実行するための備忘録

        • NotebookLMに論文を食わせて質問攻めにしてみた

        • StreamlitでUser-Agentなどのユーザー情報を取得する(ただし面倒なJavaScriptは書かずに)

        マガジン

        • Python超基礎
          1本

        記事

          JSAI2024で研究発表してきました

          JSAI2024: 2024年度 人工知能学会全国大会(第38回)に参加してきました。1週間の授業をほとんど全部休講にして。埋め合わせで大変な思いをしそうだ。https://www.ai-gakkai.or.jp/jsai2024/ 1. 自分の発表について[1F5-GS-10-04] レビュー文書・ユーザープロフィール・店舗情報を考慮したマルチモーダル深層学習による飲食店の評価予測手法の提案 そもそもJSAIでの発表は6年ぶりだったし、しかもこの学会では初めての単独発表

          JSAI2024で研究発表してきました

          「真のデジタルネイティブ」こと現30代に襲い来るAI変革の大波

          1. 「真のデジタルネイティブ」たるぼくら僕は以前から、真のデジタルネイティブは90年代前半(とその前後あたり)に生まれた世代なのではないかという漠然とした考えを持っています。 たとえば僕は1991年生まれの現33歳で、小学校低学年にISDNによるパソコンでのインターネット世界を経験し(ネットのやり過ぎで家の固定電話が使えずよく怒られた)、中学時代におもしろフラッシュ倉庫に入り浸り、高校時代はガラケーで連絡を取りながらWord/Excelで生徒会の仕事をこなし、大学時代に日本

          「真のデジタルネイティブ」こと現30代に襲い来るAI変革の大波

          Colabのkerasとtransformers最新版で出る変なエラーへの対処メモ

          情報が少ないのでメモを残しておく。 1. 問題の再現最近いよいよスパコンで計算することが多くなってきてColabはあんまり触ってなかったんだけど、ちょっと個人的なプロジェクトのために触ってみたら変なエラーが出た。 2024年4月26日現在、ColabでKeras + transformersでBERTあたりを組み込んだモデルを構築する場合、デフォルトの環境は - tensorflow: 2.15.0 - transformers: 4.40.0 になっている。 impor

          Colabのkerasとtransformers最新版で出る変なエラーへの対処メモ

          ファイルのアップロードから短縮URL取得まで一気に行うPythonスクリプトの作成

          僕はクラウドストレージの同期ソフトを常駐させるのがとにかく嫌いなので、特にGoogle Driveはブラウザーで使っています。というのも、クラウドで触るのはデータ周りが多いのでローカルと同期する必要はほとんどなくて、たまにちょっとしたファイルをサクッと共有する必要があるぐらいなんですよね。するとファイルをクラウドストレージに(一方的に)アップロードしつつ短縮した共有リンクがすぐ返ってきたら便利だなーなんて思っていて、しかしなかなか一気通貫のコードを書く余裕がなかったんですよね

          ファイルのアップロードから短縮URL取得まで一気に行うPythonスクリプトの作成

          Python超基礎1: 変数型と変数化

          *授業資料をnoteに移植することにしたので、改訂しつつ上げていきます。 *この授業の目的はプログラミングを習得することではないため、情報学的な観点から見るとかなり大雑把な内容になっています。 今回はインターネット環境さえあれば誰でも簡単にプログラミング言語Python(パイソン)を用いて解析を行うことができるGoogle Colaboratory(以後 Colab)を利用した解析例を示す。(使用にはGoogleアカウントでのログインが必要だが、名城生はメイネットIDを用い

          Python超基礎1: 変数型と変数化

          音楽業界のブロックチェーン活用に関する一考察:KENDRIXの事例から考える

          僕は大学で深層学習(いわゆる今のAIの基盤技術というか)の研究をしている身なのでブロックチェーンは専門外なんだけど、一方で楽曲をリリースしたりライブ活動したりする中で音楽関係の企業さんとの付き合いも多い(一応アドバイザー的なポジションにいる)ので、音楽テック関係の情報はそれなりに追い続けてきた。 なんだか知らないけど、生成AIが話題になる一瞬前までのほんの一時期に限っては、AIとブロックチェーンが各種メディアで一緒に取り上げられることがとても多かった。今思えばそう大した関係

          音楽業界のブロックチェーン活用に関する一考察:KENDRIXの事例から考える

          何ごともアルゴリズム次第だなと思った話

          『アルゴリズムが世界を支配する』なんて本もあったように、現代はビッグデータというよりアルゴリズムの方が重要だと思う。もちろんデータが下支えになって初めて現代のAI系アルゴリズムが走るわけではあるんだけど。 最初に書いたコード1行に1つのJSONが並んだテキストファイルを1行ずつパースしながらpandasのDataFrameを作る作業をしなきゃいけなくて、とりあえず以下のようなコードを書いた(正確にはもうちょっと複雑だけど)。 with open(path, 'r') as

          何ごともアルゴリズム次第だなと思った話

          EditageのJournal Selectionを使ってみた

          Editageに英文校正をお願いするついでに、ものは試しということでJournal Selectionのオプションもつけてみたところ、校正から数日してPDFとdocmの2つのファイルでレポートが納品された。公式で公開されているサンプル(PDF)どおりのものが届いた。 すでに50件ぐらい比較検討してますので、投稿先も自分で選べないのかというのはとりあえず置いておいてください。純粋な興味なんです。 このレポートの作成にあたっては、Editage reviewerなる人物が私の

          EditageのJournal Selectionを使ってみた

          ColabでWeights & BiasesのAPI KEY入力を自動化する

          Weights & Biases (wandb) をColab上で使う場合、(いちいち環境変数を登録しない限りは)wandb.login()でトークンを入力する形が多いように思う。こんなふうに。 しかし、最近とにかくColabをちょろっと立ち上げてはモデルを組んでぶん回してノートブックを複製してまたモデルをいじって、みたいなことがとにかく多くて、インスタンス立ち上げのあといちいちログインで引っかかると正直面倒臭い。この入力プロセスを省略するためには、公式にもあるとおりで基本

          ColabでWeights & BiasesのAPI KEY入力を自動化する

          2つの赦し: 映画"Dogville"から

          映画『ドッグヴィル』Dogvilleを観た。勧められてから2年ぐらい放置していたような気がする。すみません。まだこれから英語字幕でもう一回観たいのだが、現状で書ききれないほどメモが溜まっているので、とにかく一周目の感想を書き残しておく。 1. はじめに人間は、誰しも自身の置かれた環境に由来する原罪や、あるいはこれまで積み重ねてきた罪から赦されたいものである。ただ、その赦しには2つのパターンがあるように思う。ある者は、自身の行いは置かれた環境や状況がそうさせるものに過ぎず、あ

          2つの赦し: 映画"Dogville"から

          超知能、あるいは愛のようなもの。〜アンドロイドは電気羊の夢を見るか?〜

          この小説『アンドロイドは電気羊の夢を見るか?』のタイトルをサンプリングした、「〜は〜の夢を見るか」というフレーズはいろんなところで頻繁に出てくる。ところで、このタイトルの原文は"Do Androids Dream of Electric Sheep?"である。この表現をどうとるかというのは、当たり前だけど小説の核となる問題提起とかなり直接的に連関している(というかそのまま表しているといっても過言ではない)。もちろん、「(眠っている間に)電気羊に関する夢を見るか?」と訳すことは

          超知能、あるいは愛のようなもの。〜アンドロイドは電気羊の夢を見るか?〜

          Weights & BiasesをStatsmodelsで使う

          僕は最近acceptされたマルチモーダルモデルやら来月あたりpreprintに投げるつもりのBERT使ったモデルなど、ここしばらくのモデル比較をほぼ全部Weights & Biases (W&B) +kerasで管理しており、気づけばすっかりW&Bのヘヴィユーザーになってしまった。ただ、一方で僕は統計的な指標開発のためにかなりシンプルな線形回帰なんかでも論文を書く人なので、statsmodelsの解析結果も管理できるとありがたい。ということでちょっとやってみる。 準備まあと

          Weights & BiasesをStatsmodelsで使う