hirasu1231

四流と思い込みたい五流エンジニア。 ブログが更新できなくなったので、noteに移行して…

hirasu1231

四流と思い込みたい五流エンジニア。 ブログが更新できなくなったので、noteに移行してます。 ブログ:http://hamlet-engineer.com

マガジン

記事一覧

Windowsのwsl2(Ubuntu)上のDockerでNASにマウントしようとした記録

容量の都合上、NASにデータを格納しています。また、ローカル環境をあまり汚したくないのでDockerを利用したいです。 しかし、wsl2(Ubuntu)上のDockerでNASにマウントする…

hirasu1231
23時間前

[技術日誌]地域メッシュコードを判定する&なんj論文レビュー

座標情報から地域メッシュコードを判定する地域メッシュコードとは 1次メッシュコード 例: (35.6895, 139.6917) の1次メッシュコードは5339(53-39) ・35.6895 * ( 1.5 …

hirasu1231
8日前
1

[技術日誌]グラフDBなるものがあるらしい

最短経路探索を趣味で取り組んでるのですが、グラフDBなるものを使うケースもあると聞きました。 Hello World的なものまでやってみます。 参考サイト: ディレクトリ構成…

hirasu1231
2週間前

[技術日誌]LLMの単語ベクトルは本当に偏っているのか? & なんj論文レビュー

LLMのある噂を検証する知人のエンジニアからある噂を聞きました。 「LLMの単語ベクトルは偏っていて、全く関係ない文章が高い類似度を算出されることがある」 上記の噂が本…

hirasu1231
2週間前
3

[技術日誌]モデル別で文章の類似度を判定する

8/9分の技術日誌 モデル別で文章の類似度を判定する環境構築 Google Colabratryを使用してるので、環境構築は不要です。 SentenceTransformers 下記のコマンドでライブ…

hirasu1231
2週間前
2

[技術日誌]LangChainでReActとtoolsを使いPDFの検索と思考を見る & なんj論文レビュー

酔っ払いすぎて投稿するのを忘れたので,今投稿 LangChainでReActとtoolsを使いPDFの検索と思考を見る複数のPDFをどのように参照したのかも知りたいので、LangChainでReAc…

hirasu1231
2週間前

[技術日誌]VerteAIで複数のPDFを参照して質問に答えてもらう & なんj論文レビュー

VerteAIで複数のPDFを参照して質問に答えてもらうVerteAIだと、PDFを読み込むことが容易だったので下記のコードで実装してみました。 一応、質問には答えてくれますが、ど…

hirasu1231
3週間前
2

[技術日誌]LangChainのReActの内部プロンプトを確認 & なんj論文レビュー

仕事や趣味でコードを書いた時のメモと、論文を雑に読むためになんj風にLLMでまとめてもらいます。 LangChainのReActの内部プロンプトを確認ReActとは(超訳) LLMへの入力…

hirasu1231
3週間前
1

[勉強日誌]GTFS-GOでバス路線図を描画する

GTFS-GOでバス路線図を描画します。 プラグインのインストールQGISで共有されているGTFS-GOをインストールします GTFS-GOの読み込み GTFS-GOでGTFSデータのzipを読み…

hirasu1231
1か月前

YouTube Data API を使って再生リストから動画の再生回数等の情報を取得する

YouTube Data API を使って再生リストから動画の再生回数等の情報を取得します. 有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物と…

100
hirasu1231
2年前
2

YouTube Data API を使ってチャンネルIDから動画の情報を取得する

YouTube Data API を使ってチャンネルIDから動画の情報を取得します. 有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考…

100
hirasu1231
2年前

YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得し,可視化も実装する

YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得し,可視化も実装します. 有料枠設定にしていますが,下記のサイトで他の記事もみれます.you…

100
hirasu1231
2年前
1

YouTube Data APIから得た情報からサムネイル画像をダウンロードする

YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得します. 有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な…

100
hirasu1231
2年前

YouTube Data API を使って動画の再生回数等の情報を取得する

YouTube Data API を使って動画の再生回数等の情報を取得します. 有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考えく…

hirasu1231
2年前
1

YouTube Data API を使ってキーワード検索から動画のタイトル等の情報を取得する

YouTube Data API を使ってキーワード検索から動画のタイトル等の情報を取得します. 有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な…

hirasu1231
2年前
2

YouTube Data API を使って1つの動画から様々な情報を取得する

YouTube Data API を使って1つの動画から様々な情報を取得します. 有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考え…

hirasu1231
2年前
1

Windowsのwsl2(Ubuntu)上のDockerでNASにマウントしようとした記録

容量の都合上、NASにデータを格納しています。また、ローカル環境をあまり汚したくないのでDockerを利用したいです。
しかし、wsl2(Ubuntu)上のDockerでNASにマウントするのに、一苦労あったので、自分用のメモとして執筆します。

Windows11

wsl2

Docker(WSL上)

Buffalo LS720D(NAS)

wsl2(Ubuntu)上のDockerでNAS

もっとみる

[技術日誌]地域メッシュコードを判定する&なんj論文レビュー

座標情報から地域メッシュコードを判定する地域メッシュコードとは

1次メッシュコード

例:
(35.6895, 139.6917) の1次メッシュコードは5339(53-39)
・35.6895 * ( 1.5 ) = 53.53425 → 53
・139.6917 - 100 = 39.6917 → 39

2次メッシュコード

例題:
(35.6895, 139.6917) の2次メッシ

もっとみる

[技術日誌]グラフDBなるものがあるらしい

最短経路探索を趣味で取り組んでるのですが、グラフDBなるものを使うケースもあると聞きました。
Hello World的なものまでやってみます。

参考サイト:

ディレクトリ構成

neo4j_docker/ ├ src/ | ├ neo4j_test.py | └ search_test.py ├ python_docker/

もっとみる

[技術日誌]LLMの単語ベクトルは本当に偏っているのか? & なんj論文レビュー

LLMのある噂を検証する知人のエンジニアからある噂を聞きました。
「LLMの単語ベクトルは偏っていて、全く関係ない文章が高い類似度を算出されることがある」
上記の噂が本当なのか、1つのLLMだけですが、検証してみました。

環境構築

Google Colabratryを使用してるので、環境構築は不要です。

LLMベースのモデル(重い)

下記のLLMベースモデルが人気だったが、無料版のCola

もっとみる

[技術日誌]モデル別で文章の類似度を判定する

8/9分の技術日誌

モデル別で文章の類似度を判定する環境構築

Google Colabratryを使用してるので、環境構築は不要です。

SentenceTransformers

下記のコマンドでライブラリをインストールします。

!pip install sentence-transformers

データセットの準備

モデルによっては、全く違う文章でも類似度の最大値が1として0.8を超

もっとみる

[技術日誌]LangChainでReActとtoolsを使いPDFの検索と思考を見る & なんj論文レビュー

酔っ払いすぎて投稿するのを忘れたので,今投稿

LangChainでReActとtoolsを使いPDFの検索と思考を見る複数のPDFをどのように参照したのかも知りたいので、LangChainでReActとtoolsを組み合わせみました。

VertexAIのキー設定

import osos.environ['VertexAI_PROJECT'] = "****************"os.en

もっとみる

[技術日誌]VerteAIで複数のPDFを参照して質問に答えてもらう & なんj論文レビュー

VerteAIで複数のPDFを参照して質問に答えてもらうVerteAIだと、PDFを読み込むことが容易だったので下記のコードで実装してみました。
一応、質問には答えてくれますが、どのPDFに書かれていたのかまでは答えてくれません。
たぶん、プロンプトを変更すれば答えてくれるかも

import osimport vertexaifrom vertexai.generative_models imp

もっとみる

[技術日誌]LangChainのReActの内部プロンプトを確認 & なんj論文レビュー

仕事や趣味でコードを書いた時のメモと、論文を雑に読むためになんj風にLLMでまとめてもらいます。

LangChainのReActの内部プロンプトを確認ReActとは(超訳)

LLMへの入力文(質問)から、行動(どのように答えるか)すべきかをLLMが思考する。そして、LLMが行動した結果を観察(考察)して、改めて行動(どのように答えるか)すべきかを思考する。 この工程を何度か繰り返すことをReA

もっとみる
[勉強日誌]GTFS-GOでバス路線図を描画する

[勉強日誌]GTFS-GOでバス路線図を描画する

GTFS-GOでバス路線図を描画します。



プラグインのインストールQGISで共有されているGTFS-GOをインストールします

GTFS-GOの読み込み GTFS-GOでGTFSデータのzipを読み込みます。

GTFS-GOの描画GTFS-GOでGTFSデータを描画します。 路線図、バス停、頻度図が描画できます。


参考文献東京都のGTFSデータ
GTFS-GO

YouTube Data API を使って再生リストから動画の再生回数等の情報を取得する

YouTube Data API を使って再生リストから動画の再生回数等の情報を取得する

YouTube Data API を使って再生リストから動画の再生回数等の情報を取得します.

有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考えください.

YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。

もっとみる
YouTube Data API を使ってチャンネルIDから動画の情報を取得する

YouTube Data API を使ってチャンネルIDから動画の情報を取得する

YouTube Data API を使ってチャンネルIDから動画の情報を取得します.

有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考えください.

YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。
公式のド

もっとみる
YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得し,可視化も実装する

YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得し,可視化も実装する

YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得し,可視化も実装します.

有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考えください.

YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用す

もっとみる
YouTube Data APIから得た情報からサムネイル画像をダウンロードする

YouTube Data APIから得た情報からサムネイル画像をダウンロードする

YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得します.

有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考えください.

YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます

もっとみる
YouTube Data API を使って動画の再生回数等の情報を取得する

YouTube Data API を使って動画の再生回数等の情報を取得する

YouTube Data API を使って動画の再生回数等の情報を取得します.

有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考えください.

YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。
公式のドキュメ

もっとみる
YouTube Data API を使ってキーワード検索から動画のタイトル等の情報を取得する

YouTube Data API を使ってキーワード検索から動画のタイトル等の情報を取得する

YouTube Data API を使ってキーワード検索から動画のタイトル等の情報を取得します.

有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考えください.

YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます

もっとみる
YouTube Data API を使って1つの動画から様々な情報を取得する

YouTube Data API を使って1つの動画から様々な情報を取得する

YouTube Data API を使って1つの動画から様々な情報を取得します.

有料枠設定にしていますが,下記のサイトで他の記事もみれます.youtubeの投げ銭的な物として,お考えください.

YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。
公式のドキュ

もっとみる