daigo

社内SEです。WEB（PHP、Python、JavaScript、Node.js、Go…

daigo

社内SEです。WEB（PHP、Python、JavaScript、Node.js、Go）、Windowsアプリ（C#）、インフラ、GCPなど特に特にこだわりなく興味があるものに手を出しています。

  • システム

    開発などのメモ

CLIPモデルで画像特徴点の抽出とElasticsearchで類似画像検索

類似画像検索システムを検討するにあたってCLIP（2021年2月にOpenAIによって公開された，言語と画像のマルチモーダルモデル）を試してみました。 １．Elasticsearchのマッピング定義import jsonfrom elasticsearch import Elasticsearches = Elasticsearch("http://0.0.0.0:9200")# インデックス名index_name = "test_index"# インデックスを削除#res

daigo

    • Dockerコンテナ内のPythonを定期実行させる

      Docker内のPythonをホストのcronで定期実行させる方法 20 * * * * docker exec -i コンテナ名 python main.py 上記を設定しても実行されてない。そのためフルパスで指定してcronを書き換える ※cronのログが無い場合は以下の設定を見直し 正常に実行されたときの書き方例 20 * * * * /usr/bin/docker exec -i コンテナ名 /usr/local/bin/python main.py

      daigo

      • 開発で使っているVSCodeの拡張機能（PHPとNext.js）

        基本Japanese Language Pack for Visual Studio Code VS Codeのユーザーインターフェース（UI）やメニュー、ツールチップ、エラーメッセージなどを日本語に翻訳するための拡張機能 Git Graph ブランチの視覚化 コミット履歴の表示 マージの表示 ブランチの作成や切り替え コミットの比較 Git History コミットログの表示 コミットの詳細の表示 ブランチやタグの表示 検索機能 PHPLarave

        daigo

        • Tauriでデスクトップアプリを作成

          Tauriとは RustのセットアップRustの公式ウェブサイト (https://www.rust-lang.org/) からインストーラーをダウンロードして、インストールする。 Node.jsのインストールNode.jsの公式ウェブサイト (https://nodejs.org/) からインストーラーをダウンロードし、インストールする。 Tauriのインストールyarn add -g tauri プロジェクトの作成※my-appはプロジェクト名 yarn cre

          daigo

        CLIPモデルで画像特徴点の抽出とElasticsearchで類似画像検索

        daigo

        マガジン

        • システム
          17本

        記事

          Dockerの内部IP問題とGPU設定

          GPUを積んだPCでdefaultのruntimeをnvidiaに変更nvidia container toolkitのインストール apt-get install -y nvidia-container-toolkit ※やり方が変わっていそうなので後日確認 /etc/docker/daemon.json { "default-runtime": "nvidia", "runtimes": { "nvidia": {

          daigo

          Dockerの内部IP問題とGPU設定

          daigo

          LinuxのsambaとWindowsのActiveDirectoryの連携

          LinuxサーバーのフォルダをWindowsのユーザーごとに管理権限を付与して管理したかったため、Linuxにsambaをインストールし、ActiceDirectoryでドメインのユーザー連携を行った時のメモ name serverの設定 下記のファイルの見直し （あるクラウドだと勝手に書き換わってしまい原因が分かるまでハマった。。。） vi /etc/resolv.conf nameserver XXXX.XXXX.XXXX.XXXX ActiveDirectory

          daigo

          LinuxのsambaとWindowsのActiveDirectoryの連携

          daigo

          Airbyte使ってみた

          AirbyteとはAirbyteとは、さまざまなデータソースからデータをデータウェアハウスやデータレイク、データベースに統合することができるオープンソースのデータ統合エンジン。AirbyteはELT（Extract, Load, Transform）EとLの部分で、データソースからデータを抽出して、目的の場所にロードした後に、必要に応じて変換処理を行うことができる。 インストール git clone https://github.com/airbytehq/airbyte

          daigo

          Airbyte使ってみた

          daigo

          pandasからpolarsへの書き換え

          CSVの読み込みpandas import pandas as pdfile_path = 'example.csv'encoding = 'utf-8' # 文字コードdelimiter = ',' # デリミタdf = pd.read_csv(file_path, encoding=encoding, delimiter=delimiter, error_bad_lines=False)print(df) polars import polars as pl

          daigo

          pandasからpolarsへの書き換え

          daigo

          ChatGPTのプロンプトメモ

          クレーム分類クレーム内容をグループ化して、その改善内容を提示させる 以下を読んだら「YES」と言ってください。​#データや情報：​以下は、某スーパーによせられた消費者からのクレームです。​【クレーム】野菜の値段が高い。魚の鮮度が悪い。肉が硬い。惣菜の種類が少ない。パンがおいしく無い。デザートが美味しい。レジが混んでいる。駐車場が狭い。店員の対応が悪い。店内が汚い。トイレが汚い。空調が効き過ぎている。空調が効き足りない。店内がうるさい。店内が暗い。店内が広すぎて迷う。店内が狭

          daigo

          ChatGPTのプロンプトメモ

          daigo

          Electronアプリ開発

          ElectronとはElectronは、ChromiumとNode.jsを組み合わせたクロスプラットフォームのフレームワーク。Web技術を使用してデスクトップアプリケーションを開発することができる。 nodejsをインストール バージョンの確認 node -vnpm -v ※npm Node Package Managerの略で、Node.jsで使用されるパッケージ管理システム。npmでは、JavaScriptのライブラリやツールをパッケージとして管理し、インストール

          daigo

          Electronアプリ開発

          daigo

          GoogleスプレッドシートをPythonで操作する

          Google Cloud ConsoleでAPIの有効化 Google Drive API Google Sheets API 認証情報の追加 「APIとサービス」から「認証情報」→「認証情報を作成」 サービスアカウントを選択 ロールは「オーナー」 ２．自動作成されたサービスアカウントをメールアドレスをクリック キータブから「鍵を追加」※Jsonタイプ Googleスプレッドシートの共有 Googleスプレッドの共有で、作成されたサービスアカウントのメール

          daigo

          GoogleスプレッドシートをPythonで操作する

          daigo

          Laravel10+AdminLite3

          AdminLiteの導入方法 composerでインストール composer require jeroennoten/laravel-adminltephp artisan adminlte:install adminLiteを適用したサンプルテンプレート @extends('adminlte::page')@section('title', 'ページタイトル')@section('content_header')ページごとに表示を切り替えるヘッダー部分@stop@

          daigo

          Laravel10+AdminLite3

          daigo

          プロキシサーバー構築

          プロキシサーバーを構築するためOSSのSquidを構築 プロキシサーバ設定プロキシサーバインストール（Squid） apt-get install squid 「Squid」インストール後の起動設定 systemctl start squidsystemctl enable squid プロキシサーバのポート確認 vi /etc/squid/squid.conf http_port 3128　#デフォルトから変更 #設定反映systemctl reload s

          daigo

          プロキシサーバー構築

          daigo

          KNIMEでのFROM-TOのデータを日単位に変換

          KNIMEとは 無料で利用することができるデータ分析ツール（ETL） データの収集、処理、分析、可視化をグラフィカルに行うことができるため、データサイエンティストやビジネスアナリストに広く利用されている。 全体像処理する元データ 前半部分の処理について まずは日付の文字列を日付型に変換 次にFORMとTOの日付の差分を計算 当日も含むので＋１日 打ち上げカラムがあるのでそのままだと単純に膨れ上がってしまうので按分 ここまでが上半分の処理 後半部分の処理につい

          daigo

          KNIMEでのFROM-TOのデータを日単位に変換

          daigo

          Pythonで記事サイトのリーダーモードを再現

          クローリングしてきたHTMLファイルに対して、必要とする記事だけを抜き出したいが、フォーマットが統一されていないので何とかしたい。 Firefoxなどリーダーモードにすると、広告やヘッダー、フッターなど不要な箇所が除去されるので同じようなことをプログラムでできないか検証 Readability.js のラッパーである readabilipy をインストール pip install readabilipy 手元にHTMLファイルがある前提として、 そのHTMLファイルを読

          daigo

          Pythonで記事サイトのリーダーモードを再現

          daigo

          Encryptを使用してNginxでhttps接続

          https化をしていないと、使えないツールもあるため開発環境もSSL証明書を導入する。 今回の環境は ・Ubuntu 20.04 ・nginx。 Let’s Encryptで証明書を発行し、https接続できるよう構成する。 Certbotのインストール証明書の発行や自動更新を行ってくれる便利なツール sudo apt install certbot python3-certbot-nginx ※ARM版は以下を実行 certbot certonly nginx

          daigo

          Encryptを使用してNginxでhttps接続

          daigo