記事一覧

ChatGPT plus(GPT4)による機械学習

今回は前回の統計分析の続編で、ChatGPT4のエンジニアとして使用範囲の把握のため、GPT4によるプロンプトとPythonによるコーディングにおいて、作業性と結果比較を行いまし…

Yujimaru
8か月前
2

国内需要調査の簡易方法 e-Stat活用

最近需要調査に役に立つオープンデータのe-Statについて学んだので共有します。ここまでの調査データがあるのに活用しないのは勿体ないと感じました。家計の消費支出から需…

Yujimaru
8か月前
4

Chat GPT plus(GPT4)による統計分析

今回Chat GPT plusで大学基礎課程レベル※1の統計分析がどこまで可能かを確かめました。結論は以下です。(表計算ソフトと比較。プラグインは未使用) ・分析結果は市販の…

Yujimaru
9か月前
1

Chat GPT plus(GPT4)による感情分析(Advanced Data Analysis利用)(口コミ分析参考)

Chat GPT4でレビューの感情分析をした手順を簡単にまとめました。詳細は別サイト参照ください。出力結果にはレビュー評点を0~5点の6段階評価で、x軸にChat GPT4のレビュー…

Yujimaru
10か月前
4

PythonでWordCloudによる分析

Pythonで口コミなどのテキスト分析で使用するWordCloudを実行できたので簡単に手順化しました。正直コードは簡単ですが環境構築で手間取り、その解決策を簡単な手順の中に…

Yujimaru
10か月前
4

統計の差の検定手法選択フロー(参考)

今回は有意差検定を中心に統計手法の選択フローを簡単に作成しました。学んだことをフローにすると分かりやすく整理できました(情報収集結果や復習も兼ねて使用頻度高そう…

Yujimaru
10か月前
1

Pythonによるスクレイビングの方法(Scrapy)

初投稿です。最近Python、開発環境インストールからスクレイピングするまで実行できたので簡単な手順を参考に記載します。かなりざっくりです汗。詳細は別サイトご参考くだ…

Yujimaru
10か月前
19

ChatGPT plus(GPT4)による機械学習

今回は前回の統計分析の続編で、ChatGPT4のエンジニアとして使用範囲の把握のため、GPT4によるプロンプトとPythonによるコーディングにおいて、作業性と結果比較を行いました。(※プラグインは未調査)
1. 最適輸送問題の計算
2. レコメンドシステムによる推薦
3. ベイズ最適化による計算

以上の比較から下記のことが分かりました。
作業性:計算手順が複数に及ぶ場合はアルゴリズムの指定など

もっとみる

国内需要調査の簡易方法 e-Stat活用

最近需要調査に役に立つオープンデータのe-Statについて学んだので共有します。ここまでの調査データがあるのに活用しないのは勿体ないと感じました。家計の消費支出から需要の把握も可能かと思います。その支出項目一覧を示します(本記事最下部)。またその他確認できた実施可能項目は下記。

・e-Statでできること(一部抜粋)
 ①支出の推移グラフ作成(下記手順参考(所要時間:数分程))
 ②統計API(

もっとみる

Chat GPT plus(GPT4)による統計分析

今回Chat GPT plusで大学基礎課程レベル※1の統計分析がどこまで可能かを確かめました。結論は以下です。(表計算ソフトと比較。プラグインは未使用)

・分析結果は市販の表計算ソフトと比較し大きな違いはなかったが(※2)、基本指定したもののみを出力すること。但し重回帰分析は多重共線性を自動で確認。
・出力の条件が不足した場合、一部のみを出力(事例:t検定で片側検定は未出力)

統計分析をする

もっとみる

Chat GPT plus(GPT4)による感情分析(Advanced Data Analysis利用)(口コミ分析参考)

Chat GPT4でレビューの感情分析をした手順を簡単にまとめました。詳細は別サイト参照ください。出力結果にはレビュー評点を0~5点の6段階評価で、x軸にChat GPT4のレビュー分析の評点結果、y軸にレビューの正解の評点結果を示しました(バブルサイズは頻度)。手軽さの参考対象として私がPythonで組んだパラメータ調整前の日本語特化のTransformerの結果も掲載します。

プロンプトとデ

もっとみる

PythonでWordCloudによる分析

Pythonで口コミなどのテキスト分析で使用するWordCloudを実行できたので簡単に手順化しました。正直コードは簡単ですが環境構築で手間取り、その解決策を簡単な手順の中に織り込みました。詳細は他サイトを参照ください。開発環境はWIndowsによるVS Codeのみです。環境構築で迷った際は以前の投稿のhttps://note.com/consulbyanalysis/n/nd9a62914f4

もっとみる

統計の差の検定手法選択フロー(参考)

今回は有意差検定を中心に統計手法の選択フローを簡単に作成しました。学んだことをフローにすると分かりやすく整理できました(情報収集結果や復習も兼ねて使用頻度高そうなものを抜粋。抜け漏れがありそうです)図を見ても良くわからない方はフロー図以下の説明を確認ください(なお検定手法の中身は他サイトご参照ください)。ベイズ統計は未記載のため参考として機械学習のアルゴリズム選びにも同じような”チートシート”と呼

もっとみる

Pythonによるスクレイビングの方法(Scrapy)

初投稿です。最近Python、開発環境インストールからスクレイピングするまで実行できたので簡単な手順を参考に記載します。かなりざっくりです汗。詳細は別サイトご参考ください。別サイトでは長々と説明がありますが、基本これだけで可能でした。抜け漏れありそうで不安。スクレイピングの際は対象サイトの利用規約などを要確認です。スクレイピングOKと名乗るサイトもあります。

VS Codeのインストール

Py

もっとみる