記事一覧
Blockchain データ分析（2）：分析用データの加工
前回の記事「Blockchain データ分析（1）：分析用データの入手」で AWS Public Blockchain Data から、ビットコインのブロックチェーンデータを収集してきました。
ダウンロードしてきたブロックチェーンのデータは、一つのトランザクションの中に、複数の送金元と送金先が混在しています。このため、伝統的な分析を行うためにはアドレス（口座、ウォレット）単位で、送金元と送金先、金
Blockchain データ分析（1）：分析用データの入手
本記事は 勉強用に金融トランザクション・データを入手する｜New-Village (note.com) と同一内容になります。データ収集用のスクリプトを Python で作成しなおしたので、ファイルの一括入手 部分のみを書き直したものになります。
Spark を使った分析アプリケーション構築を作るに際して、ある程度の規模を持ったトランザクション・データが欲しかったので、暗号資産の取引データを入手
勉強用に金融トランザクション・データを入手する
Spark を使った分析アプリケーション構築を作るに際して、ある程度の規模を持ったトランザクション・データが欲しかったので、暗号資産の取引データを入手してみました。
Googleで検索した感じ、日本語での説明書きがなかったので、記録として残しておきます。
１．データソースの選定Blockchain から直接入手
暗号資産のデータはブロックチェーンから直接取得することが可能です。Github 上
ChatGPT: モデルによる翻訳結果の違い
Simon Sinek の How Great Leaders Inspire Action をChatGPTで翻訳をかけてみた。精度の問題もあるので、要約は英語で実施した上で、Deeplで日本語化を実施した。
gpt-3.5-turbo-16kgpt-4（stuff）gpt-4（map_reduce）gpt-4（refine）
Google Colab 不要。M1/M2 Mac or iPadで始める AI画像生成
一ヶ月ほど前に、Mac/iPad向けのStable Diffusion対応アプリ “Draw Things” の存在を知りました。このアプリは無料で画像生成系AIである Stable DiffusionをMac/iPad上で実行することができるアプリです。私はM2 iPad Pro (2022) を使っているのですが、現実的な範囲内で画像生成が楽しめるアプリとなっているため、画像生成系AIを試し
もっとみる
ChatGPT, BingAI, Bard に旅行計画を立てさせてみた - 検証編
昨日、ChatGPT、BingAI および Bard で作成した旅行計画の内容について、比較記事を書きましたが、その内容について確認をしていたら、追加の課題が見えてきたので、記事を書くこととしました。
ChatGPTには嘘が多い前回の記事で、「他のサービスに比べて頭一つ抜けている」と書いたChatGPTですが、そこで示された施設について検索したところ、その多くが存在しないことが明らかになりました
Playwright を使ってスクレイピング - スクリーンショットの取得法
一昨日の記事に続いてスクリーンショットを取得するライブラリの紹介です。requests-htmlの場合、pyppetterのラッピングツールであることもあり、単一ライブラリの設定だけで完結しないこともあり、Selenium と比べて使いにくさを感じる部分も多かったです。
そこで、① インストールが容易（できればAzure Fuctions の従量課金でも動く）、② 認証ページの操作が可能、③ 要素
requests-html を使ってスクリーンショットを取る方法
Selenium を使ってウェブページのスクリーンショットを取っていたが、ブラウザのインストールや設定が大変だったため、requests-html への切り替えを検討していた。
スクリーンショット取得方法下記のコードでスクリーンショットが取得できた。
import asynciofrom requests_html import HTMLSessiondef take_screenshot(u