2023データ分析コンペ記録

2023/1/2 いろいろ試して暫定評価の推移をとかメモとかを記録していく。 1回目暫定評価：sample_submit.csvをそのまま投稿：8,114.8998011 !echo y | pip install "インストールするもの" でjupyterlab内でインストールできる。 2023/1/3 とりあえず複数のデータフレームを1つに結合してみた。 temp.loc[(temp['description'].notnull()), 'descriptio

2022/12/31　データ分析備忘〜スポーツのチケット価格の適正化〜

今年はデータ分析コンペの主催者であるSIGNATEの講座復習をしてからコンペに臨むことにします。 今年意識していることはショートカットキーでいかに指の動きを少なくタイピングするかです。例えばdeleteはctr+dとか、これをすることで時間のロスを防げます。 2023/1/1付けで、講座修了しました。特徴量エンジニアリングで、セグメント知識が必要になることがわかった。有名選手が入団した年以降は観客が多くなるので、この年にこの選手が入団しているとか。この辺りは各チームとか年で

SIGNATE　Questにチャレンジ①

2022/1013 もうそろそろ昨年同様のデータ分析コンテストがあるのですが、全く覚えていないのでSIGNATEで練習を始めていこうと思います。 ほんとに久しぶりにPython触るし、note書くのも久しぶりです。 完全無料で受けられる株価予測（ファンダメンタルズ分析）のQuesutにチャレンジしようと思います。ミッションがいくつかあって順序を追っておさらいできそうなのでちょうどいいです。 備忘：SIGNATEはCodes&Co.のGoogleアカウントでログイン。

Macで画面表示オフにしながらアプリを動かし続ける方法

システム環境設定から バッテリーをクリック 左側のバッテリーを選ぶと、電源アダプタを接続していない場合の設定ができます。 「ディスプレイをオフにする」のゲージを一番左に持っていって「しない」にします。 さらに、電源アダプタも選択します。 同様に、「ディスプレイをオフにする」のゲージを一番左に持っていって「しない」にします。そして、「ディスプレイがオフの時にMacを自動でスリープさせない」にチェックします。 さらに、システム環境設定から、デスクトップとスクリーン

MacBookでアプリをアンインストールする方法

Launchpadを開く optionを長押しするか、消したいアプリをクリックし抑えたままにすると、消せるアプリの左上に✖️マークが現れて揺れ始める。 ✖️を押して削除を押す。 すぐに削除できて、メニューバーからも消えた。 「Codes&Co.」「コーズコー」

webスクレイピングを知識0から始めて習得するま⑦【Scrapyでの複数ページへの対処】

2022/1/30【7日目】 最初のページからのデータの取得方法検討 1ページだけのサイトではなく、複雑な構造のサイトへの対処を学んでいきます。 https://www.yodobashi.com/category/19531/11970/34646/ ヨドバシ.comのサイトから、人気順で並んでいる商品の情報を取得していきます。 データ取得方法の検討・確認 調べたい消費を右クリックし検証を押す。するとhtmlコードを確認できる。商品名はp要素に含まれている。メーカ

MacBook メモリ、CPUの状況をメニューバーに常に表示させる方法【Mac App Storeアプリのダウンロード方法】

MacBook Airはメモリが8GBしかなく、アプリを開きすぎると強制的にアプリを閉じさせられることがあったので、常にメニューバーに状況を表示させる方法はないか知べてみた。初めてMac App Storeでアプリをダウンロードするので1から記録します。 Better Menubarというソフトで実現できそう。 Mac App Storeからダウンロードするみたい。 入手をクリック パスワードを要求される 「開く」に変わる 自動的にLaunchpadに追加されてい

webスクレイピングを知識0から始めて習得するま⑥【XPathとCSSセレクタの基本】

2022/1/22【6日目】 XPathとCSSセレクタのちがい いずれかをマスターをすれば大丈夫。両方マスターする必要はない。CSSセレクタの方が理解しやすいという声もあるがどちらもあまり変わらない。XPathの方が柔軟に要素を指定できる。 私は、柔軟に要素を指定できると後々困ることも少ないと思うのでXPathで進めていこうと思います。 XPathとはXML Path Languageの略。XML形式の文書から要素を抽出するための簡易言語。htmlにも使える。 柔軟

MacBookのホームフォルダ名を変更する方法

↓の部分に、自分のフルネームが入っているので、スクショを載せたい時とかにいちいち黒塗りするのが大変でした。 ホームフォルダ（ホームディレクトリ）の名前を変更してみます。 ここの部分とかも まず、もう1つのアカウントを作成する次の順でクリックしていく システム環境設定 ユーザーとグループ パスワードを入力 ＋ このアカウントはすぐに消してしまうのでこだわらず、管理者にして、適当な名前をつける。ユーザを作成をクリック。 これで新アカウントができました。 一旦今

MacBook起動時にパスワードを省略する方法

MacBookを使い始めて、3ヶ月。しばらく目を離すとスリープモードになっていて、また使おうとするとパスワード入力画面になるのでいちいち面倒くさいなと思っていました。 簡単な設定でパスワードを省略できるようになったのでやり方を紹介します。 スリープ状態からボタンを押すと、パスワードかTouch IDを求められる状態でした。Touch IDで解除できていたからそこまでの手間ではないんだけど、ない方がいいなと思ってた。 まず、画面左上の🍎マークをクリック→システム環境設定

Macでフォルダやファイルのショートカットをデスクトップに作るには、対象ファイルを副ボタンクリック（widowsでいう右クリック）してエイリアスを作成する。エイリアス＝ショートカットのこと。左下に矢印マークのついたアイコンができるからそれをデスクトップに移すだけ。

webスクレイピングを知識0から始めて習得するまで⑤【Scrapyの基本】

2022/1/9 【2日目】 データ分析コンペである程度pythonのコードとかpandasとか使うのに慣れたので、ずっとやりたかったwebスクレイピングを1から勉強していきます。 webスクレイピングができるようになったらやりたいことは、webからTiborの履歴をとってきて、チャートを表示できるサイトを作りたい。データ分析で勉強したpandasとかmatplotも使うことになると思うから丁度いいとおもってる。 Scrapyのコマンドscrape bench ben