Yosukeee

某企業のWebエンジニア。日々の自己学習を仕事に活かすことが大好き。 早くAWSなどク…

Yosukeee

某企業のWebエンジニア。日々の自己学習を仕事に活かすことが大好き。 早くAWSなどクラウドサービスの学習を仕事に使いたいです。 AWS SAA、AZ-900 Microsoft Azure Fundamentals、G検定を取得済み。 年内にAWS SAPを受験します。

最近の記事

よく使うGitコマンド

背景 ちょっと開発から遠ざかったので、あらためてGit復習してみました。 コマンド 一からGitプロジェクト作成 $ git init {プロジェクト名} 既存プロジェクト(ディレクトリ)をGit管理 $ cd {既存ディレクトリ}$ git init 既存Gitプロジェクトをクローン $ git clone {GitプロジェクトURL} ブランチ作成 $ git branch {ブランチ名} チェックアウト $ git checkout {ブランチ名

    • Windows11でSSHキーをローカルに登録したときにつまづいたので…

      背景 GitHubとのSSH通信準備において、Mac手順だとうまくいかなかったのでメモ。 環境情報  Windows11 Pro  VS Codeのターミナル(bash) ローカルでSSHキーを作成  $ ssh-keygen -t ed25519 -C "{メルアド}"   →SSH公開鍵(id_ed25519.pub)、秘密鍵(id_ed25519)が~/.ssh/配下に作られる  $ eval "$(ssh-agent -s)"   →SSHエージェント起動

      • AZ-900(Azure Fundamentals)を受けてみた

        7月に会社で受講したAzure研修で思い立ち、AZ-900取得に向けて取り組みました。これから受験される方の参考になれば幸いです。 ■筆者のレベル・AWSソリューションアーキテクト保有 ・プライベートでAWSハンズオンセミナーを定期的に受講 ・AWS/Azureとも業務利用なし クラウドの基本知識は持っていたのでセミナーの理解度も高かったですが、 合格するにはAzure特有のサービス名や仕組みを知っておく必要があるため 勉強なしでは合格できなかったと思います。 ■AZ-

        • ディープラーニングの手法 ①活性化関数 ②勾配降下法

          ディープラーニングの研究が活発になり、 今では事前学習が必要なくなった。 これを実現したのは、誤差逆伝搬(バックプロパゲーション)での 勾配消失問題の最大の原因であった活性化関数を工夫する テクニックを用いたことだった。 活性化関数シグモイド関数以外にどういったものが 用いられているか。 1.tanh関数(ハイパボリックタンジェント) 2.ReLU関数(Rectified Linear Unit)  2-1. Leaky ReLU関数  2-2. Parametric

        よく使うGitコマンド

          機械学習の具体的手法

          教師あり学習「与えられたデータ(入力)を元に、そのデータがどんなパターン(出力)になるのかを識別・予測する」こと。 例えば、 ・過去の売上から、将来の売上を予測したい。 ・与えられた動物の画像が、何の動物かを識別したい。 ・英語の文章が与えられたときに、それを日本語の文章に翻訳したい  (英語に対応する日本語のパターンを予測) すなわち、教師あり学習は入力と出力の間にどのような関係があるのか、教師データという正解ラベルに予測値を近づけることを目標に学習する手法といえ

          機械学習の具体的手法

          決定木の重要なパラメータ

          1.max_depth決定木の深さ ・深ければ深いほど分岐が増え説明力が上がるが ・一方、深すぎると意味のない分岐が増えやすく過学習のリスクがある 2.min_samples_leaf葉に属する最小サンプル数 ・サンプル数が少ないと、信ぴょう性の低い分岐ができる可能性あり 参考:【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門 https://www.udemy.com/course/optworks_1/

          決定木の重要なパラメータ

          機械学習とは?

          いろんな定義がある ■参考 書籍「機械学習&ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書 人工知能の1つで、効率的かつ効果的にコンピュータが学習を行うための理論体系 ■参考 【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門 https://www.udemy.com/course/optworks_1/ データからパターンを学習し、パターンを発見したり、その結果を利用して将来を予測すること  -一般的に予測精度が高

          機械学習とは?

          scikit-learnで単回帰分析する際の注意

          単回帰分析のみ、説明変数のデータは2次元配列にする必要がある jupyter notebookにて import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.linear_model import LinearRegression as LR#学習データtrain = pd.read_csv("train.csv")#評価データtes

          scikit-learnで単回帰分析する際の注意

          特徴量とは

          特徴量とは、説明変数のこと 特徴量の作成与えられたデータや外部データを加工し、予測の手がかりになる新たな特徴を作ること 1.基本統計量を作る  例1)AとBの値から「AとBの平均」を算出 2.データを集約する  例)年齢「23, 31, 18, ...」から、年齢層「20代, 30代, 10代, ...」を算出 特徴量の選択・特徴量は多すぎてもよくない。  -過学習のリスク  -不要なものが入ると精度が下がる ・数ある特徴量から重要なものだけ選択すること  例)  

          特徴量とは

          モデリングの流れ

          1.説明変数を決め、データを準備する・どのデータを使ってモデルを作るか決める ・欠損がある場合は前処理 ・学習データからは、説明変数と目的変数を取り出す ・評価データからは、説明変数のみを取り出す ・学習データと評価データから取り出す説明変数は同じであること 学習データと評価データの基礎統計量(※)が同等でないと、過学習リスクが高まるので注意。 ※ pandasでCSVデータを読み込むと、pandas.DataFrameと呼ばれる二次元の表形式データ(テーブルデータ)にな

          モデリングの流れ

          データの予測とは

          予測とは”データ”に基づき、ある値がどのような値になるか想定すること 数値の時、ラベルの時、・・・ 例)お弁当の売上を予測 必要なデータ:  予測したいもの(目的変数):   お弁当の売上実績数  予測のヒントになりそうなもの(説明変数):   気温、曜日、天気、来店客数、ほか 代表的な予測の種類回帰問題: 目的変数が数値(予測したいものが数値) 分類問題: 目的変数がカテゴリ(予測したいものがカテゴリ) 予測モデルを作る基本汎用的なモデルを作る よくある失敗: ・

          データの予測とは

          データ分析で注意すること

          1.はじめにデータ概要を把握するいきなりモデリングに入ると、激しい手戻りが発生することがある 2.すごい分析結果が出たら疑う、客観的に見る使ってはいけない情報を使っていないか、過学習を起こしていないか、など。 3.テクニックに走らない何を分析するのか、何で分析するのか? 参考:【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門 https://www.udemy.com/course/optworks_1/

          データ分析で注意すること

          jupyterの基本操作

          各セルには編集モードとコマンドモードがある編集モード ・hでヘルプ ・ddでセル削除 ・aで新規セルを上に挿入 ・bで新規セルを上に挿入 コマンドモード ・codeモード(プログラミング) ・markdownモード(メモ) セルの実行はShift+Enterノートブック上にグラフを描画する際に指定する記述 matplotlibを使う際は、初めにmatplotlibライブラリをインポートするが、 「% matplotlib inline」を書くと、ノートブック上にグラフ

          jupyterの基本操作

          CPUとGPU

          CPU・直列演算が得意。演算の中心 ・数個のコア GPU・並列演算が得意。画像処理に向いている ・何千ものコア ディープラーニングでは、複数のニューロンの処理を並行で行うことでパフォーマンスが向上するGPUを利用することが必須となる。

          機械学習のライブラリ

          TensorFlow・Google社製。ディープラーニング用。Google使用実績あり ・GPU版あり Chainer・Preffered Networks社製。非常に短いコードで記述可能 ・GPU版あるが、ライブラリ導入が必要 Caffe・カリフォルニア大学のBVLCが開発。コミュニティ活発 ・GPU版あるが、ライブラリ導入が必要 scikit-learn・Google社製。機械学習全般を扱い、統計処理全般に強みあり ・GPU非対応 ...etc

          機械学習のライブラリ

          G検定メモ②

          人工知能の歴史1956年:ダートマス会議「人工知能」の命名 1956ー1974年:第一次AIブーム 1974ー1980年:AIの冬① 1980-1987年:第二次AIブーム 1987-1993年:AIの冬② 1997年:ディープ・ブルーがチェスの世界王者に勝利 2000年代半ば:第三次AIブーム、ディープラーニング注目 2016年:囲碁、将棋のランカーに勝利 2045年:シンギュラリティ来るか!?

          G検定メモ②