Yosukeee

某企業のWebエンジニア。日々の自己学習を仕事に活かすことが大好き。 早くAWSなどク…

Yosukeee

某企業のWebエンジニア。日々の自己学習を仕事に活かすことが大好き。 早くAWSなどクラウドサービスの学習を仕事に使いたいです。 AWS SAA、AZ-900 Microsoft Azure Fundamentals、G検定を取得済み。 年内にAWS SAPを受験します。

記事一覧

よく使うGitコマンド

背景 ちょっと開発から遠ざかったので、あらためてGit復習してみました。 コマンド 一からGitプロジェクト作成 $ git init {プロジェクト名} 既存プロジェクト(ディ…

Yosukeee
2年前

Windows11でSSHキーをローカルに登録したときにつまづいたので…

背景 GitHubとのSSH通信準備において、Mac手順だとうまくいかなかったのでメモ。 環境情報  Windows11 Pro  VS Codeのターミナル(bash) ローカルでSSHキーを作成 …

Yosukeee
2年前
3

AZ-900(Azure Fundamentals)を受けてみた

7月に会社で受講したAzure研修で思い立ち、AZ-900取得に向けて取り組みました。これから受験される方の参考になれば幸いです。 ■筆者のレベル・AWSソリューションアーキ…

Yosukeee
4年前
2

ディープラーニングの手法 ①活性化関数 ②勾配降下法

ディープラーニングの研究が活発になり、 今では事前学習が必要なくなった。 これを実現したのは、誤差逆伝搬(バックプロパゲーション)での 勾配消失問題の最大の原因で…

Yosukeee
4年前
4

機械学習の具体的手法

教師あり学習「与えられたデータ(入力)を元に、そのデータがどんなパターン(出力)になるのかを識別・予測する」こと。 例えば、 ・過去の売上から、将来の売上を予測…

Yosukeee
4年前
5

決定木の重要なパラメータ

1.max_depth決定木の深さ ・深ければ深いほど分岐が増え説明力が上がるが ・一方、深すぎると意味のない分岐が増えやすく過学習のリスクがある 2.min_samples_leaf葉に…

Yosukeee
4年前
1

機械学習とは?

いろんな定義がある ■参考 書籍「機械学習&ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書 人工知能の1つで、効率的かつ効果的にコンピュータが学…

Yosukeee
4年前
1

scikit-learnで単回帰分析する際の注意

単回帰分析のみ、説明変数のデータは2次元配列にする必要がある jupyter notebookにて import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotl…

Yosukeee
4年前

特徴量とは

特徴量とは、説明変数のこと 特徴量の作成与えられたデータや外部データを加工し、予測の手がかりになる新たな特徴を作ること 1.基本統計量を作る  例1)AとBの値から…

Yosukeee
4年前
2

モデリングの流れ

1.説明変数を決め、データを準備する・どのデータを使ってモデルを作るか決める ・欠損がある場合は前処理 ・学習データからは、説明変数と目的変数を取り出す ・評価デー…

Yosukeee
4年前
2

データの予測とは

予測とは”データ”に基づき、ある値がどのような値になるか想定すること 数値の時、ラベルの時、・・・ 例)お弁当の売上を予測 必要なデータ:  予測したいもの(目的…

Yosukeee
4年前
2

データ分析で注意すること

1.はじめにデータ概要を把握するいきなりモデリングに入ると、激しい手戻りが発生することがある 2.すごい分析結果が出たら疑う、客観的に見る使ってはいけない情報を使…

Yosukeee
4年前

jupyterの基本操作

各セルには編集モードとコマンドモードがある編集モード ・hでヘルプ ・ddでセル削除 ・aで新規セルを上に挿入 ・bで新規セルを上に挿入 コマンドモード ・codeモード(…

Yosukeee
4年前
1

CPUとGPU

CPU・直列演算が得意。演算の中心 ・数個のコア GPU・並列演算が得意。画像処理に向いている ・何千ものコア ディープラーニングでは、複数のニューロンの処理を並行で行…

Yosukeee
4年前

機械学習のライブラリ

TensorFlow・Google社製。ディープラーニング用。Google使用実績あり ・GPU版あり Chainer・Preffered Networks社製。非常に短いコードで記述可能 ・GPU版あるが、ライブ…

Yosukeee
4年前

G検定メモ②

人工知能の歴史1956年:ダートマス会議「人工知能」の命名 1956ー1974年:第一次AIブーム 1974ー1980年:AIの冬① 1980-1987年:第二次AIブーム 1987-1993年:AIの冬② 1…

Yosukeee
4年前
よく使うGitコマンド

よく使うGitコマンド

背景

ちょっと開発から遠ざかったので、あらためてGit復習してみました。

コマンド

一からGitプロジェクト作成

$ git init {プロジェクト名}

既存プロジェクト(ディレクトリ)をGit管理

$ cd {既存ディレクトリ}$ git init

既存Gitプロジェクトをクローン

$ git clone {GitプロジェクトURL}

ブランチ作成

$ git branch

もっとみる
Windows11でSSHキーをローカルに登録したときにつまづいたので…

Windows11でSSHキーをローカルに登録したときにつまづいたので…

背景

GitHubとのSSH通信準備において、Mac手順だとうまくいかなかったのでメモ。

環境情報

 Windows11 Pro
 VS Codeのターミナル(bash)

ローカルでSSHキーを作成

 $ ssh-keygen -t ed25519 -C "{メルアド}"
  →SSH公開鍵(id_ed25519.pub)、秘密鍵(id_ed25519)が~/.ssh/配下に作られる

もっとみる
AZ-900(Azure Fundamentals)を受けてみた

AZ-900(Azure Fundamentals)を受けてみた

7月に会社で受講したAzure研修で思い立ち、AZ-900取得に向けて取り組みました。これから受験される方の参考になれば幸いです。

■筆者のレベル・AWSソリューションアーキテクト保有
・プライベートでAWSハンズオンセミナーを定期的に受講
・AWS/Azureとも業務利用なし

クラウドの基本知識は持っていたのでセミナーの理解度も高かったですが、
合格するにはAzure特有のサービス名や仕組み

もっとみる

ディープラーニングの手法 ①活性化関数 ②勾配降下法

ディープラーニングの研究が活発になり、
今では事前学習が必要なくなった。

これを実現したのは、誤差逆伝搬(バックプロパゲーション)での
勾配消失問題の最大の原因であった活性化関数を工夫する
テクニックを用いたことだった。

活性化関数シグモイド関数以外にどういったものが
用いられているか。

1.tanh関数(ハイパボリックタンジェント)
2.ReLU関数(Rectified Linear Un

もっとみる

機械学習の具体的手法

教師あり学習「与えられたデータ(入力)を元に、そのデータがどんなパターン(出力)になるのかを識別・予測する」こと。

例えば、

・過去の売上から、将来の売上を予測したい。
・与えられた動物の画像が、何の動物かを識別したい。
・英語の文章が与えられたときに、それを日本語の文章に翻訳したい
 (英語に対応する日本語のパターンを予測)

すなわち、教師あり学習は入力と出力の間にどのような関係がある

もっとみる

決定木の重要なパラメータ

1.max_depth決定木の深さ
・深ければ深いほど分岐が増え説明力が上がるが
・一方、深すぎると意味のない分岐が増えやすく過学習のリスクがある

2.min_samples_leaf葉に属する最小サンプル数
・サンプル数が少ないと、信ぴょう性の低い分岐ができる可能性あり

参考:【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門
https://www.udem

もっとみる

機械学習とは?

いろんな定義がある

■参考
書籍「機械学習&ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書

人工知能の1つで、効率的かつ効果的にコンピュータが学習を行うための理論体系

■参考
【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門
https://www.udemy.com/course/optworks_1/

データからパターンを学習し、パタ

もっとみる

scikit-learnで単回帰分析する際の注意

単回帰分析のみ、説明変数のデータは2次元配列にする必要がある

jupyter notebookにて

import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.linear_model import LinearRegression as LR#学習データt

もっとみる

特徴量とは

特徴量とは、説明変数のこと

特徴量の作成与えられたデータや外部データを加工し、予測の手がかりになる新たな特徴を作ること

1.基本統計量を作る
 例1)AとBの値から「AとBの平均」を算出

2.データを集約する
 例)年齢「23, 31, 18, ...」から、年齢層「20代, 30代, 10代, ...」を算出

特徴量の選択・特徴量は多すぎてもよくない。
 -過学習のリスク
 -不要なもの

もっとみる

モデリングの流れ

1.説明変数を決め、データを準備する・どのデータを使ってモデルを作るか決める
・欠損がある場合は前処理
・学習データからは、説明変数と目的変数を取り出す
・評価データからは、説明変数のみを取り出す
・学習データと評価データから取り出す説明変数は同じであること

学習データと評価データの基礎統計量(※)が同等でないと、過学習リスクが高まるので注意。

※ pandasでCSVデータを読み込むと、pa

もっとみる

データの予測とは

予測とは”データ”に基づき、ある値がどのような値になるか想定すること

数値の時、ラベルの時、・・・

例)お弁当の売上を予測
必要なデータ:
 予測したいもの(目的変数):
  お弁当の売上実績数
 予測のヒントになりそうなもの(説明変数):
  気温、曜日、天気、来店客数、ほか

代表的な予測の種類回帰問題: 目的変数が数値(予測したいものが数値)
分類問題: 目的変数がカテゴリ(予測したいも

もっとみる

データ分析で注意すること

1.はじめにデータ概要を把握するいきなりモデリングに入ると、激しい手戻りが発生することがある

2.すごい分析結果が出たら疑う、客観的に見る使ってはいけない情報を使っていないか、過学習を起こしていないか、など。

3.テクニックに走らない何を分析するのか、何で分析するのか?

参考:【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門
https://www.udem

もっとみる

jupyterの基本操作

各セルには編集モードとコマンドモードがある編集モード

・hでヘルプ
・ddでセル削除
・aで新規セルを上に挿入
・bで新規セルを上に挿入

コマンドモード

・codeモード(プログラミング)
・markdownモード(メモ)

セルの実行はShift+Enterノートブック上にグラフを描画する際に指定する記述
matplotlibを使う際は、初めにmatplotlibライブラリをインポートする

もっとみる

CPUとGPU

CPU・直列演算が得意。演算の中心
・数個のコア

GPU・並列演算が得意。画像処理に向いている
・何千ものコア

ディープラーニングでは、複数のニューロンの処理を並行で行うことでパフォーマンスが向上するGPUを利用することが必須となる。

機械学習のライブラリ

TensorFlow・Google社製。ディープラーニング用。Google使用実績あり
・GPU版あり

Chainer・Preffered Networks社製。非常に短いコードで記述可能
・GPU版あるが、ライブラリ導入が必要

Caffe・カリフォルニア大学のBVLCが開発。コミュニティ活発
・GPU版あるが、ライブラリ導入が必要

scikit-learn・Google社製。機械学習全般を

もっとみる

G検定メモ②

人工知能の歴史1956年:ダートマス会議「人工知能」の命名
1956ー1974年:第一次AIブーム
1974ー1980年:AIの冬①
1980-1987年:第二次AIブーム
1987-1993年:AIの冬②
1997年:ディープ・ブルーがチェスの世界王者に勝利
2000年代半ば:第三次AIブーム、ディープラーニング注目
2016年:囲碁、将棋のランカーに勝利
2045年:シンギュラリティ来るか!?