データサイエンティスト

①データベースなどに保存されているデータの中から、表記揺れや誤記、重複等を探し、それらに対して削除や修正を行う作業をクレンジング処理という。
データベースなどに保存されているデータの中から表記揺れや誤記、重複等を探し、それらに対して削除や修正を行う作業をクレンジング処理という。この処理によってデータの質が向上する。

評価/検定

評価

学習済みモデルの評価

食べ方のマナー

⭐️パスタの食べ方のマナー⭐️

データ収集の技術

Webクローラーとは？

インターネット上のあらゆる場所からコンテンツ（公開されているテキスト・画像・動画など）をクローリングし、情報を収集する。

目的
Web上の全てのWebページの内容を学習し、必要な時にその情報をクローリングできるようにすること

★クローリング
プログラムを経由して、Webサイトに自動的にアクセスし、データを取得すること

これらのbotは、ほとんどの場合、検索エンジンに

データサイエンティスト検定

連続的なデータを複数の区間に区切り、各区間に所属するデータの個数を使い、データの分布を表現したグラフを「ヒストグラム」という。

ある２つのカテゴリの掛け合わせを考え、その掛け合わせに所属するデータの個数を集計した表を「クロス集計表」という。

縦軸と横軸に２項目の量や大きさ等を対応させ、データを点でプロットした図を「散布図」という。「散布図」を用いると、２つのデータの間にある相関関係が可視化され

応用情報技術者

＜情報セキュリティ＞

メールサーバのログについて、分かりやすく説明致します。

M社KのZ氏による調査で判明した事実は、「メールサーバのログには、不審なファイルが添付されたWeb管理者宛ての電子メールの受信履歴があった。また同じファイルが添付された電子メールが社内の他部署の社員にも送信されている記録があった。」等。
次ページ、情報セキュリティ担当要員の「K氏は、類似の標的型攻撃メールが送付された

強化学習

価値反復法と方策反復法

強化学習は、

LSTM

一見すると、RNNは時系列データを分析するのに十分と思えるのですが、実はいくつか厄介な問題を抱えている。
１つ目、通常のニューラルネットワークでもあった勾配消失問題。
RNNは時間軸を展開すると深いニューラルネットワークになるので、誤差を逆伝播する際、過去に遡るに従って、勾配が消えてしまうという問題が生じる。

また、時系列データを扱う上で、固有の問題も発生する。

リカレントニューラルネットワー

G検定トレーニング

## AI（人工知能）とは（人工知能の定義）

■ダートマス会議（DartmouthConference）

1956年7月から8月にかけて開催された、AI（人工知能）という学術研究分野を確立した会議。AI（ArtificialIntelligence、人工知能）とは、ダートマス会議にて、AIの研究者であるジョン・マッカーシーが初めて使用した用語。

■AI効果

AIの原理がわかってしまうと、「

G検定

・リクルートホールディングスは、「ルールベース」と「機械学習ベース」の二つの手法を用いることで、校閲のAIを構築・開発した。

・リクルートホールディングスは二つのベース手法を用いることで校閲AIを構築・開発したアルゴリズムとして、Bidirectional RNN を用いることで、時系列データも扱うことができる。

・ネット広告関連事業を展開するソネット・メディア・ネットワークスは、バナーなどに

人工知能をめぐる動向

画像認識のコンペティションILSVRC2012で、ジェフリー・ヒントンが率いるチームがSuperVisionが開発したディープラーニングを用いた手法が2位に10% 以上の精度の差をつけ、優勝した。この衝撃的な出来事がディープラーニングブームを引き起こした。

Googleが開発した、GPUよりも高速に処理できる機械学習に特化したプロセッサをTPUという。

検索エンジンや交通渋滞予測など、非常に多

G 検定

機械学習の具体的手法3

・機械学習の分類モデルは、スパムメールのフィルターなどに利用されてきた。
メールの内容によってスパムメールである確率を分類モデルによって導出する仕組みである。
このような単純な分類のアルゴリズムには条件付き確率を利用したナイーブベイズがある。

・機械学習の分類モデルは、スパムメールのフィルターなどに利用されてきた。
メールの内容によってスパムメールか否かを分類モデルによ

CNNのプーリング処理

畳み込み（特徴を見つける）
　　↓
プーリング（特徴を粗く整理）
　　↓
密結合（特徴をまとめて評価）

＜プーリング処理の入出力＞
畳み込み結果→プーリング結果

機械学習の歴史
①第一次AIブーム「推論・探索の時代」
②第二次AIブーム「知識の時代」
③第三次AIブーム「機械学習と特徴表現の時代」

人工知能の定義は専門家の間ですら異なる。

★ピグマリオン効果
教育心理学の用語。人間は期待さ

ディープラーニングの社会実装

AI技術の応用

自動運転

人が操作しなくても自動で走行する自動車を自動運転車という。

自動運転のレベルは、SAE（米国自動車技術協会）が発表した「SAE J3016 基準」により、レベル0 ~ 5の６段階に分かれている。

レベル０（運転自動化なし）
全ての運転を運転車が行う。
運転主体：運転手

レベル1（運転支援）
ハンドルと加減速の制御のどちらか一つをシステムがアシストする
運転主体：

AI学習

組み合わせ最適化の基本用語と定式化

目的変数/目的関数
最適化の対象となる変数。この値を求める数式が目的関数。
例）商品の価値×商品数量の総和

説明変数
目的変数の値を変動させる変数
例）商品数量

制約条件
変数の変動にかけられる制限
例）商品の重さ合計、商品の個数

ソルバー
最適な変数を求めるためのアルゴリズム
例）分枝変動法など