第四次産業革命前夜！？時代に向けて私たちのスキルアップは？
最近、日本ないし世界で起こっている変化を気づいたのでしょうか。コロナの流行に加え、これから世界の行き方と未来社会のあり方はますます予測不可能になってきました。一言で言うと、現在の私たちは時代の転換点に位置しています。そして、世の中での私たちは個人としてどのようにこの時代の波を乗り越えていくことがもはや直面しなければならない課題になりました。この記事では、現在の時代は何が変わったのかをまとめた上で、その時代の変革に合わせ、個人の生き方や必要なスキルに関する考えを論じさせていただきます。
目次
１、現在の時代はどんな変化があった
１）なぜ変わった？
２）日本社会でどんな変化があった？
２、スキルアップを求める時代
３、おすすめのスキル
１）データ収集スキル
２）誰でもできる簡単なWeb情報収集方法
３）Octoparse
４、Amazonから見るデータ収集の操作実例
１）Octoparse自動識別機能
２）自定義データ収集
１．現在の時代はどんな変化があった
「この世で変わらないのは、変わるということだけだ」－－Jonathan Swift
この文が伝いたいのは「世界はいつも変わっている」ということです。しかしながら、世の中での「変化」は大きく分れると「本質が変わる変化」と「とんでもない変化」という二つあります。「本質が変わる変化」は例えばある技術の発展によって、世界の行き方を変えたどか、「とんでもない変化」というのは表面的な変化、例えば、今日はどこに新しい高層ビールが建てられたとか。最近、世界で起こている変化は「とんでもない変化」ではなく、「本質が変わる変化」と言っても過言ではありません。なぜというと、近年において、ミクロから見れば、社会で表面化された様々な変化の背後はテクノロジーの変革です。たとえば、最近よく耳にする副業や5G、AIなどの技術の話題がはやっているその背後の要因は技術によって私たちの社会が知らず知らずのうちに変わっていくのです。
１）なぜ変わった？
・第四次産業革命の近づき
・コロナの流行でこの変化を加速
近代世界の歴史は三つの大きく転換点があります。それは、三つの産業革命が発生していた時点です。毎回の産業革命は根本的に社会の産業変革と社会構造の変革をもたらしました。たとえば、18世紀半ばから19世紀までにイギリスの第1次の産業革命は蒸気機関の開発により、工場製機械工業が設立し、手作業の労働生産から機械化生産に移ってきました。1865年から1900年までの第２次産業革命は化学、電気、石油などのエネルギーの技術革新によって、工業用品だけでなく、生活中であらゆる消費品の機械化生産を確立されました。第一次産業革命と第二次産業革命でたくさんの工場が建てられ、より多くの労働者に自由に工場で生産をさせるため、旧の封建制度が捨てられて、社会構造を本質的に変えました。私たちに近いのは第三次の産業革命、すなわち、20世紀半ばからコンピューターの発明とICT（情報通信技術）の普及により、生産の自動化を実現された時代です。現在では、ITO（internet of Things)やAI（人工知能）などの技術の発展に伴い、第四次産業革命は私たちが近づいています。
毎回の産業革命はチャンスと危機を共に存在しています。重要なのは、どのようにこの時代の変化を理解し、そして、未来を向けて行こうとするのです。このことに対して、個人のビジョンと個人の成長はかなり重要です。
2020年のコロナの拡大はさらに私たちの生き方と社会全体の仕組みの変わりを推進させてきました。ちょっど考えてみてください。電子マネーや在宅勤務、オンライン授業、５G技術、ビックデータなどの言葉と概念はいつ私たちの生活に浸透したのでしょうか。結構最近なことでしょうか。産業革命がもたらす変化はそれらのライフスタイルの変化だけではなく、社会の社会の構造などさまざまな面で深刻な改革を行っています。
２） 日本社会でどんな変化があった？
・雇用制度の変化
日本の終身雇用制度は20世紀60年代～70年代に高度な経済的成長をもたらした重要な制度です。終身雇用制度が存在する合理性は、その制度自体の優越性ではなく、その当時の生産モデルやビジネスモデルに合っていたからです。高度成長期の時代には、製造業の時代で、企業が品質の高い製品の生産を求めているので、被雇用者の経験の積み重ねと工芸の熟練を重視していました。だから、人材の流動をできるだけ控えるために、終身雇用と年功序列の制度が多くの企業に組み込まれた。
しかしながら、技術の発展に伴い、過去の工場で経験の積み重ねを重視する仕事は次第にAIに代替でき、そして、企業側が求める人材の素養標準も変わっていくのです。または、コロナ禍で現在の多くの企業経営がダメージを受けた。このような状況で、終身雇用制度がだんだん維持できなくなります。その厳しい経済環境において、能力開発とスキルアップを通じて個人としての「市場価値」を高めていかなければならないのです。
・企業が求める人材の変化
第三次産業革命はコンピューター技術のもとて展開されてきました。第四次産業革命はまだ育っていますが、多くの専門家はその中での一部をAIとIOTの発展によって展開するということを予測しました。AIとIOTの急速な発展に伴い、多くの企業が知能環境の整備やPCネットワークの導入によって、ITに関するスキルは今後非常に重要な個人教養になると予測できるだろう。
第一次産業革命と第二次産業革命で求める人材と異なって、現在の社会で求める人材はITに関する知識や経験を有することが重要になっている。いわゆる「21世紀型人材」である。
２．スキルアップを求める時代
では、将来の第四次産業革命に向けて、どのように自己能力とスキルアップを高めるのか。
多くの人はエンジニアに幻想を抱きすぎたと思っています。確かに、いまは「ビックデータの時代」、「ITの時代」、「情報の時代」などのこととよく言いますが、それは、ITエンジニアを勉強しなくてはいけないということではありません。IT時代の生き方はIT技術を全て習得するわけではなく、ぞれぞれの情報やツールを効率的に活用できる能力を有することです。もうちろん、プログラミングの技術を身につければ、すごくいいだけど、それは、誰でも実現できるとは思いません。
プログラミングはあくまである種の技術であり、その自体が価値を生産しないのだ。社会の生産システムと結合し、生産の効率を改善する限り、社会的・経済的な価値が生じられる。それで、多くの時間を費やし、プログラミング技術を学習するというより、それぞれの情報やツールをうまく活用できる能力がもっと重要ではないでしょう。例えば、どのようにWeb上の情報を収集し、マーケティング意思決定に活用していくのか。どのように市場の動向をすぐに洞察するのか。このような能力は情報時代に生き抜いた最高なスキルだ。言いかえれば、情報時代であれ、ビックデータ時代であれ、うまく問題を解決する方法を探し出し、問題を解決できる能力は最高な人材だと言えます。
３．おすすめのスキル
１）データ収集スキル
情報時代という言葉は情報の量と情報の重要性を語れています。第四次産業革命の重要な部分としてのAI（人工知能）とIOTにしても、普段のビジネスマーケティング、金融、不動産に関する仕事にしても、ビックデータがその中で重要な役割をはたしてきます。それで、現在の時代に合わせ、より良いサービスを提供するために、データをうまく活用する能力がますます重要になってきました。だからどのようにデータと付け合うのかこの時代に身に付ける必要なスキルになりました。
さあ、データ収集から学ぼう。
これから、誰でも使える簡単なデータ収集方法をすすめる。
以下の方はぜひご覧下さい。
・スキルアップをしたい方
・仕事の関係で多くの情報を求める方（マーケティング、金融、学術、EC、不動産、AIなどの職業）
・文系の学生だが、IT技術を身につけたい方
・単純に学習を好きな方
２）誰でもできる簡単なWeb情報収集方法
Web情報収集というのは、Web上の自分が手に入れたい文字、画像、数字等のそれぞれの意義のあるデータを抽出することです。一般的にWeb上のデータを収集する方法が二つあります。一つの方法は、手動で、各々のWebページを開く、自分が欲しいデータを探し出し、そして、ノートあるいはパソコンでそれらのデータを記録するという流れである。この方法はプログラミング知識が持っていない方によく使われています。その方法は一番簡単なデータ収集方法だが、多くの時間や労力をかかっている欠点がある。もう一つの方法はpythonです。pythonということはプログラミング言語でWeb上のデータを自動的に大規模に抽出できるのです。手動的なデータ収集に比べ、こっちのほうがもっと効率的に行うことができる。ただ、一つの欠点としてはプログラミング知識がなくてはいけないのだ。
以上の二つのデータ収集方法はプログラミング知識を持ってない一般人にとっては、どちらも最適な選択だと言えないです。
ここで最適なデータ収集ツールであるOctoparseをすすめます。
３）Octoparse：
OctoparseはWeb上でデータを抽出するツールです。Octoparseの公式サイトでよく「スクレピングツール」と呼んでいます。Octoparseというソフトウェアを利用して、Web上の欲しいデータをクリックするたけで、大規模に自動に抽出する可能です。プログラミングをわからない方にも、すぐに簡単にエンジニアならではデータ抽出成果を達成することができます。文字だけで紹介すれば、Octoparseの機能の強さを直感できないかもしれませんので、これから、Octoparseで、Amazonのあるカテゴリの商品名、価格などの情報を抽出してみます。
ちょっど補足したいですが、Octoparseで自動識別機能と自定義データ抽出機能がという二つタープがあります。
自動識別機能というのは、Octoparseはユーザーが欲しいデータを推測し、ユーザーが何も設定しなくて、データを自動的に抽出することです。
自定義データ抽出は、自分が欲しいデータを選択して、Octoparseのワークフローの設定によって、データを抽出することです。
自動識別機能と自定義データ抽出がなにが違いがあるのか
・自動識別の方はOctoparseの使い方をそれほど詳しくなくても、すぐにOctoparseを使えるというメリットがあります。これに対して、自定義データ抽出の場合は、Octoparseの公式のサイトで詳しくOctoparseの使い方を学ぶ必要があります。でも、プログラミングなどのITの専門知識ではないので、Octoparseの全ての機能を慣れるまで、時間をそれほどかかっていなせん。
・自動識別の方はOctoparseの使い方を詳しくなくても、データを抽出できるが、その複雑なデータ抽出（例えば、URL先のデータ抽出）ができません。または、抽出されたデータはOctoparseがユーザーのニーズを推測し判断したので、時々ユーザーが欲しくないデータも含めています。この場合はユーザーがOctoparseの下のデータグラフ欄で欲しくないデータの一列を削除する作業が必要があります。
４．データ収集操作実例
では、Octoparseの操作実例からその二つの違いとOctoparseの機能を理解しましょう。
例えば、本のEC事業をやっているある人は価格比較のために、Amazonnでマーケティングに関する本の評価と本の定価を抽出しようとします、この場合はどうする？
抽出予定のURL：
https://www.amazon.co.jp/s?k=%E3%83%9E%E3%83%BC%E3%82%B1%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0&i=stripbooks&__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&ref=nb_sb_noss_2
１）Octoparse自動識別機能
まずは、Octoparseの自動識別機能の使い方を紹介します。
①抽出したいデータのWebページURLをOctoparseの「抽出開始」欄に入力してください。
②オレンジ色の「操作ヒント」で自動識別をクリックします。
③Octoparseがユーザーが欲しいデータを推測し、データを自動的に抽出し、Excelにエクスポートする。
下図のように
Octoparseが自動識別機能で、ユーザーが欲しいデータをどのように推測した？
この図で示したように、①の書籍名、②の評判、③の価格のほかに、著者、出版された年月、などの不要なデータもOctoparseが自動的に抽出しました。その場合は、手動的に不要なデータの一列を削除するだけで、欲しいデータを手に入れます。
２）自定義データ収集
次はOctoparseの自定義データ抽出の使い方を紹介します。
①抽出したいデータのWebページURLをOctoparseの「抽出開始」欄に入力してください。
②抽出したいデータをクリックして、ワークフローを設定して、データ抽出します。（ワークフローの設定する方法はOctoparseの公式サイトにご参照ください。）
③データを抽出します。（自動的に次のページのデータ抽出も設定によって、抽出することができる）
その図に示したように、もっと詳しくOctoparseの使い方を学んだら、データをよりきれいに抽出できます。
2分くらいをかかって書籍名、評判、価格を含めて１９３件の書籍データを抽出してきました。
以上はOctoparseの自動識別機能と自定義データ抽出という二つのデータ抽出方法を紹介しました。
Octoparseというスクレピングツール（データ抽出ツール）はどうですか。
Web上のデータ抽出を少しやってみませんか？
関連記事：
仮想通貨のレート・時価総額情報をスクレイピングしてみた
AI(人工知能)は世界をどのように変えていくのか?Webデータの収集と分析。中国深センで日本人が暮すにはいくらかかる？
この記事が気に入ったらサポートをしてみませんか？