理系大学生なら在学中に離散数学と情報理論を聴講することをお勧めします。4月なら間に合う。卒業してからの独学では難しい、講義で学んでおきたい情報科学系の科目
大学を卒業して、この2つの科目を未学習だったために、困っている人が多いです。
学部のカリキュラムには、卒業を目的として組まれています。
"大学院への進学"、"社会人(専門職)になってから基礎を学ぶ"ときに、必要となる(知りたくなる)科目は入っていません。
「離散数学」「情報理論」は、理工系学部のある大学であれば、かならず講義が開講されているはずです。
ここで受講していないと一生後悔します。
※ 聴講を担当先生によっては断られることもあります。事前に担当教員へ挨拶しにいっておくとトラブルを避けられます。
離散数学(と言語理論)
(集合論)
組合せ論
グラフ理論
オートマトン
言語理論
計算量の理論(複雑性)
数論(情報系分野に暗号理論を対象にいれれば)
このような分野を集めて、総合的に離散数学と呼びます。
※ 講義名に「離散数学」ではなく、それぞれの分野で開講されている場合があります。
コンピュータは、というより、情報系分野は、離散数学を基礎として記述されます。
人工知能の情報系分野を研究する際に、離散数学をわかっているかどうかではなくて、離散数学は情報系分野の「あいうえお」です。
最近でいえばChatGPTの理論的基礎「大規模言語モデル」は、グラフ理論とオートマトン、言語理論がその基盤にあります。
離散数学について、それぞれの項目を見ていくと、本来の科目をショートコーとしてまとめている、とわかります。
集合論ならば、大学数学の"集合と位相"にくらべると初等的です。「集合とは?」という数学的探求は保留のままに、基本的なことしかやりません。組合せ論は高校数学の範囲内です。
※ 余裕があるのなら「集合と位相」を数学科開講レベルで学んでおくのも推奨します。
離散数学で、集合論や組合せ論をやる意味は「実用レベルではここまででいい」とわかることです。
いっぽうで、言語理論は若干難しいです。この言語理論だけでも講義を受講して、「こんなものなんだ」と概要を把握するでもいいです。きっと、世の中の見方が変わります。
言語理論(形式言語)は、正規表現の基礎理論でもあるし、チョムスキーの生成文法に関連してきます。大規模言語モデルはその技術的発展にあるので、現代技術を知る上でも、言語理論は重要な位置にあります。
※ 正規表現はプログラムでよく使いますよね?
情報系大学出身の新入社員に「言語理論はどう(得意)?」と訊くと、ほとんどの人が苦い顔をします。
つまり言語理論は脱落しやすい。講義があるのなら、聴講しておいたほうがいいでしょう。
有名な本は
Michael Sipser(シプサ),計算理論の基礎 [原著第2版]
買うならば[原著第3版]か、型落ちユーズド[原著第2版]かな。
独学される方へは、つぎのような本も参考になります。
情報理論
端的にいえば、一般化された(情報的な)エントロピーについての分野です。
エントロピーとっても、物理学での熱力学や統計力学で使うエントロピーとは少し違う。ボルツマンなエントロピーではなくて、シャノンなエントロピーなんです。
情報系分野では「通信の数学基礎」として情報理論を学びます。
情報理論の応用範囲は広い
人工知能や統計学、もっとアドバンスドには量子情報科学や情報熱力学(量子熱力学)で使われます。
統計学では、EMアルゴリズム、AIC(赤池情報量規準)は、情報理論の応用です。
昨今の物理学(4年~大学院以上レベル)では非常に多く使われています。たとえば、ブラックホールやホログラフィック理論、それに、量子コンピュータや量子誤り訂正です。非平衡系の意欲的な近著『ゆらぐ系の熱力学』に、巻末"本文の補足説明"で情報理論が載っているくらいです。物理学科の学生でも、この情報理論を知っておいて損はありません。
この分野は独学でも可能だと思います。有名な本は
わたしはつぎを使いました。
"人工知能や統計学"向けの内容です。
#大学生 #大学生活 #AI #数学 #物理 #量子力学 #データサイエンス #量子コンピュータ #物理学 #人工知能 #情報科学 #物理がすき #大学数学 #理論物理学 #大学生活 #独学
この記事が気に入ったらサポートをしてみませんか？