だいぶ遅くなりましたが、令和２年にやりたいことをまとめます * きちんと要約、議事録解析と向き合う * 連続で投稿する、出力する * 仲間をつくる 会社も忙しいですが、こちらのほうも本気でどこまでいけるかやってみようとおもいます
昨日は予定外に、Crawlerから作り直さないと行けない自体になり、それはそれでSeleniumの勉強になって楽しかった。 今日はそこは早々にかたづけて、以下のうち３つは終わらせたい！！ ・（Doing）SeleniumをつかってClickしてたどる ・(未)containerつかったcrawlerを定期的にうごかしraw 議事録dataをFireStorageに格納 ・(未)container raw dataから議員毎に解析をして 結果をfirestore に格納 ・
よめさんと子どもたちが剣道合宿にいっているので、 一人プログラム合宿中
今年もあとわずか。 年初にたてた目標がまだ終わってない、、ということえこの12/21,22 の２日間 一人合宿をしてSimPoly をうごかしたいとおもいます。 （GW以降仕事が嬉しいくらいたくさんあってビデオ解析の機械学習とか本業で勉強することがたくさんあって気がついたら今日でした） ２日間でやりたいこと！・ containerつかったcrawlerを定期的にうごかしraw 議事録dataをFireStorageに格納 ・container raw dataから議員毎に解
さて次の何かしらの選挙があるまでに、データ収集、解析、表示の部分をローカルからクラウドへシステム化したいとおもいます。 特にデータ収集（クロール）の部分が時間がかかることがわかったのでそこをバックグラウンドで走らせておき、解析、表示の部分はアイディア次第で色々追加できる状態にしたいと思います。 また基本的な仕組みは市レベル、県レベル、国政レベルでも同様に動くようにしておき、議事録サーバーのURL,議員リスト、議事録の特徴みたいなものを入力できるようにすることで、気軽に収集対象
息子のはじめての選挙の参考になにか出したいとはじめたプログラム、先週末4/7におこなわれた千葉県議会議員選挙までに一旦何か出したいと思い。強引なまとめをしました。 要約するぞ！前回までためしていた、word embeddingで単語の重みを出す方法だと、一般的な言葉だとそれなりに近い意味、使われ方のものをまとめてくれるのですが議員さんの名前だともともと議事録では先頭くらいしか議員さんの名前が明記されないということもあり あまりその人の特性を掴んだ言葉を表示するというところま
何かしらを千葉県議会議員の選挙に間に合わせたかったので、今回もすこし急ぎ目です。 前回までで、四街道市の議事録で基本原理は確認したので次は千葉県議会の議事録をより大量につかって、もう一回実施してみたいとおもいます。 議事録の収集（クロール）ググれば簡単に千葉県議会の議事録は見つかります。 上記議事録データサイトは、結構頑張っていていつの議会とか、注目のキーワードとかで関連する議員の発言を全体から検索したり、一つづつ確認したりできます。ただ議事録にたどりつくまで複数回クリッ
忙しくて更新をすすめられないうちに、もうそろそろ4月7日に千葉県議会議員の選挙日がちかづいてきてしまいした。やばい なにか間に合わせて実験したいですけど時間的に厳しい。。 とりあえず、今までのところ議事録ベースのWordEmbeddingでできることと課題をまとめてみます。 できること：特徴の似ている単語抜き出し 前回もだしましたが、以下のプログラムで見ることで理解ができました。単語の前後関係で特徴量を学習させたあと、norm_vecs_by_rowで特徴量を距離でわるこ
市の予算や、議員に関する特性を市の議事録などの公開データから抽出する方法を検討していきます。前回最近の機械学習自然言語処理について整理しました。そのなかから特別なラベルがなくても学習を進めることができる教師なし学習のWordEmbeddingを試してみます。 WordEmbeddingでできることWordEmbbedingでは単語ごとにユニークな番号をふって、その単語の前語の単語から出現確率を、その単語の特徴として数百次元のベクトルとして表現します。 同じような文脈で使われ
さて、１８歳になった息子に、分かりやすく選挙を伝える手段をプログラムしたいとかきましたが、もともと作りたいと思っていたものがあります。 それは、各議員の当落と予算の関係をシミュレーションできるようにすることです。誰が当選したらどんな政策に賛成して、そんな政策がなくなって結果として何にいくらぐらい使われるようになるのかということがわかりやすく提示できるようにしたいんですね。（他にもいろいろ選挙を伝える手段はあると思いますが私はプログラマですし、個人の時間でやることなので自分がや
おくればせながら、2019年の仕事ではないプログラムをはじめようとおもいます。 テーマはポリテック。 自分の地元の選挙を息子に分かりやすく伝える手段としてプログラムしていきたいとおもいます。 ところで１８歳から選挙できるようになって最初の国政選挙2016年の参議院選挙の投票率18歳が51%だったのに、2017年衆議院選挙では19歳33%とあっというまに下がってしまっているんですね。 現状ネットで収集できる政治、選挙に関するポータルどんなものがと探してみると、以下のようなも
今日からnoteでのouputをはじめてみる きっかけは中島聡さんの書籍「結局人生はアウトプットで決まる」をよんだから。もうひとつ深いところの理由は自分がこれから取り組む予定の「テクノロジーで地方自治の仕組みを変える」過程を共有したいと思ったから。 ぼちぼちと続けていきたいと思います。
