一人合宿

今年もあとわずか。　年初にたてた目標がまだ終わってない、、ということえこの12/21,22 の２日間　一人合宿をしてSimPoly をうごかしたいとおもいます。
（GW以降仕事が嬉しいくらいたくさんあってビデオ解析の機械学習とか本業で勉強することがたくさんあって気がついたら今日でした）

２日間でやりたいこと！

・ containerつかったcrawlerを定期的にうごかしraw 議事録dataをFireStorageに格納
・container raw dataから議員毎に解析をして 結果をfirestore に格納
・ViwerWebApp　議会、議員を選んで表示する
・巡回先のURLを増やせるようにする

今年はまだおわってない！

7:30   

８月頃までにつくってとっちらかっていたコードを改めてコミット
意外とテキスト抜き出し、要約を動かすところまでは終わっていたことに気づく
息子たちのお弁当をつくり、朝ごはん食す

10:30

要約のアルゴリズムによる違いを確認

Lsa : 短くて読みやすい　５つに絞ると当然抜けているものも有る

Lsa==============================
summary1
松下 浩明 委員 本県 水産 業 維持 発展 さ せる ため 新た 漁業 担い手 確保 必要 考え ます 対策 どうか 伺い。
summary2
松下 浩明 委員 水産 業 取り巻く 環境 厳しい 中 本県 特徴 生かす 漁協 直売 所 等 活用 6 次 産業 化 推進 振興 図る いく 考え ます どうか 伺い。
summary3
松下 浩明 委員 子供 たち 将来 見据える 主体 的 進路 選択 できる 中学 高校 一貫 する キャリア 教育 行う いく 思う どうか 伺い。
summary4
松下 浩明 委員 ぜひ コース なり ます 市町村 話 する よい 方向 進める いう いただき たい 思い ます 私 山武 市 選出 議員 あり まし どうしても 伺う ない ば なり ませる ん 鴨川 ルート 九十九里浜 県立 蓮沼 海浜 公園 ウオーター ガーデン 経由 する いただき たい 検討 可能 どう 伺い いる。
summary5
松下 浩明 委員 ます 砂丘 つく まし 平成 27 年度 整備 完了 する こと 河川 堤防 かさ 上げ 工事 状況 いかが 伺い いる。

TextRank, Luhn: 結果にているすごく長いが、もれなくは抜き出してそう、　要約したあと更に要約が必要

Luhn==============================
summary1
松下 浩明 君 皆様 ます 自由民主党 山武 市 選出 松下 浩明 ます 登壇 機 いただき まし こと 御礼 申し上げる する せる いただき ます 本日 私 アモーレ 大塚 後援 会長 初め 後援 会 皆様 いつも お世話 なる おりる ます 宍倉 山武 市議会 議長 並木 市議 能勢 市議 今関 市議 県議 皆様 方 森田 知事 初め 執行 部 皆様 方 何 度 おいで いただき 見る いただき 心配 する いただき まし 5 年 前 3 11 津波 木戸川 堤防 決壊 する 被害 受ける 津波 怖い さ 経験 さ れる 復興 復旧 頑張る れる 緑 海 地区 方々 大勢 来る くれる おりる ます 皆さん 早朝 より 大変 ます 早速 質問 入 ら する いただき ます 初め 東京 オリンピック パラリンピック 向ける 対応 2020 年 東京 オリンピック パラリンピック 開催 決定 いる まし 世界 的 イベント 東京 ない 日本 全体 もの する ほしい 千葉 県 県内 市町村 形 参加 する スポーツ さまざま 交流 図る 中 地域 づくり まち づくり きっかけ つかむ 安倍 政権 掲げる 地方 創 生 起爆 剤 つなげる いく ある 考え おりる ます 国 オリンピック 参加 する 世界 各国 人的 経済 的 文化 的 交流 図る 地方 団体 ホスト タウン 登録 する 仕組み つくる 昨年 登録 団体 募集 行い まし 全国 69 件 申請 あり 審査 結果 1 次 登録 団体 44 件 決定 いる する 千葉 県内 山武 市 スリランカ 国 交流 認める られる 唯一 ホスト タウン 選ぶ れる ところ あり ます 山武 市 スリランカ スリランカ 貧しい 子供 たち 里親 奨学 金 制度 つくる 支援 する 縁 平成 26 年 12 月 同国 事
,,,

TextRank============================
summary1
松下 浩明 君 皆様 ます 自由民主党 山武 市 選出 松下 浩明 ます 登壇 機 いただき まし こと 御礼 申し上げる する せる いただき ます 本日 私 アモーレ 大塚 後援 会長 初め 後援 会 皆様 いつも お世話 なる おりる ます 宍倉 山武 市議会 議長 並木 市議 能勢 市議 今関 市議 県議 皆様 方 森田 知事 初め 執行 部 皆様 方 何 度 おいで いただき 見る いただき 心配 する いただき まし 5 年 前 3 11 津波 木戸川 堤防 決壊 する 被害 受ける 津波 怖い さ 経験 さ れる 復興 復旧 頑張る れる 緑 海 地区 方々 大勢 来る くれる おりる ます 皆さん 早朝 より 大変 ます 早速 質問 入 ら する いただき ます 初め 東京 オリンピック パラリンピック 向ける 対応 2020 年 東京 オリンピック パラリンピック 開催 決定 いる まし 世界 的 イベント 東京 ない 日本 全体 もの する ほしい 千葉 県 県内 市町村 形 参加 する スポーツ さまざま 交流 図る 中 地域 づくり まち づくり きっかけ つかむ 安倍 政権 掲げる 地方 創 生 起爆 剤 つなげる いく ある 考え おりる ます 国 オリンピック 参加 する 世界 各国 人的 経済 的 文化 的 交流 図る 地方 団体 ホスト タウン 登録 する 仕組み つくる 昨年 登録 団体 募集 行い まし 全国 69 件 申請 あり 審査 結果 1 次 登録 団体 44 件 決定 いる する 千葉 県内 山武 市 スリランカ 国 交流 認める られる 唯一 ホスト タウン 選ぶ れる ところ あり ます 山武 市 スリランカ スリランカ 貧しい 子供 たち 里親 奨学 金 制度 つくる 支援 する 縁 平成 26 年 12 月 同国 事前 合宿 受け入れ 決定 いる まし 交流 評価 さ れる 決定 言える 思い ます 今後 本年 6 月 上旬 2 次 登録 リオ 大会 後 11 月 3 次 登録 行う れる 予定 あり 山武 市 県内 1 番 目 団体 後 続く 市町村 よい 目標 なる 頑張る いる ところ あり 山武 市 取り組み 失敗 さ せる わけ いき ませる ん 県 しっかり サポート する いただく お願い 申し上げる ます 今回 ホスト タウン 決定 受ける スリランカ 国 少し 調べ みる ところ 日本 スリランカ 間 意外 関係 深い こと わかる まし 紹介 いる ます 世界 一番 早い 日本 正式 外交 関
,,,

KL:　短いが、これだけでは意味がわからないものが多い　イマイチ

KL============================
summary1
松下 浩明 委員 前年度 当初 予算 比較 する 1 , 700 万 円 増額 する こと あり ます 内容 伺い。
summary2
松下 浩明 委員 マレーシア インドネシア 多い 旅行 者 千葉 県 来る 泊まる いただく いる こと 県 これら 国 旅行 者 誘致 進める いる 伺い。
summary3
松下 浩明 委員 毎年 さまざま 取り組み 複合 的 行う いる ます 誘致 向ける 来年度 取り組み もの 予定 する いる 伺い。
summary4
松下 浩明 委員 ます 自由民主党 山武 市 選出 松下 浩明 ます 予算 委員 会 2 日 目 トップ バッター 頑張る いき たい 思い ます 早速 質問 入 ら する いただき ます 観光 物産 振興 伺い いる ます 都内 アンテナショップ 設置 モデル 事業 伺い いる ます これ 数 回 質問 する まし アンテナショップ 検討 来年度 試験 的 都内 1 カ月 間 運営 行う いう こと あり 大変 期待 寄せ いる ところ ます 昨年 6 月 議会 私 含める 信田 議員 内田 議員 都内 設置 する 案 地方 都市 設置 する 案 コンビニエンスストア 全国 展開 する 案 示す れる ところ あり ます 今回 千葉 県 期間 限定 ます 都内 アンテナショップ 設置 する 予算 案 示す れる まし 伺い いる ます 都内 アンテナショップ 設置 モデル 事業 都内 実施 する こと する 理由 伺い いる。
summary5
松下 浩明 君 高橋 知事 答弁 まし 県 有 建物 長 寿命 化 計画 ます 建物 整備 地元 市町村 声 よく 聞く いただき まし 地域 より よい もの なる もの つくる いただき たい 思い ます お願い いる まし 自民党 代表 質問 終わる する いただき ます 清聴 まし。

Edmunson: 長すぎずよいかも

Edmunson============================
summary1
松下 浩明 委員 ます 自民党 山武 市 選出 松下 浩明 ます 昨日 九州 地方 春一番 本日 西日本 関東 春一番 吹く 予報 さ れる おりる ます 春 一 歩 近づく いる ます ことし 春 10 年間 一緒 いる まし 同期 県議 新た ステージ 挑戦 する 予定 あり 寂しい さ 感じる 私 たち さらに しっかり 取り組む いか ない いく ない 思い あり ます きょう 2 日 目 予算 委員 会 トップ よい 流れ つくる いき たい 思う おりる ます 執行 部 皆様 方 簡明 前向き 答弁 お願い 申し上げる たい 思い ます よろしく お願い いる ます 質問 入 ら する いただき ます 初め 介護 人材 確保 対策 事業 補助 金 伺い ます 高齢 化 進展 伴う まし 2025 年 8 年 後 全て 団塊 世代 75 歳 以上 なり 介護 受ける 高齢 者 今後 増加 見込む れる わけ 現在 県 高齢 者 急激 増加 踏まえる 特別 養護 老人 ホーム 施設 整備 促進 する おりる ます 施設 つくる 介護 サービス 提供 する こと できる 働く 介護 職員 確保 同様 進める ない ば なり ませる ん 介護 職員 ニーズ 増加 する おりる ます 介護 現場 若者 初め する 職員 集まる 離職 率 高い ため 人材 確保 大変 苦労 さ れる いる 伺う おりる ます そこ 伺い ます 介護 人材 今後 需給 見通し どうか 伺い。
summary2
松下 浩明 委員 施設 働く 介護 職員 これから 特に 在宅 介護 サービス 提供 する 職員 確保 重要 なり ます 昨年 10 月 自民党 在宅 介護 従事 する 職員 処遇 改善 等 目指す 鈴木 衛 議員 林 幹人 議員 在宅 ヘルパー 問題 対策 推進 議員 連盟 立ち 上げ する せる いただき まし 設立 関係 団体 声 伺う ところ 職員 確保 資質 向上 ため 職員 研修 支援 充実 する ほしい 要望 寄せ られる ところ あり ます そこ 伺い ます 平成 29 年度 当初 予算 介護 人材 確保 対策 補助 事業 措置 状況 どうか 伺い。
summary3
松下 浩明 委員 前年度 当初 予算 比較 する 1 , 700 万 円 増額 する こと あり ます 内容 伺い。
summary4
松下 浩明 君 皆様 ます 自由民主党 山武 市 選出 松下 浩明 ます 本日 県議会 壇上 より 自由民主党 代表 質問 さ する いただく こと 私 大変 誉れ こと あり ます 機会 くださる まし 先輩 議員 同僚 議員 皆様 ます お礼 申し上げる ます 傍聴 席 私 後援 会 支持 者 皆様 山武 市 早朝 お越し なる いただく おりる ます 日ごろ 支援 深い 感謝 表す する いただき ます ます 本日 JA グループ 千葉 大勢 皆様 方 お越し ます ます 参議院 議員 猪口 先生 お越し ます ます 本日 9 月 21 日 秋 全国 交通 安全 運動 始まり まし 私 たち 県民 一 人 一 人 交通 事故 起こす ない 起こす する ない 意識 常に 持つ 交通 事故死 ゼロ 目指す いき たい 思

Sum_Basic: シンプルだが意味がよくわからいものも

Sum_Basic============================
summary1
松下 浩明 委員 前年度 当初 予算 比較 する 1 , 700 万 円 増額 する こと あり ます 内容 伺い。
summary2
松下 浩明 委員 マレーシア インドネシア 多い 旅行 者 千葉 県 来る 泊まる いただく いる こと 県 これら 国 旅行 者 誘致 進める いる 伺い。
summary3
松下 浩明 委員 調達 基準 対応 農業 振興 上 重要 ある 答弁 あり まし 報道 より ます 全国 的 認証 制度 進む おら まま オリンピック パラリンピック 提供 できる 国産 農産物 不足 する ない 言う れる おりる ます そこ 伺い ます GAP 認証 県内 取り組み 状況 どうか 伺い。
summary4
松下 浩明 委員 本県 水産 業 維持 発展 さ せる ため 新た 漁業 担い手 確保 必要 考え ます 対策 どうか 伺い。
summary5
松下 浩明 君 高橋 知事 答弁 まし 県 有 建物 長 寿命 化 計画 ます 建物 整備 地元 市町村 声 よく 聞く いただき まし 地域 より よい もの なる もの つくる いただき たい 思い ます お願い いる まし 自民党 代表 質問 終わる する いただき ます 清聴 まし。

全般的に元データがリンクをたどってとってきているときに重複が多く有るので精度を落としている可能性がある。そこを見直して同じ文章は省いた形でもう一度じっこうしてみよう。

12:00

地元の千葉県議会のログをとりなおそうとしたら、アクセスできない。
なぜかはわからないが、、　気を取り直して四街道市議会議員の議事録を取り直そうとすると　なんとシステムが変わってしまっている、、しかもリンクがHTMLでなくて、javascriptで処理されるようになっていて、単純に a tagを抜き出すのだと辿れなくなってる。。
本格運用しても結構メンテナが必要になる予感がヒシヒシとしてきた。

13:00

気を取り直して、seleniumのイベントでリンクをたどる方法を検討しよう。とりあえずseleniumでclickを送れば辿れそうだということはわかった。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# HEADLESSブラウザに接続
options = Options()
options.add_argument("--headless")  # ヘッドレスモードのオプションを追加
options.add_argument('--disable-gpu')
browser = webdriver.Chrome(options=options)   
browser.get('https://ssp.kaigiroku.net/tenant/yotsukaido/SpTop.html')
sleep(1)
browser.find_element_by_link_text('平成30年').click()

16:00

seleniumにすべて統一することで人が操作したのと同じような結果がえられるが、そのかわりクリックなどもスクロールしていないと成功しないという制約がつく（pageを解析してURLをpostするだけなら表示は関係ないがbrowserをクリックする操作をシミュレートするばあいは表示されていないと操作できないとbrowser engineに怒られる）さらにすぐに操作が終わるわけではないのでsleep(0.5)とかをそこかしこに挟まないと安定しない、、、
ちょっとバッドノウハウだがしょうがない。ようやくページ内のドロップダウンリストを全部開いてリンクをクリックできるところまでたどりついた