【Difyアプリ】スクレイピングした情報を要約してSlackに連携する方法とWeb Scraperの注意点

こんにちは。
今回はWeb Scraperを利用して取得した情報を要約しSlackに連携するDifyアプリの作り方を解説します。
また Web Scraperで日本語のサイトを扱う場合注意しないといけない点もあるためそこもあわせて解説します。

アプリの全体像

ワークフロー図

使用しているのは Web Scraper / LLM / Incoming Webhook to send message　の３つです。
それぞれの役割は以下となっています。
Web Scraper： スクレイピング
LLM： 要約
Incoming Webhook to send message： Slackにメッセージ送信

それではそれぞれの設定値について解説していきます。

Web Scraper

URLはスクレイピングしたいURLを設定してください。
それ以外は特に変更しなくてOKです。

LLM

モデルは使用したいLLMのモデルを選択してください。
SYSTEMには500文字程度で要約するように指定しました。1点気を付けないといけない点がありSYSTEM内にWeb Scraperの出力であるtextを指定しないといけないです。

Incoming Webhook to send message

contentにはLLMのtextを設定してください。
SLACK INCOMING WEBHOOK URLには通知したいチャンネルのURLを設定してください。これはSlack側の設定になりこちらの記事が参考になります。

ワークフローを動かすと以下のようにSlackにスクレイピングし要約された情報が通知されると思います。

Web Scraperで日本語サイトを扱う注意点

日本語のサイトは文字コードの関係でWeb Scraperの出力が文字化けすることがあります。特に古いシステムで動いているとその傾向があり地方自治体のサイトは文字化けすることがあると思います。
改善するにはこのコードを修正してもらうか、出力後頑張って変換する必要があるのですがDifyのユーザーの多くが非エンジニアだと思うのであまり現実的ではないと思います。
現状文字化けに出くわした際はそのサイトから情報をとることをあきらめるか、Web Scraper以外のものを使用したほうがよいでしょう。

最後に

弊社BizDBでは生成AI関連の相談を承っております。
相談事ありましたらXよりDMいただけると幸いです。
https://x.com/tmatsu06180702