Users’ Preference Prediction of Real Estate PropertiesBased on Floor Plan Analysis

本研究の目的は、イエティーに公開されている物件を用いて、ユーザーの趣味・嗜好を考慮した物件を提示するレコメンドエンジンを開発すること。
レコメンドエンジンはコンテンツベースフィルタリングとMLP（Multi-Layer Perceptron）(Fig 2)を組み合わせた予測システム(Fig 3)を提案している。

間取り図を使うことによるメリットの１つは、同じ間取り規格と部屋数であっも、
例えば、「幼い子供が親の許可なく外に出られないように、玄関と子供部屋が直結していない物件を希望するユーザー」と、「各部屋から廊下に出られる便利な物件を希望するユーザー」に別々の物件を紹介することができる点である。
もう１つは、間取り図入れた方が予測精度が向上することが期待できる点である。

rerated works

間取り図をグラフ化する２つの方法

1. 間取り図を「部屋」と「廊下」をノードとするグラフに落とし込み、隣接関係のパターンとそのパターン数（6種類）を調べている。
また、データセットを占有面積の大きさで４分割している。
>http://dx.doi.org/10.3130/aija.70.9_5

2. 間取り図を「部屋」と「廊下」などのラベル付きのノードと「ドア」と「窓」のラベル付きの辺をグラフに落とし込んでいる。
このグラフからの部分グラフを用いて、共通部分グラフの有無から賃料を効果的に推定している。
データセットは京都の部屋数が３つ以上の物件。
> http://dx.doi.org/10.3130/aije.73.139

＊コレらの方法は、グラフ作成するためにアノテーションする必要があり、めちゃめちゃ大変。

CNNを用いて、間取り図から特徴量を得る方法

Fig 1は、入力がカラーの間取り図で、出力が間取り規格（１K、２K、１LDKなど）と部屋種類（floorplan/living room / entrance / kitchen /bath room /rest room /wash room /view /equipment /other）の有無となっているCNN。
このCNNを構築し学習したのち、fc7 layer部分から4096次元の間取り図の特徴量を得る。
VGG16を用いて転移学習している。
部分的にファインチューニングはしている。
＊やってみると計算コスト高かったのか、本研究ではVGG16をRes50に変えてRes50のpool 5から2,048次元の特徴量抽出にしている。

提案手法

アノテーションがめんどいので、本研究では、Fig 1を用いて、2,048次元の間取り図の特徴量を抽出する。
抽出した特徴量と物件属性、ユーザ属性を入力に与えて、ユーザーが該当物件に興味があるかないかを予測するモデルFg3を構築する。

memo

この研究は、Fig1とFg3の学習の計算コストが高すぎて、実用的ではないと感じる。また、どの間取り図が予測に影響を与えているのかについて議論しているが、その議論の仕方は、間取り画像の有無に関わらずうまく予測できた物件と間取り画像の有無によって予測が異なる物件について議論している。
ちなみに、間取り図を使用した場合に予測が悪くなった例は、１件だったらしく、原因は、間取り図の周囲にピンク色の背景があることで、FloorNetを混乱させているかららしい。