SyntaxHighlighter

ラベル Recommendation の投稿を表示しています。 すべての投稿を表示
ラベル Recommendation の投稿を表示しています。 すべての投稿を表示

2014年7月23日水曜日

推薦システム勉強会で使用した文献

を、まとめておく。

第1回

  • 推薦システムのアルゴリズム
  • 神嶌敏弘, 人工知能学会誌, Vol. 22, No. 6, pp. 826-837, 2007.
  • 人工知能学会誌, Vol. 23, No. 1, pp. 89-103, 2008.
  • 人工知能学会誌, Vol. 23, No. 2, pp. 248-263, 2008.

この分野ではお馴染みのサーベイ論文。基本から幅広く知識を習得できる。3回にわたって人工知能学会誌に掲載されたが、今は著者によりまとめられたものがWeb上に公開されている。

第2-3回


こちらも超有名なサーベイ論文で、10年前のものだが今でも十分通用する内容。推薦精度に関する評価指標を中心に紹介されている。精度以外の指標にも触れているが、確立された手法がなかったため簡単な言及に留めている(今でも確立されていないが)。

第4回


Wikipediaの情報をLOD (Linked Open Data) 形式で公開しているDBpediaを情報源として映画の推薦を行う手法。ジャンルや監督、出演俳優といった属性とその値を用いているところが特徴で、こういった内容ベース的なアプローチと構造化された情報を扱うDBpediaは相性が良い。

第5回


Amazonに投稿されているレビューから,カメラであれば重量や価格といった観点(=属性)に対する嗜好を抽出する。この既存ユーザの嗜好情報を用いて、完全に把握できていない新規ユーザの嗜好 (partial preference) の欠損値を補う手法。レビューの選択基準が不明瞭だが、新規ユーザに対する推薦精度改善手法として面白いアプローチ。

第6回


ユーザが好む(高く評価する)可能性が高いアイテムを推薦する、というのがほとんどの推薦システムにおいて目的となっている。その中で、この手法はサービス提供者(主に企業)の利益を最大化することを目的としている。価格(利益)の高い商品や、キャンペーンや在庫処分などの理由でとある商品を優先的に推薦する、というのは企業では既にある程度やっていることだとは思う。ただ、アカデミックな分野ではあまりこういった目的での手法は見られなかったので、面白い手法と思う。

第7回


少し古い文献だが、推薦時に理由(なぜそのアイテムが推薦されたが)を併せて提示することでユーザの満足度向上を試みた手法。提案手法は3つあるが、そのなかのNeighbor Style Explanation(協調フィルタリングによる近傍ユーザの評価値分布を推薦理由としてユーザに提示する手法)において、ユーザがその評価に影響され推薦アイテムに対して高い評価をしがちであるという結果。この結果に対して、推薦理由の提示により高い評価に影響を受ける=推薦アイテムを過大評価することに繋がり満足度が低下する、という考察が興味深い。

第8回


ホテルに対するレビューを対象として、属性(立地、サービス、部屋など)への言及の度合いを自然言語処理により推定し、コンテキストベースの推薦に用いている手法。新規ユーザやアイテムに対して推薦精度が低下するcold-start問題への解決策として、コンテキストベースの推薦を行う手法は広く行われている。新規ユーザに対して特に有効なアプローチだが、いずれの手法もアイテムに対する情報が事前に十分得られていることが前提となっている。

第9回


いわゆる「ロングテール」に着目し、不人気アイテムを推薦することに重きを置いた手法。タイトルにAccuracyとあるが精度の検証はせず、アイテムの人気度を考慮した再現率を評価指標としている。着眼点は面白いが、データセットを用いたオフライン実験で検証できる範囲は限られており、そのあたり限界を感じる。

2014年2月6日木曜日

情報推薦の研究に使えるデータセット

海外・国内それぞれで公開されているデータセットをまとめました。
情報推薦(推薦システム)に関する研究で利用することを想定し、アイテム(商品や映画等)とそれに対する評価情報がペアになっているものをピックアップしています。

<海外>

GroupLens Dataset

最も有名で、最も利用されているデータセット。
データサイズは100k, 1M, 10Mの3種類が用意されている。


The Book-Crossing Dataset

Book-Crossingと呼ばれる「書籍に旅をさせる」プロジェクトから収集されたデータセット。


Yelp Dataset

飲食店やお店に関するクチコミを掲載しているYelpのデータセット。利用には申請が必要。
面白いのは業績に対する賞金が充実していること。例えば査読付き論文誌に掲載されると1,000ドル貰えるし、学生なら賞金5,000ドルのAwardもある。
その他、与えられたテキストからカテゴリを予測するといったことも行える(詳細はGitHubのページで)。

EachMovie Dataset

MovieLensと並んでよく利用されていたが、現在は公開終了。

<国内>

楽天データ公開

  • http://rit.rakuten.co.jp/rdr/
  • 楽天市場(みんなのレビュー):商品に対する5段階評価 (1-5)
  • 楽天トラベル:ホテルに対する5段階評価、項目別評価あり (1-5)
大学・研究機関のみ利用可能で、事前申請が必要。
様々なデータが公開されているが、情報推薦の分野で活用できそうのなのは楽天市場、楽天トラベル、GORA(ゴルフ場)に関する評価データ。
楽天市場(みんなのレビュー)は膨大なレビューが利用可能。しかし「レビューを書くと送料無料」といった施策の影響か、コピペレビューがとても多い上に評価が5(最高値)に大きく偏っている。そのため、これらを踏まえた前処理が必須。実際に行った前処理の結果については下記参照。
[追記] 楽天市場のレビューを用いた論文が無料でDLできます(要ID登録)。

Zhongjie Mao, Shunichi Hattori and Yasufumi Takama, Analysis of Online Reviews for Evaluating Informative Reviews, SCIS&ISIS2012, W2-44-2, 2012.

楽天トラベルではコピペは少ないが、それでも評価は(他セットとくらべて)好評寄りに偏っている。

SUSHI Preference Data Sets

寿司についての嗜好を調査したデータセット。詳細は下記の文献を参照。

T. Kamishima, Nantonac Collaborative Filtering: Recommendation Based on Order Responses, KDD2003, pp.583-588, 2003. [PDF]