TFij – частота употребления ключевого слова kj в документе dj – определяется как
где максимум вычисляется из частотности fz,j всех ключевых слов kz, встречаю-
щихся в документе dj. Однако если ключевые слова широко распространены во
многих документах, то система не в состоянии корректно выбрать необходимый
текст. Поэтому измерение обратной частотности слова (IDFi) часто используется
наряду с измерением обычной частотности (Tfij). Обратная частотность для
ключевого слова ki обычно определяется как
Тогда вес ключевого слова ki в документе dj определяется как
а контент документа dj определяется как
(Adomavicius G., Tuzhilin A. Toward the next generation of recommender systems…) 149 Это можно записать так:
Существуют другие контентные методы, такие как байесов классификатор, машинное самообучение, включающие кластеризацию дерева решений, искусст-
венные нейронные сети.
181
ЧАСТЬ 2. УХУДШАЮЩИЙ ОТБОР В ИНДУСТРИЯХ КУЛЬТУРЫ
статьи, в которых использовано много терминов (ключевых слов) из его
пользовательского профиля.
2.7.1.1. Недостатки
Их в контентном методе несколько. Во-первых, машинный анализ го-
дится не для всяких объектов. Так, сильно осложнена работа с мультиме-
дийными приложениями, графикой, аудио- и видеоматериалами. (Хотя в
последнее время в этой области наблюдается бурный прогресс.) Другая
проблема данного метода в том, что два разных предмета, представлен-
ных одинаковыми профилями, неразличимы. В частности, с помощью
контентных систем невозможно отличить хорошую статью от плохой, если их лексикон близок. Это касается и потребительских профилей, по-
этому рекомендации, основанные на выборе якобы схожих людей, могут
быть низкого качества. На деле оказывается, что профили близки, а люди, стоящие за ними, разные. Еще один очевидный недостаток – узость ре-
комендаций. Потребителю не могут рекомендовать товары, отличные от
тех, которые ему уже знакомы. С другой стороны, ему могут настойчиво
предлагать объекты, слишком похожие на те, что ему хорошо известны.
2.7.2. Вспомогательные системы
Эти системы не вычисляют рекомендации. Их смысл в другом: слу-
жить инструментом обмена рекомендациями. Первая в мире рекомен-
дательная система Tapestry, разработанная в Xerox PARC, относилась к
вспомогательному типу150. Популярные ныне веблоги (weblog) – пример
такой системы.
Узкое место вспомогательных систем в том, что они эффективны
только при наличии некоторого числа добровольцев, готовых генериро-
вать информацию, полезную для сообщества151. В большинстве случа-
ев эта работа не оплачивается, хотя усилиями коммерческих поисковых
сервисов она вот-вот превратится в статью дохода152. Пока же рекомен-
150 Tapestry помогала пользователю оценивать электронные сообщения как «пло-
хие» или «хорошие», ориентируясь по оценкам других людей. Например, некто
мог обратить внимание на документы, которые отметил конкретный человек, или мог воспользоваться документами, аннотации которых содержат ключевые
слова. (См.: Terveen L., Hill W. Beyond Recommender Systems…) 151 Тут возникает задача суммирования рецензий, рассмотренная, например, в рабо-
те: Hu M., Liu B. Mining and Summarizing Customer Review // Proc. of the 10th ACM
SIGKDD, 2004. P. 168–177.
152 Поисковик Google сообщал о намерении платить внештатным экспертам за при-
182
ГЛАВА 2.7. ОБЗОР РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ
дателями движут немеркантильные интересы, возможно, потребность в
расширении знаний или в выстраивании обратной связи с пользовате-
