Здешние комментаторы:

Да и у меня, в общем-то, интерес чисто теоретический :)

Впрочем, в связи с открывшимися обстоятельствами :) придется все "передумывать" сначала :)

А где, тогда, "ИМХО" в Вашем предыдущем посте? :)

Вот если нарвемся на нюансы, тогда и будем думать :)

Не будет ли большой наглостью с моей стороны, спросить Вашего мнения о других аспектах этого опыта? Например, нет ли у Вас на примете нескольких пар словосочетаний, пригодных для метода Миныча? (наверное, это лучше в личку) :)

Первое, что приходит в голову - обойтись десятком (может, двумя десятками) пар документов, содержащих указанную Вами конструкцию. Использовать в этих документах несколько словосочетаний, для которых заранее подобраны пары для "метода Миныча". Наверное, стоит разбавить Ваши конструкции различным количеством "прочих" слов. Наверное, также надо предусмотреть возможность по ходу проверить работоспособность метода измерения.

Вот такие мысли "на вскидку", может быть у Вас, wolf, и у Вас, euhenio, есть соображения относительно методики, которыми вы можете поделиться?

Добавлено: по поводу пар для метода Миныча, это я наверное погорячился (праздичные возлияния даром не прошли:)). Если опыт проводить в пределах одного домена (что теоретически уже не очень корректно), то придется создавать среду для корректной отработки ортогональных запросов (или использовать другой способ сравнения релевантности). Н-да, задачка усложняется :)

Я думал, Вы имеете в виду более сложный алгоритм первичной разбивки на предложения.

В общем, идею вижу в том, что в случае справедливости Вашей гипотезы документы

1) А _ В _ В.

и

2) А _ В. А _ _ _ В.

должны иметь одинаковую текстовую релевантность, т.к. будут разбиты на одинаковые пассажи. Сравнить их можно будет тем же методом ортогональных запросов Миныча.

Придется допустить, что TF для термина А будет высчитываться (в том числе и нормироваться) тоже попассажно, а не исходя из кол-ва термина А в документе. Не думаю, что это однозначно корректное допущение. Хотя, это вроде как плавно вытекает из гипотезы и статьи.

На этапе индексирования документа, просматриваются и нумеруются последовательно все словопозиции. А когда встречается разделитель предложений, обнуляется счетчик позиции в предложении, а счетчик номера предложения увеличивает свое значение на единицу.

А что касается Вашей гипотезы про формирование двух пассажей из текста "А_Б_Б" в ответ на запрос "А&Б", то, в принципе, это все проверяется. По крайне мере не вижу причин, чтобы нельзя было проверить. Только муторно всё это...

Так вот я и говорю, что все больше склоняюсь к тому, что пассаж - это "слепок" с запроса. Т.е. если запрос А В С, то и найденный пассаж будет А В С даже в том случае, если текст А В С С С. Вернее, в тексте А В С С С будут обнаружены следующие пассажи: A&/+1B&/+1C, A&/+1B&/+2C, A&/+1B&/+3C. И вес документа по отношению к запросу А В С будет состоять из суммы весов этих трех пассажей. Ясно, что с учетом контекстуального сходства, первый пассаж будет весить больше второго, а второй больше третьего.

Если такое представление соответствует действительности, то никаких дублей слов в пассаже не будет, соответственно, не будет и преодоления кворума за счет дублей.

что-то у меня все больше плюсов за то, что в предложении А _ В _ В. содержится два пассажа (A &/+2 B и A &/+4 B), а не один A &/+2 B &/+2 B .

Не ко мне реплика, но позволю поинтресоваться. По-Вашему, в этом случае для запроса А В учет термина А произойдет дважды?

Реплика не к Вам получилась, поскольку она имеет смысл только в контексте запросозависимости пассажа :)

Да, в этом случае термин А учтется дважды т.к. запрос А В породит в указанном тексте два пассажа. Я уже рассуждал на эту тему под другим углом:

Есть еще вот какие соображения.

Учитывая следующее:

вычисление веса каждой словопозиции с учетом расстояния до всех остальных слов из запроса, попавших в пассаж

Имеем текст "А_Б_Б.", удовлетворяющий контекстным ограничениям запроса "А&Б". Для простоты допустим, что веса слов А и Б одинаковы.

Учитывая приведенную выше цитату, можно предположить, что неважно, состоит этот текст из двух пассажей (А_ _ _Б и А_Б) или из одного (А_Б_Б).

Почему не важно? Потому, что нам надо определить, каким именно образом происходит вычисление веса каждой словопозиции. Именно это является главным вопросом, а вопрос о количестве пассажей всего лишь может послужить ключем (причем, сомнительным) к решению.

Поэтому, предлагаю попытаться решить вопрос о вычислении веса каждой словопозиции, безотносительно вопроса пассажей.

Сперва разберемся с двумя словопозициями слова Б. Очевидно, что вес первой из этих словопозиций выше, чем второй т.к. расстояние от первого слова запроса (А) до первой словопозиции слова Б меньше, чем до второй. Впоследствии, когда будет вычисляться вес документа относительно запроса, веса всех словопозиций всех слов запроса проссуммируются и составят вес документа относительно запроса.

Возникает вопрос: может быть, вес второй словопозиции слова Б не учитывается (т.к. слово А единственное)? Резонный вопрос. Но, если так, то тексты А_Б и А_Б_Б по отношению к запросу А&Б будут иметь одинаковый вес, что сомнительно с точки зрения здравого смысла. Есть и другие доказательства учета второй словопозиции слова Б (основанные на выдержках из статьи).

Самое интересное и неоднозначное начинается на этапе вычисления веса словопозиции слова А. Не совсем понятно, вес этой словопозиции будет иметь одну составляющую, определяемую расстоянием до первой словопозиции слова Б, или к ней приплюсуется составляющая, определяемая расстоянием от слова А до второй словопозиции слова Б? С одной стороны (обращаясь к здравому смыслу), слово А единственное, почему мы должны увеличивать его вес только потому, что в куске текста, удовлетворяющем контекстным ограничениям, присутствует более одного другого слова из запроса?

С другой стороны (также обращаясь к здравому смыслу), обе словопозиции слова Б удовлетворяют контекстным ограничениям запроса. Т.е. однозначно предполагается, что оба слова Б употреблены в контексте слова А. Соответственно, документ (А_Б_Б) где в контексте со словом А употреблены два слова Б должен иметь бОльший вес относительно запроса, чем документ вида А_Б. Но он и так будет иметь больший вес, т.к. выше мы условно доказали, что вес второй словопозиции слова Б учитывается при вычислении веса документа по отношению к запросу. Т.е. речь идет о том, усиливается ли вес документа А_Б_Б по сравнению с документом А_Б еще больше за счет описанного выше увеличения веса слова А за счет второй словопозиции слова Б?

Кот, правильно ли я понял, что подразумевается, что в зависимости от запроса, Яндекс "слепляет" пассажи из некоторых предложений? Т.е. ему надо сначала разбить текст на предложения, назовем их первичными пассажами. Это операция запросонезависимая. А потом идет запросозависимая операция - формирования из некоторых из этих первичных пассажей вторичных пассажей путем суммирования, которые и проходят проверку на кворум. Так?

P.S. Хотя нет... Исходя из Ваших слов пассажи просто лепятся из слов запроса... Ок, ясно. Я, получается, под запросонезависимым разбиением на пассажи подразумевал первичное разбиение текста на предложения. А под вторым этапом подразумевал то, что Вы имеете в виду под разбиением на пассажи с учетом уже выполненного разбиения текста на предложения... Такая вот петрушка... :)

Так не документ на пассажи разобъется, а "осуществится процесс нахождения всех пассажей в документе, удовлетворяющих контекстным ограничениям".

Что касается Вашего примера, то если для преодоления кворума необходимо наличие всех трех слов в пассаже, то по запросу A && (B & C) документ не будет найден т.к. не будет обнаружено ни одного пассажа, полностью удовлетворяющего контекстным ограничениям, а пассаж, частично им удовлетворяющий не пройдет кворум (буду благодарен за демонстрацию обратного :)). Если В или/и С имеют малый вес (IDF), и кворум может быть преодолен без В или/и С, то документ будет найден благодаря тому, что неполный пассаж пройдет кворум.

В ответ на запрос A && (B && C) документ будет найден независимо от весов (IDF) слов А В и С т.к. найденный пассаж A &&/+1 B &&/+1 C полностью удовлетворяет контекстным ограничениям, заданным в запросе (A && (B && C)).

Но ведь, получается, что надо добавить всего один коэффициент - для случая, когда разница между заданным в запросе растоянием и фактическим рассоянием бесконечно велика. Т.е. термин запроса, по отношении к которому вычисляется вес словопозиции отсутствует в пассаже.

Думаю, экономичней просто штрафануть весь пассаж (т.е. уменьшить веса всех терминов пассажа) за неполность

Стоп, так это тож на тож и выходит, что я говорил. Только другими словами. На вскидку, в Вашем примере, и слово А и слово С этого неполного пассажа недополучат ту часть веса, которую могли бы получить от слова В, если бы оно было в пассаже. Все эти недополучения, имхо, происходят на этапе перевзвешивания весов словопозиций во время работы функции контекстуального сходства. Потом считаем вес пассажа складывая веса слов. Естественно, неполные пассажи будут весить меньше не только из-за того, что некоторые слова отсутствуют, но и из-за того, что присутствующие слова получили меньше веса при пересчете весов с учетом контекстуального сходства. Сколько именно веса недополучит каждая словопозиция при пересчете весов, зависит от функции яндекса (набора коэффициентов).

Я там смайл поставил специально :)

И сказал, мол, в контексте всего спора надо рассматривать. Если очень кратко, то скажите, вот Вы считаете, что Тайтл - пассаж, и тут же говорите, что пассаж попал в тайтл. Это как? Другими словами, я хотел обратить внимание, на то, что даже в таких, бытовых фразах проскакивает несоответствие и противоречие.

Другими словами, пассаж запросозависим :)

В противном случае, наблюдаем противоречие - если тег тайтл является пассажем, то как в него может попасть пассаж?

В качестве ответа, процитирую и себя и Вас:

Он не упоминает понятия веса пассажа в Яндексе. Он упоминает свойства, присущие известным функциям весов пассажей, описанным в литературе и сравнивает с ними функцию Яндекса.

Я понят? :)

Функцию чего, позвольте поинтересоваться.

Функцию, при помощи которой рассчитываются веса словопозиций уже с учетом контекстуального сходства. Перед применением этой функции, каждая словопозиция одного и того же слова имела одинаковый вес. Применяем функцию, и она пересчитывает вес каждой словопозиции. В принципе, если после этого пересчета проссумировать веса всех словопозиций пассажа, то получится вес пассажа. В литературе описаны функции весов пассажей, но в литературе нет аналогов Яндексовскому алгоритму. Поэтому, поведение этих, описанных в литературе функций, сравнивается с поведением функции Яндекса. При проведении такого сравнения, удобно оперировать виртуальным понятием веса пассажа в Яндексе.

Кроме того, на этапе вычисления веса пассажа, пассажи, полностью попавшие в некоторые зоны документа, получают дополнительные баллы

Снимаю шляпу. За все время изучения статьи я не обратил внимания на эту фразу. Значит вес пассажа все таки вычисляется.

И уж поверьте, вес пассажа, попавшего в тег <title>, при прочих равных отличается от веса такого же пассажа в <body>. Это Вам в качестве наглядного факта, которым можно объяснить наличие учета веса пассажа при ранжировании

И без этого видно, что в статье явно указано на вычисление веса пассажа. Позже я позволю себе вернуться к этому Вашему высказыванию, но в другом контексте.

Теперь я признаю факт вычисления Яндексом веса пассажа, но это только вносит дополнительную стройность в мое представление о работе алгоритма.

Давайте смотреть:

Допустим алгоритм кворума уже отработал и определил все пассажи, преодолевшие кворум. Уже вычислены контрастности всех слов пассажей по формуле TF*IDF.

Полученная контрастность слова распределяется на все его позиции, прошедшие фильтр

Т.е. все словопозиции конкретного слова запроса имеют одинаковые контрастности.

Затем по ним происходит итерирование и вычисление веса каждой словопозиции с учетом расстояния до всех остальных слов из запроса, попавших в пассаж. Учет состоит в вычислении сходства этого расстояния с заданным в запросе оптимальным расстоянием.

А вот это уже работа той функции (которую мы обсуждали), при помощи которой рассчитываются веса словопозиций уже с учетом контекстуального сходства. В результате работы этой функции происходит пересчет весов (контрастностей) словопозиций во всех пассажах документа. И получаются "веса словопозиций, взвешенные по сходству их полного контекста"

Наконец, веса словопозиций, взвешенные по сходству их полного контекста, «собираются» обратно и образуют вес документа.

Вот здесь, видимо, я и ошибался. Я думал, все так буквально и происходит - просто просуммировали веса всех словопозиций и получили вес документа. Но, получается, что веса словопозиций суммируются сперва попассажно, образуя вес пассажа. Судя по всему это необходимо, чтобы можно было увеличить вес пассажам, удовлетворяющим каким-либо условиям (например, если пассаж "полностью попал в некоторые зоны документа"). После этого вес документа получается путем сложения весов всех пассажей.

Не используется при ранжировании. Сам термин "вес пассажа" может и использоваться. Он может нагляднее и быстрее объяснить результат работы алгоритма, основанного на расчете веса словопозиции.

Поэтому очень трудно увидеть, чтобы "нестрогое соотвествие" в выдаче обгоняло бы "строгое".

Давайте смотреть:

Ранжирование на уровне словопозиций: расчет веса словопозиции

Полученная контрастность слова распределяется на все его позиции, прошедшие фильтр. Затем по ним происходит итерирование и вычисление веса каждой словопозиции с учетом расстояния до всех остальных слов из запроса, попавших в пассаж. Учет состоит в вычислении сходства этого расстояния с заданным в запросе оптимальным расстоянием. Наконец, веса словопозиций, взвешенные по сходству их полного контекста, «собираются» обратно и образуют вес документа.

Явно описан алгоритм расчета веса документа относительно запроса. Алгоритм логичный и самодостаточный. В нем не только не упоминается "вес пассажа", но и нет для него места - все рассчитывается исходя из весов словопозиций.

Но Сегалович упоминает понятие веса пассажа в Яндекса как "табулированный набор коэффициентов" в пункте "Коэффициент контекстуального сходства". Лукавит?

Он не упоминает понятия веса пассажа в Яндексе. Раздел озаглавлен "Коэффициент контекстуального сходства" и речь в нем идет о сравнении вычисления контекстуального сходства в Яндексе и других системах.

Фраза

В функции Яндекса (табулированный набор коэффициентов) также соблюдаются некоторые их этих принципов, в частности, принцип деградации неполных пассажей. Схожим выглядит и убывание при уменьшении сходства с оптимальным расстоянием.

демонстрирует результат ранжирования, а не сам процесс.

Да, это понятно. В этом случае, мы просто экономим на собственных "площадках" под ссылки. Но я о другом - если сайт, на котором нам удалось проставить ссылку на себя (используя эту дырку) достаточно авторитетен, то нам от этого авторитета достается , по большому счету, шиш с маслом. Конечно, мы получаем выгоду за счет, "ненулевых" начальных показателей висячей страницы. Даже, возможно, эти начальные показатели зависят от авторитетности сайта, на котором они зависли. Но, все равно, шиш, пусть и с маслом :)

Впрочем, я даже и не знаю, на фиг я все это понаписал :) Все и так ясно :) Видимо, обидно мне, что не получается при использовании этого метода (в чистом виде) отхватить серьезный кусок от авторитетности сайта-жертвы :)

Да хоть, чтоб подобных дыр не было :)

Причем, это не единственное возможное злоупотребление.

на которые уже ссылок не стоит?

Да, но я в большей степени имел в виду "висячесть" в рамках сайта(домена), т.е. отсутствие внутренних ссылок на документ (если не ошибаюсь, страницы с результатами поиска, изначально - Deep Web). Хотя, если рассматривать вопрос в комплексе, то, не исключено, что неучет висячих приведет к серьезным перекосам (особенно, учитывая недавние изменения в учете внутриссылочного :wink: )

если двигать сайт по низкочастотке, то кроме мизеров передаваемого веса ничего не надо.

Имеем текст "А_Б_Б.", удовлетворяющий контекстным ограничениям запроса "А&Б". Для простоты допустим, что веса слов А и Б одинаковы.

Учитывая приведенную выше цитату, можно предположить, что неважно, состоит этот текст из двух пассажей (А_ _ _Б и А_Б) или из одного (А_Б_Б).

Почему не важно? Потому, что нам надо определить, каким именно образом происходит вычисление веса каждой словопозиции. Именно это является главным вопросом, а вопрос о количестве пассажей всего лишь может послужить ключем (причем, сомнительным) к решению.

Поэтому, предлагаю попытаться решить вопрос о вычислении веса каждой словопозиции, безотносительно вопроса пассажей.

Сперва разберемся с двумя словопозициями слова Б. Очевидно, что вес первой из этих словопозиций выше, чем второй т.к. расстояние от первого слова запроса (А) до первой словопозиции слова Б меньше, чем до второй. Впоследствии, когда будет вычисляться вес документа относительно запроса, веса всех словопозиций всех слов запроса проссуммируются и составят вес документа относительно запроса.

Возникает вопрос: может быть, вес второй словопозиции слова Б не учитывается (т.к. слово А единственное)? Резонный вопрос. Но, если так, то тексты А_Б и А_Б_Б по отношению к запросу А&Б будут иметь одинаковый вес, что сомнительно с точки зрения здравого смысла. Есть и другие доказательства учета второй словопозиции слова Б (основанные на выдержках из статьи).

Самое интересное и неоднозначное начинается на этапе вычисления веса словопозиции слова А. Не совсем понятно, вес этой словопозиции будет иметь одну составляющую, определяемую расстоянием до первой словопозиции слова Б, или к ней приплюсуется составляющая, определяемая расстоянием от слова А до второй словопозиции слова Б? С одной стороны (обращаясь к здравому смыслу), слово А единственное, почему мы должны увеличивать его вес только потому, что в куске текста, удовлетворяющем контекстным ограничениям, присутствует более одного другого слова из запроса?

Если следовать букве статьи, то эта фраза не относится к алгоритму Яндекса. А до появления Ильи Сегаловича сотоварищи :) кроме как на букву, ссылаться не на что :)

за счет повторения одного слова из запроса можно превысить кворум

Это легко проверить:) И, потом, что мешает при расчете кворума не учитывать повторяющиеся слова пассажа?

И все-таки я склонен склониться к версии о "запросонезависимости" разбиения документа на пассажи. В данном случае просто оба пассажа (который в начале со словом А и который в конце со словом В) пройдут кворум и потом получат максимальные веса.

wolf, мне понятно, что Вы имеете в виду. Скажите, не кажется ли Вам, что следующая цитата из http://company.yandex.ru/articles/romip2004.xml опровергает Ваши слова?

Идея кворума в поиске не нова, ее аналогом в процедуре фильтрации релевантных пассажей можно считать принцип «weighted coordination match» [9], при котором «найденными» считаются все полные пассажи, а также все неполные, сумма весов слов которых превосходит необходимый кворум.

В этом документе, при таком запросе Яндекс найдет (и подсветит) и слово2 и оба слово1.

Да я просто предложил в терминах Яндекса изъясняться, раз уж топик про него :)

Имеются в виду ограничения, накладываемые колдунщиком. Как известно, колдунщик может вставлять также и ограничения вида &&/(-7 7)