17:49 - Thursday, 4th February 2010

почему они все такие - ч. 1

Вот.

Насчет алгоритмов и прочего обучения.

Поисковики такие поисковики. Они такие думают, что достаточно набрать побольше разных факторов, оценки асессоров насобирать, натравить обучалки.

Обучалки, жадные, всю эту кучу данных зохавают и родят Формулу. Чудесным Образом.

Но я как-то думаю, что чудесным образом ничего не родится. Вот вам из Гашека:

Однако мне тоже хочется, господа, задать вам одну загадку,— продолжал он.— Стоит четырехэтажный дом, в каждом этаже по восьми окон, на крыше — два слуховых окна и две трубы, в каждом этаже по два квартиранта. А теперь скажите, господа, в каком году умерла у швейцара бабушка?

Вот вам параметры, куча параметров. Окна, квартиранты, т.д. А теперь скажите, господа...

Так же и с яндексом. Вот вам число слов запроса на странице, нормированное и абсолютное, и в точных формах и неточных. И то же самое в ссылочном массиве. И то же по фразам - фразовые соотвествия, в контекстных ограничениях, и без ограничений. И т.д., до 250.

...И все это перемножить. ( :) шариковское "и поделить")

...и зохавать в обучение.

...А теперь скажите господа, насколько релевантна страница запросу?

Результат в общем случае - непонятно какой. Естественно, часть параметров более-менее какой-то смысл имеет... Большая часть - никакого. Большая часть - непонятный смысл, типа а вдруг получится.

Ну так и выдача - тоже непонятно какая.

========

Общий мысль вот какой:

Дело не в обучалках. Дело в наборе факторов. Если у вас придуман прорывный, новый фактор (пример: пейджранк в свои годы), то его хоть в обучалку загнать, хоть просто в виде ручной формулы учитывать - толк будет. И хорошо искать будет.

А если ваши факторы - херня, то вся ваша королевская конница будет решать задачку выше - про бабушку. И искать будет типа так:

— Радий тяжелее олова?

— Я его, извиняюсь, не вешал,— со своей милой улыбкой ответил Швейк.

***

— Не знаете ли вы, какова наибольшая глубина в Тихом океане?

— Этого, извините, не знаю,— послышался ответ,— но думаю, что там наверняка будет глубже, чем под Вышеградской скалой на Влтаве.

***

— Сколько будет, если умножить двенадцать тысяч восемьсот девяносто семь на тринадцать тысяч восемьсот шестьдесят три?

— Семьсот двадцать девять,— не моргнув глазом, ответил Швейк.

— Я думаю, вполне достаточно,— сказал председатель комиссии. — Можете отвести обвиняемого на прежнее место.

Это я все к чему.

К тому, что нет тут никакого огромного "порога входа". Просто надо пробовать. Придумай хороший набор параметров - и будешь искать хорошо. Пусть даже новичок.

А то тов. Ашманов говорит - принесите 5-10 лямов, и сделаем поиск. Так тот поиск будет - как у всех. Как у рамблера, который самизнаетегде.

======

Высер еще не закончен, ждите продолжения

Раздел Поисковики, сообщение: http://blog.promosite.ru/comments.php?1180
камментов нет, комментировать

09:32 - Monday, 1st February 2010

Собрал свою стату по last20

У меня пробивалка ласт20 на подозрительные запросы не только подозрительные пишет, но еще и обычные запросы собирает. Ну, оно уже давно стоит, хотя и с перебоями работает - вот решил собрать все запросы.

Итог:

всего запросов 68906463 (69 млн.)

уникальных запросов 28016725 (28 млн.)

всего фрагментов "одноклассник" 317673 (как в вордстате, по всем запросам. Для нормировки)

точных запросов "одноклассники" 117820

Конечно, там вычищено - порнухи и секса нет. Но зато коммерческие запросы есть. Этим будет отличаться от ливинтернетовских баз - там порнуха есть, но в коммерческих запросах должна быть дыра - сайты стату закрывают же.

Впору свою базу продавать ))

Раздел Разное, сообщение: http://blog.promosite.ru/comments.php?1178
Камменты: 4, комментировать

12:24 - Saturday, 30th January 2010

firefox с yahoo?

А яху, кажется, будет с поиском бинг. Мелкософт подкрался к файрфоксу :)

Все-таки странно. Не очень верится.

Опять же, что это еще за "Ubuntu Firefox"? Это файрфокс как у всех? Или какая-то модификация, никому не нужная?

Кажется, это ФФ для линуксоидов. Ну они 1. никому не нужны и 2. с гугла никуда не перейдут.

Ubuntu Firefox shuns Google for Yahoo! search

"The next release of Ubuntu will scrap Google as the default search engine on its Firefox browser in favor of Yahoo!, thanks to a new revenue-sharing deal between Yahoo! and commercial Ubuntu backer Canonical."

Ubuntu: Yahoo! заменит Google

По новому соглашению о разделе доходов между Yahoo! и компанией Canonical, коммерчески поддерживающей Убунту, в следующем релизе Убунту (10.4, Lucid Lynx) поисковая машина по умолчанию в браузере Firefox будет сменена с Google на Yahoo!

Раздел Поисковики, сообщение: http://blog.promosite.ru/comments.php?1175
камментов нет, комментировать

12:15 - Saturday, 30th January 2010

Cognitive продала Яндексу синтаксический анализатор

Cognitive продала Яндексу синтаксический анализатор

Интересно, какая основная цель - определение авторства (первоисточника) или борьбе с генеренными текстами (марков, синонимизаторы). Или извлечение фактов из текста?

Но я не очень верю, что получится что-то хорошее. Умных технологий можно придумать много, но на объемах текстов рунета они "не шмогут".

Значит, упрощения рулят. Надо про это почитать ))

Компания Cognitive Technologies объявляет о продаже (предоставление права использования за вознаграждение) компании «Яндекс» Программного Комплекса, включающего в себя возможности синтаксического анализа текста.

Синтаксический анализатор позволяет определить, какими синтаксическими отношениями связаны слова предложения. Это может звучать неожиданно, но для понимания текста эта информация гораздо важнее, чем значение отдельных слов. Потеря знаков препинания в классической фразе «казнить нельзя помиловать» приводит именно к потере однозначности синтаксических связей.

Использование синтаксического анализатора для больших корпусов текста позволяет определять и изучать статистические закономерности языка (встречаемость слов и конструкций). Такого рода закономерности могут быть использованы, в частности, при разрешении неоднозначностей (например «ключ упал на пол» и «в камнях забил ключ»), возникающих во время синтаксического разбора, а также при построении статистических моделей языка для распознавания слитной речи. Стоит отметить, что возможность разрешения неоднозначностей является одной из важнейших характеристик, отличающих лингвистические технологии разработанные Cognitive Technologies.

Применение синтаксического анализатора также позволяет проводить сравнение текстов на основе встречаемости в них различных слов и конструкций и разрабатывать методы понимания текстов, извлечения данных из текстов, а также другие приложения.

На основе данного программного комплекса компанией Cognitive Technologies создан ряд интеллектуальных программных продуктов, например системы определения авторства и стиля документа.

via

Раздел Разное, сообщение: http://blog.promosite.ru/comments.php?1174
камментов нет, комментировать

16:01 - Monday, 25th January 2010

Какие нынче есть автопродвигалки?

Автоматические. Хочется их типа независимо протестировать.

Что я знаю:

1. Сеопульт

2. реинкарнация Реактора - rookii

3. Вебэффектор

4. на Мегаиндексе вроде автопродвигалка есть, письма шлют про нее

5. Маремото не считаем по двум причинам (одна из них - что он не со всеми запросами работает)

Еще какие-нибудь есть?

Раздел Разное, сообщение: http://blog.promosite.ru/comments.php?1172
камментов нет, комментировать

- стр. 1, в прошлое>>