Ловля blogs

Новости, к которым мы привыкли, распространяются громадными организациями вроде CNN или Рейтер. До прихода Интернета мы узнавали новости из газет или телепередач, а все, что сообщали соседи или знакомые, называлось слухами. Интернет нивелировал разницу между гигантской корпорацией и простым соседом Васей Пупкиным: теперь каждый может создать web-сайт и разместить там любые новости. Эта задача даже не требует знания языка HTML, потому что появились специальные программы, позволяющие редактировать новые сообщения на сайте почти так же просто, как документ в редакторе MS Word. Сайты, создаваемые с помощью этих программ, называются web-логами (Web logs), или просто блогами (blogs), и представляют собой размещенные в Интернете дневники, куда заносятся наблюдения, мысли, новости - все, что придет в голову хозяину сайта. Естественно, уровень блогов может быть самым разным. Таким, как в романах Марининой: "Я встал с постели, съел две сосиски с кетчупом, запил все это чаем и пошел на работу". Или таким, как блог Гэри Прайса (Gary Price), где можно найти последние новости о поисковых системах, ссылки на только что открытые источники информации, а также краткий пересказ прочитанных им статей (resourceshelf.freepint.com). В сущности, блоги - это обычные web-сайты, но очень часто обновляемые. Поэтому стандартные поисковые системы, обходящие Интернет примерно за месяц, не приспособлены для работы с ними. Google, правда, имеет список из более чем трех миллионов часто обновляемых сайтов. Эти сайты индексируются чуть ли не каждые сутки, но при "ловле blogs" нужна еще большая поспешность! Поэтому и возникают специально созданные для этого системы. На сегодняшний день лучше всех с задачей индексирования блогов справляется система Day Pop (www.daypop.com). Как и многие уже знакомые нам системы, DayPop может искать новости, но ее "конек", безусловно, - блоги, поиск которых можно задать с помощью раскрывающегося списка (все его пункты показаны на рисунке). Выбрав пункт Weblogs, введя запрос kazaa в поле поиска и нажав кнопку Search, получим список примерно из ста блогов с упоминанием названия этой сети файлового обмена . Как видим, DayPop стремится во всем походить на Google. Сначала идет название блога, затем - отрывок текста, где упоминается заданное слово, далее адрес, размер страницы, дата включения в индекс (например, Cashed 06-07, то есть 7 июня текущего года) и, наконец, ссылка Citations, выбрав которую, получим список страниц, ссылающихся на данную. Ссылка Cashed в результатах поиска имеет тот же смысл, что и в системе Google. Выбрав ее, можно увидеть блог таким, каким он был в момент последней встречи с роботом DayPop. Такая возможность еще ценнее и нужнее в DayPop, чем в Google, потому что блоги, в отличие от обычных web-страниц, могут меняться каждую минуту, и нужные сведения способны к моменту просмотра исчезнуть или перейти в архив. Именно это произошло с блогом Techdirt, показанным вторым . Отправившись по адресу www.techdirt.com, мы уже не увидим сообщения о сети KaZaA. Но если выбрать ссылку Cashed 06-07, небольшая заметка с выделенным словом KaZaA появится в окне браузера. Этот блог, как и любой другой, состоит из отдельных сообщений, имеющих заголовок и дату. В сообщениях часто есть ссылки на статью или новость, породившую блог. В нашем случае это отчет о том, что некоторые пользователи KaZaA, сами того не понимая, отдают в общее пользование все файлы на диске. Подчеркнутые слова their entire hard-drive open for sharing (весь жесткий диск открыт для загрузки) не только выражают суть заметки, но и ведут к оригинальному отчету в формате PDF, который стоит прочитать всем увлеченным сетью KaZaA. Любопытно, что этот блог, судя по словам "from the..." в заголовках сообщений, поддерживают несколько людей. Нам осталось рассказать о языке запросов DayPop. В сущности, поисковой системе, индексирующей всего несколько тысяч сайтов (сейчас их, судя по цифрам на главной странице системы, порядка семи с половиной тысяч), мощный язык запросов и не нужен. Но DayPop обладает вполне приличным языком запросов, которому могла бы позавидовать и гораздо более мощная система. DayPop ищет все введенные слова, как бы расставляя между ними логические операторы AND. Система DayPop способна искать фразы - для этого слова заключаются в кавычки: "KaZaA networK" В этом запросе некоторые строчные буквы намеренно заменены прописными, чтобы показать, что DayPop безразличен к их регистру. Еще стоит сказать о том, что DayPop по умолчанию игнорирует служебные слова, например, артикли. Чтобы включить эти слова в поиск, поставьте перед ними знак "плюс", например: +the DayPop поддерживает еще префикс 1 ink. По следующему запросу будут найдены все блоги, где есть ссылки на сайт www.daypop.com: link:www.daypop.com И наконец, самое важное. Система DayPop способна искать сообщения, сделанные три часа, 12 часов, сутки, двое, неделю или две недели назад. Эта возможность реализована только в режиме расширенного поиска, который можно задать, перейдя по ссылке Advanced Search .