Скрытый Интернет

Познакомился я там с несколькими профессорами. Один из них все время ходил за мной по пятам и разъяснял, что прародина цыган была в Крконошах, а другой доказывал, что внутри земного шара имеется другой шар, значительно больше наружного. В сумасшедшем доме каждый мог говорить все, что взбредет ему в голову, словно в парламенте.

Я. Гашек. Похождения бравого солдата Швейка

Как не раз уже было сказано, никто не знает точных размеров Интернета - просто потому, что их у него нет. Каждый день появляются миллионы новых страниц, и когда автоматическим индексам становятся известны их адреса, они включаются в соответствующие базы данных, то есть индексируются. Поисковые системы узнают эти адреса либо от хозяев страниц, либо самостоятельно - просматривая все известные им документы и проверяя все встреченные ссылки. Это значит, что обычные поисковые системы ограничены только миром HTML и не могут проникнуть внутрь других, иначе устроенных баз данных - таких, например, как архив новостей на сайте CNN, о котором говорилось в разделе "Охота за новостями" . Все новости CNN скрыты за полем Search и недоступны индексам типа Google - так же, как одним индексам недоступно содержимое других, "чужих", индексов (например, Google не может проиндексировать Northern Light, и наоборот). Между тем, в Интернете огромное количество специализированных баз данных, словарей, энциклопедий и архивов новостей. Считается, что их суммарный объем в сотни раз превышает объем "видимого" Интернета - и, следовательно, необходимы какие-то специальные поисковые системы, которые помогут их найти и использовать. Одна из таких систем нам уже известна - это SurfWax. Подавляющая часть баз данных, доступных в SurfWax, как раз и ведет к скрытому Интернету. Но SurfWax - платная система, и максимальное число баз данных (1200), доступных подписчикам, очень невелико по сравнению с десятками тысяч специализированных поисковых систем, позволяющих заглянуть внутрь "видимого" Интернета и открыть там другой Интернет, "гораздо больший наружного". Чтобы отыскать нужные базы данных, лучше всего воспользоваться специальными тематическими каталогами, где есть адреса и описания сайтов, через которые можно увидеть "скрытый" Интернет. Название одного из лучших таких каталогов CompletePlanet (вся планета) как раз и подчеркивает ограниченность "видимого" Интернета - жалких островков знаний, затерянных в океане информации. CompletePlanet (www.completeplanet.com) представляет собой тематический каталог, в котором более 100 000 специализированных поисковых систем помещены редакторами в тот или иной раздел . Но прежде чем путешествовать по ним, лучше поискать нужную базу данных, введя ключевые слова в поле Search Databases for (Искать базы данных по...). Попробуем найти с помощью CompletePlanet базу данных по научным отчетам и диссертациям в области компьютерных вычислений (computer science). Ученые, хотя это и может показаться странным, склонны публиковать свои работы, полагая, что выгода от возможности знакомиться с работами коллег перевешивает опасность от того, что кто-то, прочитав их статью или отчет, сможет использовать полученные там результаты. Чтобы найти собрание научных отчетов, будем искать в описаниях баз данных фразу "computer science" и слово "reports" (отчеты). На языке запросов Complete-Planet это выглядит так: "computer science" AND reports Нажав кнопку Search, увидим первые результаты поиска, наглядно демонстрирующем мощь CompletePlanet: найдено более трехсот специализированных поисковых систем по такой, казалось бы, узкой теме, как компьютерные вычисления. Чтобы лучше представлять себе скрытый Интернет, посмотрим, как выглядит одна из поисковых систем, чье краткое описание показано в нижней части . Выбрав мышью ссылку Networked Computer Science Technical Reports Library, увидим скромное окошко на ничем не примечательной web-страничке . Найти нужный отчет можно, если ввести в поле поиска ключевое слово и нажать кнопку Search. Введя запрос compression, получим результаты поиска, показанные в двух колонках . В левой колонке перечислены университеты, где отыскались научные отчеты, в правой - заголовки и краткие аннотации отчетов. На картинке видны краткие сведения о диссертации, подготовленной в университете Брауна (Brown Univ) в 1993 году. Важно понять, что страницы, на самом деле не существует. Она сгенерирована в ответ на мой запрос compression, и никакая поисковая система не сможет ее проиндексировать. Вот это и есть "скрытый Интернет". Быть может, самое важное, с чем мы познакомились в этом разделе, - это новая, двухступенчатая схема поиска. Вместо того, чтобы искать слово "compression" в универсальной базе данных и оказаться погребенными под сотнями тысяч ссылок, мы нашли сначала специализированную базу данных и уже в ней стали искать слово "compression", получив около сотни результатов. Но эти результаты почти все по теме - в отчетах рассказывается о методах сжатия данных: изображений, текстов, музыкальных файлов.