Знайомимось із пошуковими системами

Для задоволення інформаційних потреб користувачів зазвичай використовують інформаційно-пошукові системи, у функції яких входить автоматичне сканування вузлів мережі, що супроводжується індексуванням (створенням баз даних) і класифікацією (побудовою каталогів за різними критеріями, наприклад, за тематикою або типом інформаційного об'єкта).

Всі пошукові системи (пошукові служби, пошукові сервери) умовно поділяють на пошукові машини (роботи, покажчики) і пошукові каталоги. Розуміння різниці між ними допомагає при виборі інструменту пошуку.

        Пошукові машини — це системи, що складаються з 2 частин. Одна з них (з нею працює користувач) здійснює пошук в своєму довіднику web-сторінок (він називається “індексом”). Інша частина - програма, яка постійно зв′язується з Web-серверами по всьому світу, завантажує з них всі доступні документи, аналізує вміст і включає документи в індекс. Ця частина системи називається “краулером” (crawler - “повзун”), або «спайдером». (spider - “павук”). Кожна пошукова система має свого власного “спайдера” (павука) з своїми власними “звичками”.

Пошукові тематичні каталоги — це такі місця, де користувачі можуть знаходити потрібні їм сайти, переглядаючи ієрархічні класифікитори . Каталоги організовані за тим самим принципом, що й тематичні каталоги бібліотек. На основній сторінці пошукового каталога розташовано скорочений список великих тематичних категорій, наприклад таких, як Освіта, Наука, Бізнес, Мистецтво тощо. Кожний запис у списку категорій — це гіперпосилання. Натиснення на ньому відкриває наступну сторінку каталога, на якому ця тема представлена докладніше. Елементами найнижчого рівня є посилання на окремі веб-сторінки і сервери разом із стислим описом їх змісту, серед яких можна вибрати той ресурс, який краще придатний для розв’язання конкретної інформаційно-пошукової задачі.

Однією з суттєвих відмінностей між каталогами та пошуковими серверами є те, що пошукові машини приймають майже будь-які сайти, без вимог до якості, а каталоги, як правило, висувають вимоги до якості та змісту сайту.

Оскільки в найбільш великих і відомих каталогах сайти перевіряються людьми, то низькоякісні сайти не потрапляють до бази даних. 

Без таких пошукових систем, практично неможливо виконати ні один повноцінний запит (якщо тільки в запиті не є присутньою URL-адреса шуканого веб-сервера). Найпопулярнішими з них є:

http://www.google.com.ua/ - міжнародний пошуковий сервер

http://www.uazone.net/sesna/ та http://meta-ukraine.com/ - українські пошукові сервери;

http://www.rambler.ru/ та http://www.yandex.ru/ - російські пошукові сервери;

http://www.yahoo.com/ - англомовний пошуковий сервер.

Пошукова система Google  - посідає особливе місце лідера в рейтингу пошукових засобів Інтернету, і за останні роки вона  «підкорила» не тільки зарубіжні сегменти, а й українській сегмент Інтернету.  Google займає більше 70% світового ринку, а отже, сім з десяти користувачів мережі, звертаються до його сторінки в пошуках інформації в Інтернеті. Наразі Google щодня отримує близько 50 мільйонів пошукових запитів та індексує більше 8 мільярдів веб-сторінок. Google може знаходити інформацію 105 мовами. Google на кінець серпня 2004 року складалась з 132 тис. машин, розташованих в різних точках планети.  Всі люблять Google, тому що він швидкий і простий у використанні і має величезну базу даних. Але найголовніший аргумент - це те, що він дійсно працює, і дозволяє легко знайти все потрібне..

Розмір бази даних Google налічує близько 20 млрд. проиндексированных сторінок. Інформацію в Google можна шукати на різних мовами. Ви також можете створити свій власний мовний інтерфейс. Наприклад, якщо ви шукайте німецький сайт, то можете вводити запит німецкою мовою, і всі допоміжні написи інтерфейсу будуть німецькою мовою. Дуже зручною функцією є кеш (“cache”), завдяки якій користувач може передивитися проіндексовану сторінку навіть якщо вона видалена або сервер, на якому вона  розташована недоступний.

Крім пошукової системи, сайт google.com надає багато інших безкоштовних послуг, зокрема популярну поштову службу GMail. Популярним є також сервіси Google Maps, Google Docs, перекладач та ін.

Українських пошукових систем, які дозволяли б здійснювати пошук тільки по українських інформаційних ресурсів, ще не так багато, але ж серед них виділяється найстаріша пошукова система МЕТА (http://meta.ua), яка була створена на базі Харківського державного політехніческого університету (нині НТУ "ХПІ") в рамках міжнародної програми "Українсько-Російське інформаційне кільце". Ведуться роботи зі створення спеціалізованого тематичного каталогу українських ресурсів, планується організація ряду інформаційних каналів і інших сервісних служб, які будуть сприяти швидкому й ефективному пошуку в Інтернет-просторі України.

Нижче надано перелік пошукових засобів України.

Мета http://meta.ua/	Всеукраїнська пошукова система МЕТА. Одна з найстарших систем Українських ресурсів Потужна повнотекстова пошукова система, має оригінальну базу даних. Підтримує розвинену мову запитів, пошук за окремими полями документів. Виконує пошук з урахуванням морфології української, російської та англійської мов. Посилання супроводжуються анотаціями. Зручний та швидкий перегляд результатів.
Uaport http://uaport.net/	Портал має потужні пошукові можливості у текстах документів в мережі Інтернет, архівах української преси, українських новинах, товарах та послугах. Пошук виконується не тільки українською, а й російською, англійською, французькою та іншими мовами.
Uaportal http://www.uaportal.com/	Великий багаторівневий каталог українських ресурсів (тематична та регіональна класифікація), швидкий пошук за ключовими словами.
Bigmir http://www.bigmir.net/	Український інформаційний портал, каталог українських сайтів, пошук, новини, спорт, суспільство, пошта, радіо. Пошук виконується через Google або через Яндекс.
UaList http://www.ualist.com/	Пошукова система і тематичний каталог українських сайтів.
Sesna http://www.uazone.net/sesna/	Українська пошукова система та каталог є однією з найсерйозніших розробок у сфері рубрикації української та україномовної частини Інтернету. Пошук виконується як за ключовими словами, так і за темами; в межах регіону або країни. Сервер доступний на українській і англійській мовах.
Ping http://www.topping.com.ua/	Каталог українських ресурсів з рейтингом сайтів та пошуковою системою. Має великий арсенал даних. Дозволяє шукати за фразами. Для зручності користувачів кожне знайдене слово із запиту виділяється червоним кольором.
Холмс http://www.holms.ukrnet.net/	Інформаційно-пошукова система та каталог.
КУСТ http://www.kust.net.ua/	Пошук в українських ресурсах, різноманітні сервіси, послуги, служби. Статистика сайтів та чемпіонат сайтів.
Старт Украина http://www.online.ua/	Інформаційно-розважальні та ділові ресурси. Фірми, організації, новини, об'яви, домени. Пошук у каталозі.
AtlasUa http://www.atlasua.net/	Функціональний каталог українських сайтів. Має можливість пошуку товарів, послуг, новин, повнотекстових документів.
QS http://qs.kiev.ua/	Каталог сайтів та пошукова система. Посилання супроводжуються анотаціями. Також є прайс-листи, оголошення, курси валют, погода та ін.
Silver http://www.silver.kiev.ua/	Україна в Інтернеті. Тематичний каталог ресурсів. Пошук у рубриках.
360.co http://www.360.com.ua/	Глобальний мета-пошук інформації на пошукових серверах усього світу. Можливість пошуку інформації на музичних сайтах України та Росії.
Брама http://www.brama.com/	Каталог інформаційних ресурсів і пошукова система, переважно – про українське в зарубіжжі (англійською мовою), створений українською діаспорою .
InfoUkes http://www.infoukes.com/	Каталог украинських ресурсів інтернет в Канаді  (английською мовою)

Російські пошукові системи. Завдання пошуку інформації на серверах в межах окремих країн виконують локальні машини, спеціально адаптовані до особливостей конкретних мов. Подібні пошукові засоби існують і в Росії. Всі вони спеціально призначені для роботи з російськомовними документами і мають потужний морфологічний апарат. До лідируючої групи російських пошукових засобів в даний час відносяться Яндекс, Rambler і Апорт. Всі інші російські каталоги ресурсів Інтернету демонструють менш якісний рівень роботи. До числа інших пошукових засобів-довідників, в яких можна виявити цікаві відомості, відносяться List.ru (list.mail.ru), Weblist (Weblist.ru), Равлик (www.ulitka.ru), Іван Сусанін (www.susanin.net).

Американські. пошукові засоби з’явилися в мережі раніше за інших.. До кінця 90-х рр. в мережі Інтернет налічувалося близько двох тисяч різноманітних пошукових серверів, що відрізнялися один від одного типом, спеціалізацією, областю охоплення (кількістю індексованих сторінок WWW) і популярністю. Більша частина цих серверів має порівняно вузьку спеціалізацію - наприклад, пошук музики в певному форматі або пошук інформації на серверах з науковими роботами в області молекулярної хімії. Існує кілька популярних універсальних пошукових систем, призначених для пошуку за ключовими словами на якомога більшому числі сторінок системи WWW. Найбільш відомими з таких систем є сервери: Alta Vista, InfoSeek, HotBot, Lycos, Excite. Принцип дії більшості таких серверів вкрай простий. Для пошуку інформації використовується індекс, створений спеціальною програмою-роботом - "павуком". Програма -"павук" періодично обходить відомі їй адреси мережі, зчитує з них сторінки WWW, що зберігаються там, ін-дексує всі слова з усіх сторінок (разом з відповідними їм адресами URL) і розміщує їх в загальний індекс. Для зберігання цього індексу потрібен величезний обсяг пам'яті, а для його опрацювання - значна обчислювальна потужність.

Ще одна категорія пошукових серверів - це так звані "мета-пошукові" сервери. Найбільш відомим з них є WebCrawler. Сервери такого типу передають отриманийний від користувача запит на пошук інформації декільком іншим пошуковим серверам, тим або іншим чином об'єднують результати пошуку на кожному з серверів і повертають результат користувачеві. Застосування подібних серверів має як переваги, так і недоліки. Найбільш цінна перевага полягає в економії часу на однотипних запитах до різних серверів. У той же час відмінності в синтаксисі запитів на пошук для різних пошукових механізмів змушують користувачів метасерверів дотримуватися самої загальної форми запиту, без можливості застосування найбільш потужних засобів пошуку кожного з серверів. Незважаючи на це, метасервери є зручним засобом для оперативної оцінки того, наскільки широко представлена в системі WWW інформація, якою цікавиться користувач.

Спеціалізовані пошукові системи (STN International). Крім універсальних пошукових засобів, в Інтернеті є спеціалізовані пошукові системи по окремим темам або галузям, наприклад, з науково-технічної тематики. Так, з 1996 року Міжнародна мережа STN International (Scientific and Technical Information Network) у мережі Інтернет відкрила спеціальний WWW-сервер баз даних - STN-Easy для онлайнового доступу та пошуку в найбільших базах даних научково-технічної інформації. Основна його мета - надати можливість користувачам Інтернет працювати з базами даних STN, які були визнані як найбільш універсальними і найбільш часто запитуваними в світі базами даних.