BAESearch: как мы запускали робота.

Ни одна серьезная работа не обходится без накладок: иногда неприятных и даже опасных, иногда комичных - как в нашей истории с отладкой поискового робота. Идея собственного узкотематического поисковика по сайтам рекламной тематики вынашивалась давно, а пару месяцев назад, после переезда на новый сервер, начала воплощаться в жизнь. При первых пробных запусках робот успешно проиндексировал наш собственный сайт, показав неплохую производительность, и решено было разрешить ему выбраться во внешний мир. Где его и оставили без присмотра. На целых четыре часа.

За это время наш "генно-модифицированный" паучок (за основу была взята система mnoGoSearch) успел натаскать из Всемирной Паутины порядка полутора миллионов страниц всякого хлама, заодно попытавшись проиндексировать Яндекс, Гугл, ну и все, что под руку попадется. После чего отказался индексировать собственный сайт на том основании, что наш основной веб-сервер, пораженный бурной активностью "соседа", на всякий случай его забанил.

Тем не менее, вышеозначенный герой приведен в чувство и наставлен на путь истинный, обучен индексировать только правильные сайты, и по первому требованию выдает кучу интересной и полезной информации обо всем, что связано с рекламой. Итак, милости просим: http://search.bigadvenc.ru - первый тематический рекламный поисковик. Без ссылок на "сайты для взрослых", рефераты, дорвейщиков и поисковых спамеров.

Уже работает.