Мобильная википедия DIY

Разработан сервис — русская википедия для мобильников и PDA. Трафик не более нескольких килобайт за каждую страницу. Поиск прямо через адресную строку, например wiki3g.ru/поиск

Мотивация

??нтернеты вообще и мобильные интернеты в частности за МКАДом не отличаются дешевизной и скоростью. При этом полезная привычка заглядывать по возникающим вопросам в википедию отнимает много времени и денег.

Возникла цель — разработать интерфейс к данным русскоязычной википедии, позволяющий уловить суть, легковесный, доступный с мобильных устройств.

Тернистый путь

Существовала серьёзная надежда, что для улавливания сути будет достаточно так называемых абстрактов. Поэтому первым делом я скачал и отпарсил в базу файл abstracts. Несколько пробных попыток поиска показали, что информация там генерируется автоматически и в общем случае непригодна даже для поверхностного понимания предмета.

Тогда был разобран полный дамп статей. Алгоритм был следующий: bzread — xml_parse — preg_replace — sqlite. Плюс используемого подхода в том, что я получил оффлайновую энциклопедию с доступом с командной строки. Были созданы индексы, затем база была закачена на сервер.

Результаты тестирования производительности не вдохновляли. Поиск занимал до 40 секунд. Поэтому было сделано сразу два ходя конём: данные перенесены в мускуль и заодно перекодированы в однобайтовую кодировку. Это увеличило скорость на порядки. Конвертация кодировок на ходу была платой за меньший объём базы и скорость поиска. Также при этом могли потеряться греческие буквы etc, но это не принципиально для схватывания сути.

Код был написан на коленке. Отсутствие поискового поля объясняется тем, что не стоит плодить сущности без необходимости — адресной строки вполне достаточно. С выбором домена тоже мозг сильно не парил — зарегил первое, что было достаточно коротким и подходило по смыслу.

Результат

Теперь можно быстро и экономно извлекать информацию из русского раздела википедии.

Выявленные недостатки

Не работает редирект. Нет интервики-ссылок. В комментариях надеюсь увидеть ещё замечания и предложения. Много обещать не буду, но постараюсь развивать проект.