Простой парсинг сайта из консоли chrome

01.03.2015

В работе в очередной раз понадобилось решить следующую задачу: есть некий сайт, на котором информация, которая нам нужна для начального заполнения другого сайта, т.е. нужно эту информацию получить в удобном виде для сохранения в базу данных.

На этом сайте Я обратил внимание на следующие моменты: вся информация, которая нам нужна, размещена на одной странице, на сайте подключена jQuery, все ссылки категорий верхнего уровня имеют класс catName. Я решил что не стоит писать парсер на php с регулярными выражениями, а можно воспользоваться операциями с DOM от jQuery, которая уже и так есть на сайте.

Набросал десяток строк на javascript:

код на javascript

- я хочу вывести все категории и их подкатегории в виде php (объявленного массива на php), который можно будет потом вставить в любом удобном месте проекта, сохранить данные в БД и убрать из кода.

Немного о парсинге vk

13.02.2011
1)Определение пользователей, кому понравилось что-либо (конкретное видео, картинка, страница, фото, запись, аудиозапись...)

2)Парсинг "бесконечных" страниц.

Обновлен скрипт для анализа позиций сайта в google

17.05.2010

Скрипт для парсинга поисковой выдачи гугла немножко улучшен и внесены изменения, связаные с новым дизайном гугла(старая версия работать не будет). Для хостингов, у которых отключен file_get_contents() между доменами, добавлено решение через curl.