web scraping
- извлечение (чтение) данных с веб-сайтов; сленг. веб-скрейпинг
#
программная технология считывания информации веб-сайтов для сохранения на локальном компьютере в виде файла или базы данных (в формате электронной таблицы), для её анализа – например, для онлайнового сравнения цен, мониторинга метеоданных, обнаружения изменений веб-контента, интеграции данных, исследований и др. Сбор веб-данных осуществляется автоматически, при помощи ботов (bot) или поисковых агентов (crawler, web crawler) с прямым доступом в WWW. Эта технология тесно связана с веб-индексацией (web indexing), принятой в большинстве поисковых систем. В последние годы наблюдается резкий рост трафика, относящегося к этой технологии (в 2013 году это была 23-процентная доля всего Интернет-трафика). Синонимы – screen scraping, web harvesting, web data extraction
Связные термины
data scraping, harvesting, HTTP, screen scraping, Web browser
