Парсер Python.org

Project stack

• Python 3.10
• Scrapy
• GitHub Actions

Описание

Данный код представляет собой асинхронный парсер документации Python при помощи библиотеки scrapy. Он предоставляет возможность получить информацию о PEP (Python Enhancement Proposal) и их статусах.

Инструкция по запуску:

Клонируйте репозиторий:

git clone git@github.com:ThatCoderMan/scrapy_parser_pep.git

Установите и активируйте виртуальное окружение:

• для MacOS:

  python3 -m venv venv
  

• для Windows:

  python -m venv venv
  source venv/bin/activate
  source venv/Scripts/activate
  

Установите зависимости из файла requirements.txt:

pip install -r requirements.txt

Использование:

Для запуска парсера необходимо перейти в папку pep_parse:

cd pep_parse

И выполнить команду:

scrapy crawl pep 

Результаты будут сохранены в папке results

• в файле pep_.csv находится информация по всем PEP (их номер, название и статус)
• в файле status_summary_.csv находится информация о колличестве статусов PEP

Автор проекта:

Artemii Berezin