Нулевые файлы в краулере

[navolotsky]

Bug report

Описание ошибки

По результатам анализа всей базы:
Три txt-файла из 30 тыс. оказались нулевой длины. Проверено вручную, текст выдрался нормально. Кроме того, оказалось, что некоторые pdf файлы не были загружены вообще.

Итого:

добавить в web_crawler.load_resolution_texts() проверки:

скачался ли pdf
если нет, доступен ли сайт ksrf
если скачался, то выдрался ли из него текст в txt

[navolotsky]

Александром Гоготовым был обнаружен усеченный текстовый файл (текст из .pdf оборвался на полуслове) с ID КСРФ/1177-О/2018. Будет проведена проверка базы на количество подобных документов.

[Sasha-BabyBird]

Проверил базу документов, больше усечённых файлов не обнаружено.
Подробнее тут