anggva_ubervald (anggva_ubervald) wrote,
anggva_ubervald
anggva_ubervald

Category:

Про перенос списка книг с LiveLib на Goodreads.

На прошлой неделе я наконец-то закончила экспорт списка книг, которые я хочу прочитать из LiveLib в Goodreads. Я давно планировала завести аккаунт на Goodreads, но никак руки не доходили. В январе я в очередной раз увидела у кого-то на фейсбуке ссылку, и решила, что пора.
Причины, по которым я решила сосредоточиться на Goodreads, заслуживают отдельного поста (я хотела все включить в этот, но поняла, что слишком уж отхожу от темы). Одна из причин - отсутствие нормальной функции импорта/экспорта, которая на Goodreads есть и достаточно неплохо работает. В моем списке “Читаю/хочу прочитать” на LiveLib сохранено почти три сотни книг, поэтому ручной перенос был сразу исключен, благо с технической точки зрения автоматизировать процесс было довольно просто.

На LiveLib есть функция показать список в виде, готовом для печати, которая генерирует страничку со всеми книгами сразу, без необходимости переключаться между страницами. Я сохранила эту страницу и написала небольшой скрипт на Python, который выдирал id книги из разметки и составлял массив url для каждой книги в моем списке. Дальше мой скрипт делал GET реквест к каждому url из списка, и парсил полученный html на предмет isbn. В идеале я должна была получить файлик с тремя сотнями isbn, разделенными запятыми, которые можно было бы скормить Goodreads. В реале же я не учла того, что у LiveLib есть защита от DDoS атак. После первых 30 isbn я вполне справедливо получила страницу с капчой и поняла, что нужно отправлять свои запросы пореже. Само собой, мне пришлось искать способ делать мои запросы с другого ip адреса. Гуглопоиск показал, что Comcast очень редко меняет людям их внешние ip-адреса, а разбираться с vpn мне было лениво. Поэтому я пошла путем наименьшего сопротивления: включила hot spot на телефоне и начала искать оптимальный временной интервал для отправления запросов. Экспериментальным путем выяснилось, что при средней частоте запросов в 40 секунд, LiveLib перестает считать меня злодеем. В итоге я получила свои isbn и благополучно импортировала книги на Goodreads (кому интересно, мой профиль находится здесь).

Tags: книги, технологии
Subscribe

Posts from This Journal “книги” Tag

  • Умение задавать правильные вопросы

    Смотрела вчера прямой эфир, где Дэн Браун (тот, который написал "Код Да Винчи" и прочее), говорил про то, как писать триллеры и отвечал на…

  • (no subject)

    Перечитываю "Янки из Коннектикута при дворе короля Артура" и у меня двойственные чувства по поводу книги. С одной стороны, Марк Твен пишет…

  • Итоги мая и начала июня.

    Я вроде начала в мае бодро писать посты в ЖЖ, но потом внезапно наступили поездки и я писать перестала. Но расскажу немножко про прошедшие полтора…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 4 comments