Вопросы с тегом 'mechanize'

Библиотека для автоматического просмотра веб-страниц, первоначально разработанная для Perl, теперь реализована и для Python и Ruby.
29

Невозможно импортировать модуль, который определенно установлен

После установки Mechanize я не могу его импортировать. Я попытался установить из pip, easy_install и через python setup.py install из этого репозитория: https://github.com/abielr/mechanize. Все это безрезультатно, так как каждый раз, когда я вхожу ...
12 янв. '13 в 17:07
8

Что лучше всего в Python: urllib2, PycURL или механизировать?

Хорошо, поэтому мне нужно загрузить некоторые веб-страницы с помощью Python и быстро изучить мои варианты. Входит в состав Python: urllib - мне кажется, что вместо этого я должен использовать urllib2. urllib не поддерживает файлы cookie, только HT...
05 мар. '10 в 10:02
2

добавление каталога в sys.path/PYTHONPATH

Я пытаюсь импортировать модуль из определенного каталога. Проблема заключается в том, что если я использую sys.path.append(mod_directory) для добавления пути, а затем для открытия интерпретатора python, каталог mod_directory добавляется в конец спи...
19 апр. '13 в 22:27
3

Как избежать ошибки HTTP 429 (слишком много запросов) python

Я пытаюсь использовать Python для входа на сайт и сбора информации с нескольких веб-страниц, и я получаю следующую ошибку: Traceback (most recent call last): File "extract_test.py", line 43, in <module> response=br.open(v) File "/usr/...
01 апр. '14 в 12:35
8

Скребок экрана: обойти "Ошибка HTTP 403: запрос, запрещенный robots.txt"

Есть ли способ обойти следующее? httperror_seek_wrapper: HTTP Error 403: request disallowed by robots.txt Единственный способ связаться с владельцем сайта (barnesandnoble.com). Я создаю сайт, который принесет им больше продаж, а не уверен, почему ...
17 мая '10 в 0:35
1

Как анализировать таблицу HTML с помощью Nokogiri?

Я установил Ruby и Mechanize. Мне кажется, что в Нокигири возможно сделать то, что я хочу, но я не знаю, как это сделать. Как насчет этого table? Это всего лишь часть HTML-сайта форума vBulletin. Я попытался сохранить структуру HTML, но удалить нек...
14 янв. '10 в 3:50
2

Python Mechanize выберите форму без имени

Я пытаюсь механизировать выбор формы со страницы, но соответствующая форма не имеет атрибута "name" в html. Что мне делать? когда я пытаюсь использовать br.select_form(name = "") Я получаю ошибки, когда форма не объявляется с этим именем, а функци...
06 апр. '10 в 4:01
4

Python mechanize - две кнопки типа 'submit'

У меня есть механизатор script, написанный на питоне, который заполняет веб-форму и должен нажать кнопку "создать". Но есть проблема, форма имеет две кнопки. Один для "добавить прикрепленный файл" и один для "create". Оба имеют тип "submit", а кноп...
09 апр. '09 в 16:11
5

Механизм и Javascript

Я хочу использовать Mechanize для имитации просмотра на веб-странице с активным JavaScript, включая DOM Events и AJAX, и до сих пор я не нашел способа сделать это. Я посмотрел на некоторые клиентские браузеры Python, которые поддерживают JavaScript,...
26 апр. '11 в 16:32
3

Как использовать Механизм для обработки JavaScript?

Я подключаюсь к веб-сайту, входя в систему. Веб-сайт перенаправляет меня на новые страницы и Механизирует сделки со всеми файлами cookie и перенаправления, но я не могу получить последнюю страницу. Я использовал Firebug и снова сделал ту же работу, ...
29 апр. '09 в 12:51
4

Как настроить пользовательский агент для Mechanize in Rails

Я знаю, что у вас есть набор предопределенных псевдонимов, которые вы можете использовать, например, установив agent.user_agent_alias = 'Linux Mozilla', но что, если я хочу установить свой собственный агент пользователя, поскольку я пишу веб-искателя...
15 февр. '11 в 11:28
9

Существует ли PHP-эквивалент Perl WWW:: Mechanize?

Я ищу библиотеку, функциональность которой похожа на Perl WWW:: Mechanize, но для PHP. В принципе, это должно позволить мне отправлять HTTP GET и POST-запросы с простым синтаксисом, а затем анализировать полученную страницу и возвращать в простом фор...
13 окт. '08 в 21:12
2

Почему при доступе к сайту SSL с механизмом "Механизация на Windows" происходит сбой, но на Mac работает?

Это код, который я использую для подключения к сайту SSL. require 'mechanize' a = Mechanize.new page = a.get 'https://site.com' Я использую использование зависимостей Ruby 1.9.3 и Mechanize 2.1pre1+. На Mac приведенный выше код работает и возвраща...
19 дек. '11 в 21:44
2

Ошибка - ошибка urlopen [Errno 8] _ssl.c: 504: EOF произошел с нарушением протокола, нужна помощь

Моя цель - извлечь html из всех ссылок на первой странице после входа в поисковый запрос google. Я работаю за прокси-сервером, поэтому это мой подход. 1.I сначала использовал механизацию, чтобы ввести поисковый запрос в форме, ive правильно установи...
02 авг. '12 в 7:26
3

Ruby Mechanize: пользовательские агенты?

Сколько пользовательских агентов существует в Mechanize? Есть ли удобный список всех параметров агента пользователя в любом месте?
31 мая '10 в 19:46