Javascript — Scrapy + Selenium смешанный код делает ошибку

Я собирался почистить веб-страницу, которая загружена JavaScript и PHP.
Поэтому я смешал код Scrapy с Selenium. Но по причине, которую я не знаю,
код продолжает делать ошибки.

Страница, которую я хочу почистить, http://ntry.com/#/scores/named_ladder/main.php,
который может быть достигнут, нажав на кнопку, чей текстовый элемент U «사다리», из
ntry.com. Я использовал Firefox Selenium Plugin и записывал, заходя на ntry.com, нажимая кнопку, достигая страницы, которую нужно очистить, и использовал код, который вышел из записи.

Итак, я сделал файл паука, смешанный с кодом селена.

# encoding=utf-8
import unittest, time, re
import scrapy
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select

from pyvirtualdisplay import Display

display = Display(visible=0, size=(1024, 768))
display.start()

class NTRYSpider(scrapy.Spider):
name = "ntryspider"allowed_domains = ["www.ntry.com"]
start_urls = [
"http://ntry.com"]

def __init__(self):
scrapy.Spider.__init__(self)
self.driver = webdriver.Firefox()

def parse(self, response):

self.driver.get(response.url + "/#/main.php")
self.driver.find_element_by_link_text(u"사다리").click()
time.sleep(5)

html =self.driver.find_element_by_xpath('//*').get_attribute('outerHTML')
print html
display.stop()

и это делает ОШИБКУ вот так:

File "/home/ubuntu/ntry_virtualenv/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 236, in execute
self.error_handler.check_response(response)
File "/home/ubuntu/ntry_virtualenv/local/lib/python2.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 192, in check_response
raise exception_class(message, screen, stacktrace)
NoSuchElementException: Message: Unable to locate element: \uc0ac\ub2e4\ub9ac

Не только связано с сообщением об ошибке, есть ли какие-либо возможные проблемы в коде выше?
и какой элемент мне не хватает? Что я должен делать?

Я использую безголовый Ubuntu 14.04 с последним и совместимым pyvirtualdisplay, xvfb, firefox, webdriver и т.д ..

Кстати, сгенерированный код плагина селен Firefox, как показано ниже: sweat_smile:

class PythonNtry(unittest.TestCase):
def setUp(self):
self.driver = webdriver.Firefox()
self.driver.implicitly_wait(30)
self.base_url = "http://ntry.com/"self.verificationErrors = []
self.accept_next_alert = True

def test_python_ntry(self):
driver = self.driver
driver.get(self.base_url + "/#/main.php")
# ERROR: Caught exception [ERROR: Unsupported command [selectFrame | contentFrame | ]]
driver.find_element_by_link_text(u"사다리").click()