Сканирование веб-сайтов и их график
Мне нужен способ отслеживания и записи курсов конверсии поддельной валюты на Roblox. Я думаю, что javascript подходит для отслеживания, однако я также хотел бы записать эти данные в электронную таблицу и создать обновляющий график по мере поступления данных. Разрешение графика будет составлять не более 5 секунд. Если вы посмотрите на страницу конверсии Roblox ниже, вы сможете увидеть текущие позиции, занятые другими людьми, чтобы обменять их robux или tix на robux или tix. На странице отображаются лучшие торговые позиции, сделанные другими. Я только хочу отслеживать показатели конверсии в верхней части каждого столбца, как показано на странице торговой валюты.
Если бы я должен был создать программу, локально хранящуюся на моем компьютере, какой язык / языки я должен использовать для этого? Кроме того, если бы я должен был разместить сервер (используя мой raspberry pi или бесплатный хостинг), какой язык / языки я должен использовать для этого? Наконец, если бы я хотел сделать это онлайн (с моим R-Pi или бесплатным хостингом), я бы хотел получить доступ к графику через браузер, либо в моей сети, либо в Интернете (что я делал раньше при создании сайт для моего R-Pi).
Спасибо за ваше время на чтение,
Cameron
Ссылка на страницу коэффициента конверсии
РЕДАКТИРОВАТЬ: Теперь я знаю, что вы не можете увидеть страницу торговой валюты без входа в систему с учетной записью (что бесплатно). Вы можете увидеть изображение Вот и вики-страница Вот. Я решил использовать ответ Bubby4j, который предоставил мне полезную систему, которая уже сделала то, что я просил. Теперь мне нужно только исправить это (поскольку оно может быть устаревшим) и запустить его на сервере.
Решение
Я на самом деле написал сценарий PHP, который делает это. Он использует MySQL для хранения данных торговой валюты.
https://www.dropbox.com/sh/c46wuzhf7636htc/AAALYLvzpbnBzK2qSjfybcGxa?dl=0
Там есть почтовый индекс того, что у меня было. Я не знаю, работает ли он до сих пор, но это может быть полезно.
Он даже автоматически входит в Roblox.
Я использовал cronjob каждые 5 секунд, чтобы запустить сценарий, который записывал текущие скорости TC.
Включенный файл .sql содержит структуру базы данных. & некоторые образцы данных.
Вероятно, вам нужно будет отредактировать немало вещей, чтобы заставить его работать, но это должно указать вам правильное направление.
Другие решения
Я не уверен в природе роблокса, однако то, что вы здесь описываете, называется веб-ползать, таким образом, для этого не существует единого языка, большинство из них подходят. то, что я хотел бы сделать в первую очередь, это проверить, что Roblox предоставляет любую полезную APIs, которые помогут разработчикам, таким как вы, в получении нужных данных более удобным для использования способом, таким как JSON который вы можете легко использовать на любом языке.
если API недоступен, вы можете попытаться получить данные как простой текст с различными инструментами, такими как локон или же текстовые веб-браузеры Чтобы определить погоду, достаточно html-парсера или веб-сайт требует чего-то более продвинутого, такого как Интерпретатор JavaScript, и есть такой, безголовый браузер, такой как phantomjs(также доступно для командной строки, как curl, с полной поддержкой js). Наиболее предпочтительным является ограничить себя только извлечением страницы, разбором html и получением необходимых данных, а не использованием полнофункционального браузерного решения, такого как phantomjs, так как последнее может замедлять работу и, как правило, более сложно.
для простоты, так как вы упомянули, что ваш конечный результат — создание веб-сервера, который обслуживает данные, я бы пошел следующим образом:
-
установить Lemp(линукс Nginx MySQL PHP) ИЛИ ЖЕ фонарь(линукс апаш MySQL PHP) стек. просто загрузите его в свой Linux-пакет, используя ваш любимый менеджер пакетов.
-
Поскольку последняя версия — это веб-сервер, вы можете использовать php, который поставляется из коробки в пакетах, которые я указал выше:
В случае, если есть API, это становится так же просто, как загрузка страницы поддерживаемого API и запуск JSON/XML разберись на нем и используя данные.
но если нет API
Сначала загрузите страницу в php используя локон или же файл получить содержимое функции, доступные в php, затем попробуйте проанализировать страницу с помощью любых HTML-парсеров, доступных для PHP, таких как ПРОСТОЙ ДОМ ПАРСЕР.
Вышеуказанные шаги на случай, если вам не нужно вдаваться в сложности полнофункционального браузера, но если вы это сделаете, вы должны найти утешение в phantomjs и попробовать его использовать. автономный (JavaScript) чтобы получить ваши данные, или попытаться найти php интерфейс для связи с фантомами в гугле. Шаги схожи по своему подходу: извлеките страницу и проанализируйте html, чтобы получить необходимые данные.
- Поскольку вы уже находитесь на веб-сервере (лампочка / лампа), вы уже можете предварительно сделать веб-страницу для своих устройств онлайн. так просто сделайте шаг 2, сохраните в базе данных (mysql) и сгенерируйте страницу, соответствующую вашим потребностям. Примечание php запускается только тогда, когда пользователь загружает страницу, на которой он находится, поэтому, если вам нужны периодические проверки, просто используйте рабочие места cron в график задач в определенное время и снова запустите ваши PHP-скрипты.
Примечание 1: описанные выше шаги носят общий характер, поскольку вы не указали свой фон в этом поле.
Эти шаги просто описывают, как работает веб-сканирование в целом.
Примечание 2: Если вы хотите, чтобы ваш сервис был доступен за пределами вашей сети, для этого вы должны настроить (обычно по умолчанию) свой веб-сервер (lemp / lamp) на порт 80 а затем вы должны предоставить своим пользователям ваш внешний айпи адрес.
Если ваш ip динамически меняется, вы можете использовать бесплатные сервисы, такие как NO-IP- или, может быть этот.
Есть и другие, более сложные решения, такие как аренда доменного имени.