регулярные выражения в поисковой системе Sphider PHP

Я пытаюсь внедрить веб-поиск Sphider на моем сайте и начать индексирование. Есть 2 мнения: URL должен включать / URL не должен включать. Я должен использовать регулярные выражения и хочу проиндексировать сайт, который я знаю структуру ссылок, и я хочу сканировать все URL, которые включают http://example.com/frage/....

Когда я положил в поле регулярных выражений */frage/ это не будет работать, потому что доступ к индексу запрещен. Я тоже пробовал *\/frage а также *\/frage\/,

Как я могу справиться с этим?