Как обращаться с Google, который индексирует «страницы», которых нет

Я создаю динамические веб-сайты, где структура иерархически сохраняется в базе данных (собственная CMS). Я использую модель Смежности для управления таблицами этой базы данных (PHP и Mysql через PDO)

Я обнаружил, что Google индексирует страницы, что не следует.

Пример древовидной структуры, используемой для навигации:

home
about us
products
productgroup 1
productgroup 2
contact
support
sales

Представьте себе эту структуру в выпадающем меню со ссылками на страницы. Когда я выбираю products-> productgroup 1, я получаю URL-адрес, например www.domain.com/products/productgroup-1, который извлекает данные из базы данных (на основе последнего элемента uri: productgroup-1, slug-версии заголовка) и показывает это в моем шаблоне. Я не запрашиваю все элементы, только последние (я должен, я знаю).

Все идет нормально. Google индексирует эту страницу, как и ожидалось:

http://www.domain.com/products/productgroup-1

Но … Когда я использую инструменты Google для веб-мастеров, я вижу много страниц, проиндексированных с помощью 404, например:

http://www.domain.com/products
http://www.domain.com/contact

И так форт.

Эти страницы пусты и не имеют ссылки в структуре навигации.

Я спроектировал свою структуру так, чтобы эти страницы возвращали ошибку 404. Webmastertools подтверждает это, но продолжает индексировать эти страницы. Я знаю, что могу использовать robots.txt, чтобы запретить поисковому роботу Google сохранять индексирование URL-адресов. Есть ли другой способ сделать это? Должен ли я генерировать 403 вместо 404?

Я здесь в темноте.