De nombreuses distributions ont des facilités pour une installation minimale; essentiellement où vous ne sélectionnez manuellement que les packages que vous souhaitez explicitement installer. Debian a cette capacité et serait un meilleur choix, dans votre situation, que l'autre concurrent minimal évident, Arch Linux.
Le statut de version continue d'Arch peut fournir un niveau de complexité continue que vous souhaitez éviter. Debian fournirait la base simple et minimale que vous recherchez et offrirait de la stabilité. Il existe un article de blog sur l'utilisation de Debian en tant que kiosque qui peut offrir des conseils utiles.
Pour un navigateur, comme le suggère beav_35, Uzbl est un bon choix. Ma recommandation serait Vimprobable, un navigateur WebKit qui est scriptable, piloté par clavier et peut être contrôlé efficacement via SSH.
En tant que gestionnaire de fenêtres, je recommanderais dwm :à moins de 2 000 SLOC, il est extrêmement léger et peut être facilement configuré pour une configuration de type kiosque.
Tout d'abord, vous ne voudrez peut-être pas réinventer la roue... Il existe plusieurs distributions axées sur les kiosques. L'un d'entre eux pourrait vous faire économiser beaucoup de travail.
Deuxièmement, si vous connaissez Kickstart sur Fedora et RHEL (ou CentOS ou Scientific Linux), vous pouvez utiliser les outils Fedora pour créer votre propre version de l'une de ces distributions. La documentation est un peu dispersée, mais commencez ici.
Commencez avec une distribution minimale telle que Arch Linux, puis installez les packages dont vous avez besoin. Pour un simple navigateur Web, essayez Uzbl.