Et pourquoi pas l'ordi dans la Compact Flash, tant qu'on y est ?

Ben oui, ca existe !
http://linuxdevices.com/files/misc/cf-cpu-board.jpg(...)
http://www.linuxdevices.com/news/NS4606830731.html(...) (suivre les liens)
Bon, c'est vraiment pour de l'embarqué, avec μClinux sur un microcontrôleur ColdFire, juste une liaison série pour brancher un terminal texte ... le tout dans un boîtier CompactFlash type 2.

Plus sérieusement, apparemment tu souhaites juste supprimer le disque dur d'une machine "desktop", c'est bien ca ?
Comme il a été dit au-dessus, Damn Small Linux est un très bon point de départ, qu'il est ensuite possible d'étendre avec apt-get puisque c'est basé sur Debian. Plein d'autres distros embarquées ou minimalistes ont également la possibilité de s'installer sur Compact Flash, le principal intérêt étant l'absence de pièces mobiles (donc résistance aux vibrations, compacité, consommation)

Concernant les mémoires Flash, elles sont géréralement conçues pour ~100 000 cycles d'écriture, ce qui peut arriver assez vite si on écrit toujours au même endroit. C'est malheureusement le cas avec le filesystem FAT pour sa table d'allocation, ou encore (dans une moindre mesure) avec ext2 pour chaque répertoire. Pour éviter ca, d'autres filesystem ont été conçus spécialement pour les Flash, comme JFFS, JFFS2 ou YAFFS.
http://developer.axis.com/software/jffs/(...)
http://sources.redhat.com/jffs2/(...)
http://sourceware.org/jffs2/jffs2-html/(...)
http://www.aleph1.co.uk/yaffs/index.html(...)