Com partições EXT4 ainda não é possível.
Com partições EXT3, existem alguns programas que o fazem.
Como o EXT4 é um EXT3 "com anabolizantes", você poderia tentar instalar um desses visualizadores de EXT3.
Cuidado! Isso pode acabar estragando não só o seu Windows como o seu Linux!