Ainda em português, para começar, há um pequeno livro (108 páginas) muito bom, bastante didático, é inclusive usado como material didático em alguns cursos de Segurança de Redes, como por exemplo na UFSC, dentre outras. Já meio antigo mas a essência estrutural é aquilo mesmo.
Linux Firewall Iptables, Urubatan Neto, Editora Ciência Moderna, 2004.
Se der para encarar material em inglês aí fica bem mais fácil, por exemplo:
IP TABLES - A Beginner's Tutorial
autor: Tony Hill
esse acima é um pequeno pdf de 43 páginas, tem na internet, com o nome de arquivo IPTABLES Tutorial V1-3.pdf
Linux Firewalls
Attack Detection and Response with IPTABLES, PSAD, and FWSNORT
autor: Michael Rash
Nesse último o tiroteio já é mais pesado, são 334 páginas.
Todos os três são facilmente encontráveis.
Esse link "doméstico" (Ubuntu) também pode ajudar e ainda as referência que ele contém (especialmente Iptables Tutorial 1.2.2m Oskar Andreasson):
IptablesHowTo
https://help.ubuntu.com/community/IptablesHowTo