Что это такое?

Это дополнительные критерии для отбора пакетов, к которым применяется данное правило.

Зачем это нужно?

Для отбора пакетов, соответствующих этим критериям.

Как это настроить?

Вписать вручную любые критерии, которые не противоречат указанным явно, в формате командной строки iptables, например:

--tcp-flags SYN,RST,ACK,FIN SYN (только при protocol = tcp)
--syn (то же самое)
--ctstate ESTABLISHED,RELATED

Данная строка добавляется в команду вызова iptables после критериев, указанных явными параметрами, но перед опцией --jump.

В частности, можно вообще не указывать все или часть критериев в явных параметрах конфигурации NSG, а вместо этого писать их в данной строке. Смысл такой записи, например, в том, чтобы в итоговой конфигурации iptables они следовали в желаемой последовательности.

Что делать, если это не работает?

Если вы указали какой-то экзотический критерий, не упомянутый явно в списке — обратиться к разработчикам. Большинство таких критериев реализуются дополнительными модулями iptables; возможно, нужный вам модуль не включён в сборку. В этом случае его необходимо добавить в эту же строку в формате -m МОДУЛЬ.