Se a referência obedecer à ordem crescente (do menor para o maior), não use vírgula. Caso contrário, sim: Inciso II do parágrafo 2º do artigo 5º da Constituição Federal. Constituição Federal, art. 5º, parágrafo 2º, inciso II.
Sem mistura
Escolha a ordem de sua preferência. Mas misturar é proibido. Siga do começo ao fim a crescente ou a decrescente.
Data
Ponha a data do texto também entre vírgulas: O Decreto 15.613, de 29.4.94, autoriza… A Medida Provisória 45, de 6.6.93, regulamenta…