La obra sánscrita Advaita-carita dice que Balarāma, Svarūpa y Jagadīśa fueron el cuarto, quinto y sexto hijos de Advaita Ācārya. Por tanto, Śrī Advaita Ācārya tuvo seis hijos. Balarāma, Svarūpa y Jagadīśa, como eran smārtas, māyāvādīs, fueron rechazados de la sociedad vaiṣṇava. A veces, los māyāvādīs se hacen pasar por vaiṣṇavas, es decir, adoradores del Señor Viṣṇu, pero, en realidad, no creen en el Señor Viṣṇu como Suprema Personalidad de Dios, porque consideran que semidioses como el Señor Śiva, Durga, el dios del Sol o Gaṇeśa son iguales a Él. Se les conoce generalmente como pañcopāsaka-smārtas, y no se les puede contar entre los vaiṣṇavas.

Balarāma tuvo tres esposas y nueve hijos. El hijo más pequeño de su primera esposa fue conocido como Madhusūdana Gosvāmī. Recibió el título de Bhaṭṭācārya, y siguió el sendero de la filosofía smārta o māyāvāda. Śrīla Bhaktisidhānta Sarasvatī Ṭhākura observa que el hijo de Gosvāmī Bhaṭṭācārya, Śrī Rādhāramaṇa Gosvāmī Bhaṭṭācārya, se negó a aceptar el título de gosvāmī, porque, en general, es para sannyāsīs, aquellos que han adoptado la orden de vida de renunciación. El que aún vive una vida de familia no debe hacer mal uso del título de gosvāmī. Śrīla Bhaktisiddhānta Sarasvatī Ṭhākura no reconocía a los gosvāmīs de casta, porque no estaban en la línea de los Seis Gosvāmīs en la orden de renunciación que fueron discípulos directos de Śrī Caitanya Mahāprabhu, y cuyos nombres eran Śrīla Rūpa Gosvāmī, Śrīla Sanātana Gosvāmī, Śrīla Bhaṭṭa Raghunātha Gosvāmī, Śrī Gopāla Bhaṭṭa Gosvāmī, Śrī Jīva Gosvāmī y Śrīla Raghunātha dāsa Gosvāmī. Śrīla Bhaktisiddhānta Sarasvatī Ṭhākura decía que el gṛhastāśrama, es decir, el estado de vida de familia, es una forma de concesión a la complacencia de los sentidos. Por tanto, un gṛhastha no debe adoptar indebidamente el título de gosvāmī. El movimiento ISKCON no ha concedido nunca el título de gosvāmī a un hombre casado. Aunque todos los sannyāsīs que hemos iniciado en ISKCON son jóvenes, les hemos concedido los títulos de la orden de vida de renunciación, svāmī y gosvāmī, porque han dedicado su vida enteramente a la prédica del culto de Śrī Caitanya Mahāprabhu. Śrīla Bhaktisiddhānta Sarasvatī Ṭhākura menciona que no sólo los jefes de familia gosvāmīs de casta faltan al respeto al título de gosvāmī, sino que además, siguiendo los principios del smārta Raghunandana, muestran gran insensatez al quemar una imagen de paja de Advaita Ācārya en una ceremonia śrāddha, actuando como rākṣasas y faltando al respeto al Hari-bhakti-vilāsa, que es la guía de los vaiṣṇavas. Śrīla Bhaktisiddhānta Sarasvatī Ṭhākura dice que, a veces, estos gosvāmīs smārtas de casta escriben libros sobre filosofía vaiṣṇava o comentarios sobre las Escrituras originales, pero que un devoto puro debe evitar su lectura cuidadosamente.