Чтобы выделить больше памяти, нужно иметь 64х-разрядную операционную систему и соответствующую ей 64х-разрядную Java. Убедитесь, что ваша операционная система имеет 64ю разрядность, удалите текущую версию Java и установите 64х-разрядную.