Выделите больше памяти. Если же у Вас не получается, значит, у Вас установлена 32-битная версия Java. Установив 64-битную версию, попробуйте выделить память и запустить игру.
Java 64 бит, памяти можно выделать только 1025 мб, хотя оперативки 16, выделял как можно больше не выходить Java переустанавливал