На каком-то невысоком уровне можно обходиться без письменности, но полноценная лексика (уже, скажем, в пределах первых двух тысяч слов) имеет существенную долю (около половины, с разбросом в зависимости как считать) "китайских слов", 漢語 канго, то есть сложных слов, составленных из несамостоятельных морфем - чтений отдельных иероглифов. (Неправильно думать, что это китайские слова, прочтённые по-японски. Многие из них претерпели долгую самостоятельную эволюцию на японской почве, или были изначально составлены в японском языке.) Так вот, для освоения этой лексики уже важно знать, что как пишется, иначе многое будет непонятно, трудно запомнить и невозможно различить.
Для путешествующих по Японии людей очень важно уметь читать вывески, объявления и указатели :-)
Учебных материалов на ромадзи (не романдзи) практически не бывает, все они достаточно рано начинают вводить японскую письменность. Я не считаю "сносными" разговорники или учебники уровня разговорников (типа Л. Уолша, В. К. Кофмана). Это помогает не только с пониманием канго, но и с омонимией: многие слова, особенно с учётом словоформ, записываются в ромадзи одинаково, а для японцев в японском написании и произношении неоднозначность снимается, хотя и по-разному.
Правда, если вас интересует только грамматика, многие справочники имеют транслитерацию на ромадзи или киридзи, или каной, часто в дополнение к полноценному написанию. В этом смысле, рекомендую выучить хотя бы кану: она используется очень широко, например, в словарях для транскрипции слов, а состоит только из сотни знаков, и учится моментально. Это сильно расширит диапазон доступных вам материалов.
