これはよくある質問ですので、先ずは下記の記事を参照ください。
https://community.zemax.com/got-a-question-7/simulate-small-particles-on-lens-surface-882
 
ノンシーケンシャルモードで「面粗さ影響」は自らで散乱特性から定義する必要があります。
しかしながら、RaやRy、もしくは例えば「10～100nm周期程度、高さ5～10nm程度の凹凸」から散乱特性を計算することは難しいです。
OpticStuidoは散乱特性を計算する専用のソフトウェアではないので、一番簡単な方法は下記のK-Correctionという方法です。

How to model surface scattering via the K-correlation distribution

K-Correctionは粗さから散乱特性に変換する物理のモデルです。
このモデルは近似の結果です。そして、パラメータの選択もユーザ判断が必要です。
もう一つ方法はアレーオブジェクトを使用して、実際的な凹凸を作ることです。

粗さと相当する非球面を作成することも可能な方法です。
しかしながら、この方法はかなりメモリかかります。