illustratorで、写真などをギザギザやラフな四角でマスクを取る方法。

「オブジェクト→透明部分を分割・結合」を選択。

「すべての線をアウトラインに変換」にチェックを入れる。

参考↓

イラストレーターでジグザグのアウトラインを取る。