illustratorで、写真などをギザギザやラフな四角でマスクを取る方法。
「オブジェクト→透明部分を分割・結合」を選択。
「すべての線をアウトラインに変換」にチェックを入れる。
参考↓
イラストレーターでジグザグのアウトラインを取る。