日本語 English (United States)
ログイン

オートクロール機能（クロールアシスタント）

VAddyのクロールでは、ユーザがブラウザを操作して送信されたHTTPリクエストとレスポンスをVAddyが記録します。

検査したいWebアプリケーションの操作を手動でしていただく形のため、次のような利点と欠点があります。

利点

  • 検査したい範囲のみに限定でき、検査時間が短くなる
  • 公開前のリンクが繋がっていない画面もクロール記録できる
  • ログインや複雑な遷移でもクロール記録できる

欠点

  • サイトのページ数が膨大にある場合に記録操作が大変
  • サイトの構成が不明・あまり詳しくない場合に必要な画面がカバーできているか不安

 

VAddyのオートクロール機能は、VAddy Crawl Assistantというブラウザ拡張を利用し、クロール記録の際に、自動的にサイトを探索することでクロール記録の上記の欠点を補います。

 

クロール記録のためのブラウザ拡張が「VAddy Recorder」、自動的なサイト探索のブラウザ拡張が「Crawl Assistant」となりそれぞれ別の拡張になります。

 

VAddy Crawl Assistant は単独で動作可能ですので、クロール記録でVAddy Proxyを利用する場合、ブラウザ拡張(VAddy Recorder)を利用する場合のどちらでも利用できます。

 

VAddy Crawl Assistant

まずはVAddyにログインし、クロール作成のステップまで進めます。

【STEP 1】プロジェクトの作成

【STEP 2】クロールの設定と実行 もしくは 【STEP 2】クロールの設定と実行（Proxy編）

 

ダウンロード

クロール管理画面に遷移し、クロール作成の開始ボタンを押下します。

 

表示された画面の「Webサイトを自動的にクロールしたい場合は」をクリックすると、インストールボタンが表示されますので、ブラウザ拡張ストアからVAddy Crawl Assistantをインストールしてください。

 

 

起動方法

まずは通常のクロール開始操作を行います。

ここではVAddy Recorderのブラウザ拡張を利用したクロールをベースに説明をします。

 

通常手順でクロール開始まで進みましたら、ここから自動的にVAddy Crawl Assitantを起動してサイトの自動探索を行います。

こちらは、画面下側でVAddy Recorderのブラウザ拡張でクロール開始まで進めた状態です。

画像の赤い四角で囲んだブラウザのメニューバーの拡張ボタンを押下し、「VAddy Crawl Assistant」をクリックします。

 

 

別ウィンドウでCrawl Assistantアプリが立ち上がります。開始URLにクロールしたいURLを入れ、「探索開始」ボタンを押します。

 

開始URLに入れたFQDN（ドメイン）のみアクセスしますので、別のサイトへのリンクがあっても別FQDNには遷移しません。

特定URLパス以下に探索を限定したい場合は、「開始URL」にURLパスも含めて入れます。
例えば、 http://example.com/foo/ を入れると、http://example.com/foo/ 以下のURLのみ探索し、http://example.com/bar/などのURLは探索しません。

 

 

探索開始

探索開始を押すと、権限の許可が求められるため問題なければ、「許可する」をクリックしてください。

 

探索が始まると自動的にリンクを見つけてサイト内を遷移していきます。Crawl Assistantの遷移が始まると、訪れたサイトがVAddy Recorderのほうにクロール記録されていきます。

 

探索が完了すると、最後にVAddy Recorderのブラウザ拡張の方で「保存」ボタンを押してクロールを記録します。

Crawl Assistant側では訪問したURLのリストをテキストファイルでエクスポートする機能があります。次回、そのリストのファイルをインポートして遷移させることが可能です。

 

制約

Crawl Assistant機能は、サイトの自動的なリンクの遷移は行いますが、フォームの投稿などPOSTリクエスト(GET以外のリクエスト)は自動的には行いません。
こちらは、既存の手動のクロール操作でカバーしていただく形です。

例えばログインが事前に必要なサイトは、クロール開始操作をしてログイン画面からログインするところまでを手動でクロール記録し、そこからVAddy Crawl Assistantを起動してログイン後の画面の遷移を自動的に行うと効果的です。

 

その他の機能（高度な設定）

Crawl Assistantの「高度な設定」をクリックすると次のような項目が表示されます。

  • 探索階層上限
    • 探索するURLパスの深さを設定します。 例えば/foo/bar/の場合は2階層になります。
    • 1〜100階層、デフォルト10
  • URL数上限
    • デフォルトは200ページまで自動探索します。探索ページ数が多くなると検査時間がかかりますので、クロールしたいURLパスと上限数を使って探索する範囲を調整してください
    • 1〜2000、デフォルト200
  • アクセス間隔
    • 探索する際の1ページにアクセスする待ち時間です
    • 0〜60秒、0.1秒刻み、デフォルト1.3秒
  • 除外URL
    • http/httpsから始めたURLを入力すると、そのURLは探索しなくなります。
    • URLは前方一致ですのでここに http://example.com/foo/と入れると、http://example.com/foo/1やhttp://example.com/foo/bar/2 などが除外されます
  • URLパスの除外キーワード
    • ここに入れたキーワードを含むURLパス(部分一致)がある場合は遷移しません。
    • デフォルトでは遷移しない方がよい logoutやdeleteというキーワードがセットされています

 

関連記事