エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
AIでスクレイピング AIを活用したスクレイピングというと、界隈ではFirecrawlが知名度を上げてきていま... AIでスクレイピング AIを活用したスクレイピングというと、界隈ではFirecrawlが知名度を上げてきていますが、よりきめ細やかな制御を行いたかったこともあり、弊社LCLでは自前でAI スクレイピングの仕組みを作っています。 今回はその仕組みの説明はしませんが、導入に際して考えたことと導入後の所感・教訓を書くとします。 AI活用に対する疑念 AIを自社に導入する前に、「それってAIでやる必要ある?」、「精度は大丈夫?」という疑念がチーム内であり、それに対する私なりの考えを整理しました。 それってAIでやる必要ある? この疑問に答える一つの方法は、AIを使用した場合とそうでない場合の「工数」や「コスト」を比較することです。 たとえば、生産量(スクレイピングするWebサイト数)と工数・コストの比例関係を、次のようなグラフで考えることができます。 AIを使用しない場合:工数は一貫したペースで増加