エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
LLM/RAG/エージェントで使うためのスクレイピング&フォーマット変更ツールは以下のようなものを触って... LLM/RAG/エージェントで使うためのスクレイピング&フォーマット変更ツールは以下のようなものを触ってきた。 たまたま以下のYouTube動画を見つけて、Crawl4AIというのもあることを知ったので試してみる。 GitHubレポジトリ Crawl4AI 🕷️🤖 Crawl4AIは、ウェブクロールとデータ抽出を簡素化し、大規模言語モデル(LLM)やAIアプリケーションが利用できるようにします。 🆓🌐 機能✨ 🆓 完全無料かつオープンソース 🤖 LLMに適した出力フォーマット(JSON、クリーンアップされたHTML、マークダウン) 🌍 複数のURLの同時クロールをサポート 🎨 すべてのメディアタグ(画像、音声、動画)を抽出して返します 🔗 すべての外部リンクと内部リンクを抽出 📚 ページからメタデータを抽出 🔄 クロール前の認証、ヘッダー、ページの修正用のカスタムフッ