はてなブックマーク

import os import torch from torch import nn from transformers import AutoModel, AutoTokenizer from huggingface_hub import hf_hub_download class ClipTextModel(nn.Module): def __init__(self, model_name_or_path, device=None): super(ClipTextModel, self).__init__() if os.path.exists(model_name_or_path): # load from file system output_linear_state_dict = torch.load(os.path.join(model_name_or_path, "outp

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 要点 OpenAI CLIPの日本語モデルを作り、公開しました。ご活用ください。 CLIPとは画像とテキストの埋め込みモデル(意味を表す固定長のベクトルに変換するモデル)であり、意味が近い画像とテキスト同士が近いベクトルになるという性質を持っています。4億枚の多様な画像とテキストのペアを用いて学習されており、高いゼロショット性能を備えています。 応用例:テキストによる画像の検索、類似画像検索、画像 and/or テキストの分類、クラスタリング、画像やテキストの特徴量生成など 日本語CLIPモデルはHugging Face Model H

要点 マルチモーダル深層学習って何?Vision-Language Modelって何?という方向けに、 Google Colabで実際に学習済みモデルを動かしながら技術概要を理解していただけるチュートリアル記事です。 マルチモーダルの時代が到来 この10年、ディープラーニングの登場により、画像の分類や、文章読解(日本語等の自然言語によるQA)などが高い精度で自動化できるようになりましたね。 しかし、画像は画像、自然言語は自然言語・・・と、それぞれに特化した手法の開発が中心で、それらが混在したマルチメディア(マルチモーダル)の問題へのチャレンジは少ない状況に長らくありました。マルチモーダルの重要性は人間の様々な知的判断の場面を思い返せば分かりますね。実課題解決において重要なAI技術分野といえます。 シングルモーダルが中心だった潮目はこの1年くらいで変わり、昨今、マルチモーダルな深層学習モデル

要点 T5(Text-To-Text Transfer Transformer、論文、日本語解説記事)の日本語モデル(事前学習済みモデル)を作り、公開しました。ご活用ください。 T5とは、様々な自然言語処理タスクの入出力がともにテキストになるよう問題形式を再定義することにより、一つの事前学習済みモデルを多様なタスク用に転移学習させることができる高い柔軟性を持ち、かつ、性能も優れている深層ニューラルネットワークです。 転移学習の例: 文章分類、文章要約、質問応答、対話応答、機械翻訳、含意関係認識、文の類似度計算、文法的妥当性判定、タイトル生成、スタイル変換、誤字修正、検索結果のリランキングなど(固有表現抽出などのシーケンスラベリングの実施例はない?) 日本語T5モデルはHugging Face Model Hubからダウンロードできます。 ベンチマークとして、ある分類問題について、既存のmT

DockerでDeep Learningしたいが、、、 せっかく新しく買ったM1搭載Macなのだから、環境はできるだけ汚さずに開発したいなぁ、という方は少なくないと思われます。 環境をクリーンに保つ方法の一つがDockerですけれども、 Deep Learningに必要なPyTorchとTensorFlowを両方利用できるいいarm64用Dockerイメージが見つからなかったので、なければ作れということで、作ってみました。 (PyTorchのビルドは何の苦労もなくできましたが、TensorFlowのビルドが辛いこと辛いこと、、、ビルドを開始して数時間経過後にエラーやらOut of Memoryやらが発生してその原因を特定してという苦行を何回繰り返したことか・・・) 現状、PyTorch 1.6/1.12とTensorFlow 2.3/2.9が使えます。(2022年08月03日現在) 動作確認

2023年03月20日 追記 Studio Ousia様によるLUKEモデルをベースに学習したSentence-LUKEモデルを公開しました。 Sentence-LUKEモデル: https://huggingface.co/sonoisa/sentence-luke-japanese-base-lite 手元の非公開データセットでは、日本語Sentence-BERTモデル(バージョン2)と比べて定量的な精度が同等〜0.5pt程度高く、定性的な精度は本モデルの方が高い結果でした。 2021年12月14日 追記 MultipleNegativesRankingLossを用いて学習した改良版モデルを公開しました。 改良版(バージョン2)のモデル: https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2 手元の非公開デー

どんなアプリ? みんな大好き「いらすとや」さん 記事の挿絵に使ってみたいけれども、適切な画像を探すのに苦労していませんか? 検索キーワードを何にしようか迷ったり、一つ一つ検索するのは面倒だなぁとか。 そんな苦労を解決してくれる、 ドキュメントの文章をまるっと全部与えると、自動で特徴的なキーワードを見つけてくれて、そのトピックに合った画像を「いらすとや」さんから探してきて、文章中に埋め込んでレコメンドしてくれるアプリを作ってみました。 例えば、下図のように北大路魯山人「だしの取り方」の文章を全部与えると、「鉋(カンナ)」や「だし」などの特徴的なキーワードを自動抽出して、それに合った挿絵を適した位置にレコメンドしてくれ、簡単に挿絵入りの文章を作れます。 加えて、レコメンド完了までの所要時間は数秒です。簡単かつ高速! 以下、このアプリの作り方について解説していきます。 なお、本記事はあなたの文章

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに サイコロキャラメルに収まる無線センサー(下図の右上)を使って、見た目が可愛く、かつ実用的な、おうちハックシステムを作っていきます。 今回は(妻の要望により)食洗機の回し忘れを検知してSlackに通知するシステムというニッチなお題で作っていきますが、このシステムアーキテクチャ自体は他にも転用がきくものになっていますので、おうちハックの参照アーキテクチャとしてお読みいただければと思います。 なお、実用路線では、他にもLEGOでスマートロックを作ったりしています(稼働実績1年半)。こちらもアイディアのご参考にどうぞ。 下図が今回開発

はじめに 本記事はあなたの文章に合った「いらすとや」画像をレコメンド♪シリーズの第2回、アルゴリズム解説編です。 文章を与えると、それに近い意味を持った「いらすとや」画像を探してレコメンドしてくれるアプリのアルゴリズムについて解説します。 機能概要は第1回、あなたの文章に合った「いらすとや」画像をレコメンド♪(機能概要編)をご参照ください。 アルゴリズムの概要 本アプリの基本的なアイディアは次のとおりです。 与えられた文や画像の説明文を、それぞれ文の分散表現(つまりはベクトル)に変換する。 与えられた文と画像の説明文の意味の近さを、それぞれの文の分散表現を使って計算する(意味の近さ = 2つのベクトルのなす角の小ささ = コサイン類似度の大きさとする)。 コサイン類似度が大きい説明文を持つ画像トップN個を選ぶことで、与えられた文と意味が近い画像を発見できる。 模式図にすると、次のようになり

どんなアプリ? みんな大好き「いらすとや」さん。 でも、キーワードによる画像検索に苦労していませんか? その苦労を解決するために、 文章を与えると、それに近い意味を持った「いらすとや」画像を探してレコメンドしてくれるアプリを作ってみました。 例えば、「暴走したAI」という文章を入力すると、その文章の意味に近い画像として次のものがレコメンドされます。 注意して見ていただきたいのですが、検索結果の説明文に「暴走」というキーワードはどこにも出てきません。 でも、人間が読めば「暴走したAI」に意味合いが近いと判断する説明文が付いた画像が提示されています。 そう、今回作るのは、いわゆるキーワード型検索エンジンではありません。 言葉の意味をベクトルで表現する分散表現という機械学習技術(自然言語処理技術)を活用することで、与えられた文の意味に近い説明文を持った画像を探し出します。 つまり、キーワードがマ

本記事の狙い システム・アーキテクチャの設計を行ったことのある方であれば、多かれ少なかれ次のような悩みを持たれたことがあるのではないでしょうか。 システムの全体像を俯瞰したいのだけれど、どう表現したらいいのだろうか? どう表現すればステークホルダーの利害関係をうまく引き出し、可視化し、トレードオフを議論できるのできるだろうか? システムが連携して動く仕組みをどう表現すれば、開発チームの間での齟齬や隙間での抜け漏れをなくせるだろうか? 現行システムの主要な業務・アプリ・インフラの間の対応関係を整理し、課題やあるべき姿を描きたいのだけれど、どう表現したらいいのだろうか? これらの悩みの解決に役立つモデリング言語があります。ArchiMateです。 ArchiMateとは、エンターブライズ・アーキテクチャを表現するための記法として、The Open Groupが規格化したモデリング言語です。 例