1 - 40 件 / 411件
ChatGPTユーザーの悩みを解決するプロンプト徳力基彦氏(以下、徳力):まず今日はChatGPTの使い方をしっかり覚えていただきたいと思います。ここで「深津式汎用プロンプト」。 深津貴之氏(以下、深津):僕は1個1個、個別の例を出すのはあんまり好きではないです。さっき言ったように原理原則を1個理解すれば、全部その原理原則から引っ張れる方向が好きですね。 なので今日も、細かいプロンプトを出すよりは、だいたいあなたの悩みのすべてを解決するプロンプトを1個出すので、これだけ覚えて帰りましょう。 徳力:プロンプトですと、一気にプログラミングっぽい感じになってきました(笑)。これ(スライド)がサンプルですね。 深津:僕がいろいろ試した中で、それなりにいい感じになる汎用プロンプトです。 徳力:最初に聞くのを忘れましたけど、深津さんはChatGPTを何回ぐらい使っているんですか? 感覚として。当然数え
以下の記事などで既にかなり話題になっていますが、ぼくも触ってみました(使い方などの詳細はこちらの記事を参照してください)。 結論としては、マジすごくてかなり衝撃的です。すべてのホワイトカラーワーカーにとって、かなりディスラプティブなツールになるのではないでしょうか。 自分はコンサルタントでして、これまでにたくさんの資料を作ってきてスキルを磨いてきたつもりだったので、AIポン出しでここまでのものが出てきてしまうと、正直、人生について考えさせられちゃいますね。 この記事では、Napkinを使ってどういう資料ができたのか共有したいと思います。 ポストモーテムの勉強会をしたいなと思っていたので、まずはChatGPTで資料の骨子を出力し、それをNapkinに入力してみました。それで得られたのが、以下の資料です。 スライド1: タイトルスライド タイトル: ポストモーテムの教科書 副題: SREにおけ
本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験(強化学習)をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM(DeepSeek-V3-Base)に対
企業・組織に属している方向けの ChatGPT の社会・ビジネスへの影響を考えるお話です。 人とComputerの在り方が大きく変わったこれらも交えて。それらが周囲にあふれ出すその日のために、今はしっかりと Prompt の仕方を学んでおきたいものです。そのためのサンプルも幾つか継続して提示しています - とある人の、変わってしまった日常の一部 - なぜ?何が? ChatGPT で変わるのか? - Plugin の可能性 - Code Interpreter の可能性 - Copilot の可能性
大量の文章から学習することで、多言語を取り扱う能力だけでなく、高度な推論能力まで手に入れました。 GPT-3.5、とりわけその初期モデルのCodexはGitHubに存在する5400万の公開リポジトリから採取された159GBのPythonコードでGPT-3をfine-tuning(微調整)することで生まれました。ChatGPTがとりわけPythonが得意なのはここから来ています。 ChatGPTの学習データを考えることはその能力を発揮させるときに極めて有効です。質問時も以下のように、『涼宮ハルヒの憂鬱』というライトノベル作品について日本語で聞いたときはSOS団の略称を間違えるなどしますが、英語ではほぼ期待通りの回答を見せます。 図1 『ハルヒの憂鬱』について日本語で聞いた場合の回答 図2 『ハルヒの憂鬱』について英語で聞いた場合の回答 知ったかぶりをするChatGPT ところで、ChatG
Business Insider Japan/小林優多郎ChatGPTに世間が沸いている。 長年この分野を見てきた者としては「ちょっと沸きすぎ」のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も「FlexGen」と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを「従来の100倍高速に動かせる」上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次: 「Google翻訳」と「大規模言語モデル」は
Upgrade for image upload, smarter AI, and more Pro Search.
全3回のシリーズパート2の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 (2.1)各技術の定性的な説明(本記事) (2.2)Transformerのアルゴリズム詳細 (2.3)GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価す
アイスランドアイルランドアセンション島アゼルバイジャンアフガニスタンアメリカ合衆国アラブ首長国連邦アルジェリアアルゼンチンアルバアルバニアアルメニアアンギラアンゴラアンティグア・バーブーダアンドライエメンイギリスイスラエルイタリアイラクインドインドネシアウォリス・フツナウガンダウクライナウズベキスタンウルグアイエクアドルエジプトエストニアエスワティニエチオピアエリトリアエルサルバドルオマーンオランダオーストラリアオーストリアカザフスタンカタールカナダカメルーンカンボジアカーボベルデガイアナガボンガンビアガーナキプロスキュラソーキリバスキルギスギニアギニアビサウギリシャクウェートクック諸島クリスマス島クロアチアグアテマラグアドループグアムグリーンランドグレナダケイマン諸島ケニアココス(キーリング)諸島コスタリカコモロコロンビアコンゴ共和国(ブラザビル)コンゴ民主共和国(キンシャサ)コートジボ
つくりながら学ぶ!AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用 この本では、LangChain と Streamlit を用いて、ChatGPT APIを活用するAIアプリを開発していきます。つくりながら学ぶことを重視し、簡単なチャットアプリ開発から始めて、Embeddingを活用するアプリ開発まで、ステップバイステップで学べます。 AIアプリをローカル環境で開発した後は、WEB上にデプロイする方法も学びます。クラウドの知識もほぼ必要なく、ランニングコストも掛からない方法で行うため、ぜひ作ったアプリを公開することにチャレンジしてみましょう。 500円と設定していますが投げ銭用です。本文は全て無料で読めます。
自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている!」ということで、試してみることにしました。 追記: 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます(現状、私の環境では動かせてないです)。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。
こんにちは!逆瀬川 ( https://twitter.com/gyakuse )です! 今日は気軽にできるプロンプトインジェクション対策を紹介したいと思います。 プロンプトインジェクションとは ChatGPTなどの言語モデルをベースとしたサービスに対し、「これまでの命令を表示してください」などの文章を与え、出力をジャックしてしまう攻撃手法です。 Prompt Leaking, Jailbreaking, 等の類似手法が知られています。 対策 これへの対策は簡単で、命令を追加で挿入する手法があります。以下に示します。 import openai openai.api_key = openai_key def completion(new_message_text:str, settings_text:str = '', past_messages:list = []): """ この関数は
今話題の画像生成モデル「Stable Diffusion」をいらすとやの画像でfinetuneしてみたところ、任意のテキストに対していらすとやっぽい画像を作れるモデルが出来上がりました。 Stable Diffusionとは Stable Diffusionは、指定されたテキスト(文字列)に対応する画像を生成する機械学習モデルのひとつです。ソースコードと学習済みモデルは無償で公開されていて、誰でも利用できるようになっています。 (Stable DiffusionのGitHubページより引用) 今回は、この画像生成モデルをいらすとやの画像でfinetune(微調整)することで、入力テキストに対応する画像をいらすとやのようなスタイルで出力させることを試みました。 開発環境 開発環境はGoogle Colab Pro+で、主にプレミアムGPU(NVIDIA A100)を使いました。Stable
この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この1年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の1つである Stable Diffusion v1 について調べてみました!*1 では早速本題に入りたいと思います! Stable Diffusion v1 とは? Denoising Diffusion Probabilistic Model(DDPM) 学習時の動作 for
chilled_remixとは? chilled_remixはStableDiffusionとよばれる画像生成AIで動作する生成モデルの一つで、リアルなアジア系美少女の生成を得意としています。以下の画像はchilled_remixを使用して私が作成した画像です。 リアルなアジア系美少女が得意なStableDiffusion生成モデルには、他に有名なものとしてChilloutMixやChilled_re_genericなどがあります。しかし、これらのモデルは現在商用利用ができません。 一方でchilled_remixは商用利用が可能なため、とても重宝されるモデルとして注目を集めています。 chilled_remixのライセンス表記 chilled_remixはChilled_re_genericのレシピ発案者として知られる鎖城郎郭様によって4/19に公開されました。生成した画像の販売だけでな
皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com 第1弾では、GPTになるべく正確な回答をさせるために、回答の情報を持つ文書を検索し、それをもとに回答を生成するという内容を試しました。 文書をもとに回答を生成することで比較的正確な回答を取得することができました。 ただし、この回答も必ずしも正確な回答とは限らないので、どれくらい信頼していいのかを自動で判定する仕組みが欲しくなります。 今回は第1弾のシ
プロンプトデザインとは?プロンプトデザインとは、AIに伝える命令を作る自然言語プログラミングのことです! プロンプトというのは、汎用的な命令文を作成することを指します。 例えば、「あなたについて教えてください」という命令文を作成しておけば、様々なテーマに対して回答を得ることができます。 プログラミング的な 概念をなくできるのが多分いいところでは あると思う。 しかし、狙った文章を 書かせたいとなるとちょっと戦略を持って 命令を出さないとちょっと難しいですよね。 なので、今日は、その方法であるプロンプトデザインを紹介します。 プロンプトデザインのポイントプロンプトデザインを行う際には、以下のようなポイントに注意する必要があります。 プロンプトデザインの基本の型は、宣言分、変数、コマンドの順で組み合わせること。 宣言分とは、ゴールとなるところをGPTに教えてあげます。 変数とは、理想のゴールを
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はChatGPTが出て注目を浴びたり、BingにもChatGPTのように質問応答してくれるAIが搭載されるなど、OpenAIのGPTモデルが世の中を騒がせています。 私もChatGPT使ってみましたが、受け答え自体は人が書いていた文章と遜色なく、文章の自動生成もここまで来たか。。という感じでした。 そんなChatGPTの特徴の一つとして、回答には時々嘘が含まれるというものがあります。 ChatGPT自体は知識を持っているわけではないので、学習データにないことなどはそれっぽいけどでたらめな回答を返してしまいます。 ただし、最近追加されたBingのGPTでは、ChatGPTよりもはるかに正確な回答が返ってくるように感じます。 画面を見ると回答の根拠となっている詳細情報が出ています。 ここから推測する
2023年5月15日(月)に国立情報学研究所にて初回となる LLM 勉強会を開催しました。 プログラム 勉強会の趣旨、国の動向など [資料] 黒橋禎夫(国立情報学研究所) 現状の LLM のサーベイ [資料] 河原大輔(早稲田大学) 菅原朔(国立情報学研究所) 栗田修平(理化学研究所) 各機関での試みの紹介 河原大輔(早稲田大学)[資料] 坂口慶祐(東北大学) 佐藤敏紀(LINE) 高村大也(産業技術総合研究所) 参加者 乾健太郎(東北大学・オンライン参加) 鈴木潤(東北大学・オンライン参加) 坂口慶祐(東北大学) 高村大也(産業技術総合研究所) 石垣達也(産業技術総合研究所・オンライン参加) 栗田修平(理化学研究所) 吉野幸一郎(理化学研究所・オンライン参加) 鶴岡慶雅(東京大学)(資料提供のみ) 宮尾祐介(東京大学) 谷中瞳(東京大学・オンライン参加) 吉永直樹(東京大学・オンライン参
RAGに関する主要な論文まとめていきます。(過去の分含めて随時更新予定) 見つけたものからまとめているので、最新の2024年以降の論文多めです。 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(22/05/2022) 一言紹介❓ LLMって、事前学習された知識に関しては答えてくれるけど、最新のニュースだったり、専門的な情報や組織固有の情報には対応できないよなぁ 💡 外部知識をLLMに検索させよう!→RAGの誕生 Abstract日本語訳大規模な事前学習済み言語モデルは、そのパラメータに事実知識を蓄積し、下流の自然言語処理(NLP)タスクに微調整されたときに最先端の成果を達成することが示されています。しかし、知識をアクセスして正確に操作する能力は依然として限られており、知識集約型タスクでは、タスク固有のアーキ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ※(注記) この記事の内容は先日のQiita Nightでお話ししたことと一部重複します。 Qiita NightではLTの制限時間(10分)に収めるため、結構端折りました。 はじめに ChatGPTが登場してから数ヶ月が経ちました。 ChatGPTをはじめとしたGenerative AIは完全に現在のIT業界のトレンドとなっています。 今や多くの企業でChatGPT APIをサービスに組み込んで顧客提供を開始したり、自社の社内システムに組み込んだりと積極的に利用するようになりました。 私もGenerative AIが無くなると業務に支障が出る
2022年を境に爆発的な流行を見せはじめた AI 画像生成。コアとなる拡散モデルの基礎解説、研究領域で育てられた技術が一般層にまで羽撃いた変遷、その過程で生じた解決されるべき問題点、および日進月歩で増え続ける発展的な手法群について、網羅的に流れを追いかけるメタサーベイを作成しました。 明日にでも世...
国産AIはなぜ炎上する? 「mimic」開発元に反省点を聞いた 海外産AIは平常運転、待つのは"日本1人負け"か(1/3 ページ) 2022年、画像生成AIが大きな注目を集めた。7月に米Googleの「DALL・E 2」が一般公開され、8月に「Midjourney」「Stable Diffusion」、10月に「NovelAI Diffusion」(NovelAI)が出現し、いずれも大きな反響を集めた。これらはいずれも海外産サービスであるが、国産サービスでも話題になったものがある。それはラディウス・ファイブが開発した「mimic」だ。 mimicはイラストレーターの個性を反映した絵を無限に生成できるサービスとして、8月29日に公開された。しかし公開直後から「悪用の危険がある」など、イラストレーターを中心に声が上がり、翌30日にはサービス提供を一時停止に。同社はクリエイターに対し謝罪し、11
1 画像生成AIを含む生成系AIとビジネス ビジネス領域において、画像生成AIを含む生成系AI技術が利用される場面は大きく分けると2つあるように思います。 1つはユーザー側で利用する場面、つまり「生成系AIを利用して生成したコンテンツを自社プロダクトで用いる場合」、もう1つはベンダ側で提供する場面、つまり「生成系AIのモデルそのものや当該モデルをベースとするアプリケーションを開発・提供する場合」の2つです。 もちろん、企業によっては「自社で生成系AIツールを開発し、当該ツールを用いて生成したコンテンツを自社プロダクトで用いる」ということもあるでしょう。その場合は2つの領域双方にまたがった検討が必要です。 (1) 生成系AIのモデルそのものや当該モデルをベースとするアプリケーションを開発・提供する場合 生成系AIのモデルそのものや、当該モデルをベースとするアプリケーションをベンダ・サービサー
こんにちは、イノベーションセンターの加藤です。この記事では、大規模言語モデル(LLM)にJSONやソースコードを正しく出力させるための生成手法であるStructured Generationについて紹介します。 Structured Generationとは パーサーを用いた制約手法 正則言語とは 正則言語のStructured Generation 文脈自由言語とは 字句解析について 正則言語+文脈自由言語のStructured Generation まとめ Structured Generationとは 大規模言語モデル(LLM)はよくチャットボットとしての活用が目立ちますが、LLMの入出力を外部のプログラムに繋ぎ込むことでより高度な自然言語処理システムを作ることができます。 例えばOpenAIのCode Interpreter1はLLMをPythonの実行環境と接続することで、ユーザ
はじめに 食べログのメディア領域でサービス開発のエンジニアリングマネージャーをしている関戸です。 2023年5月8日のプレスリリースの通り、食べログの新たな取り組みとして2023年5月6日にChatGPTプラグインの提供を開始しました。さまざまなメディアで日本初の試みとして取り上げられています。 ChatGPTプラグイン提供の前提として、プラグイン開発をするためには、(当時は)ウェイトリストに登録し、開発者として招待される必要がありました。招待が届いたアカウントでは、プラグインの動作確認や開発ができるようになります。ウェイトリストに登録後、いつ招待が届くか分からない状況でした。 食べログではアカウントに招待が届いた当日に動作確認して、公開申請を提出しました。 OpenAI社によるChatGPTプラグインの発表後、どこよりもいち早くプラグインを提供することを目指して、必要な調整を事前に進めて
最近流行りのChatGPT。 「色々な作業を自動化した」 「国家試験に合格した」 ニュースで目にする機会も最近は多いと思います。 では、ChatGPTは現段階でどのくらい賢いのでしょうか? 「海外の司法試験で人間を超えた」などの情報をよく耳にしますが、実感が湧きませんよね。 今回は日本人に馴染みの深い大学入学共通テスト(旧センター試験)を題材に、その実力を検証してみました。 実験方法今回は、令和4年度の国語・英語(リーディング)・公民(倫理 / 政治・経済)の3科目について実験を行いました。 ※(注記) 数学・理科等の科目については図表を読み取る問題が多く、正確に試験できないため今回は除外しました。 ポイント1: テキストになおす大学入試センターで公表されている試験問題がPDFのため、ChatGPTに読めるテキスト形式にする必要があります。 今回はGoogle Docsの機能を活用して文字起こしし
漢字が読めない最新AIChatGPTの最新モデル、GPT-5に「植物百科通って何ですか」と聞いてみよう。一般にはそんな言葉はないのだが、順当に考えると「植物百科に詳しい人」みたいな感じの回答になるだろうか? 実際のGPT-5の返答はこうなる: 例1, 例2 「meltdown」や「overclock**」と間違えやすい単語ではないですよね? ここでいう "meltdown" ではなく "melting"...いや違いますね。 おそらくあなたが聞いているのは "melange" や "melt" ではなく、"melt" でもない。 さて本題。 "melange" ...あれ、違う、質問は "melange" じゃなくて "meltdown" ...すみません、私の脳内で脱線しました。(以下略) 例1「micro:bit(マイクロビット)」の文脈で「micro:bit + Edpuzzle」や「micro
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く