※このページは、自動車関連企業等より配信されたパブリシティリリース記事をそのまま転載しております。掲載内容に関するお問い合わせ等につきましては、直接リリース配信元までお願いいたします。
〜日本語で対話可能な画像-言語複合モデルを実現〜
完全自動運転車両の開発・販売に取り組むTuring株式会社(千葉県柏市、代表取締役:山本 一成、以下「チューリング」)は、日本語を含む複数言語対応の大規模マルチモーダル学習ライブラリ「Heron(ヘロン)」と、それにより学習した最大700億パラメータのモデル群を公開したことをお知らせします。
チューリングでは高度な自動運転を実現するため、視覚情報によって得られた情報を、人間のように言語化して高度な文脈を理解できるAIモデルを開発しています。今回公開したマルチモーダルモデルの学習技術と知見を活かし、完全自動運転にむけた開発を進めてまいります。
![](https://jikayosha.jp/main/wp-content/uploads/2023/09/98132-34-75a64cd4a1d90ff4f6891b25ac27bd0a-1024x539-1.webp)
- マルチモーダルについて
近年注目されている大規模言語モデル(LLM)は、大量のテキストデータを学習に用いることで、広範な知識の獲得や人間のような応答が可能になります。大規模言語モデルは、一般的にその入力と出力はテキストに限定されるため、画像など視覚情報を用いたタスクには直接適用できないという課題があります。
例えば、「洗面台に横たわる猫」の写真に対し、「この画像の面白い点は何ですか?」という質問に答えるためには、画像と言語の双方を入力情報として扱えなければなりません。このように、入力の形態(モーダル)が複数あることを「マルチモーダル」と呼びます。
![](https://jikayosha.jp/main/wp-content/uploads/2023/09/98132-34-93dd3990af32c73bfde773740f5b4ea7-1391x802-1.webp)
今回公開したマルチモーダルモデルは、画像認識用に事前学習された「画像エンコーダ」部分と「大規模言語モデル」部分、およびその間をつなぐ「アダプタ」部分から構成されます。橋渡しするアダプタ部分を学習した後、画像エンコーダおよび大規模言語モデルも追加学習することで、全体として画像に何が写っているかを正確に把握しつつ、豊富な言語モデルの知識を利用して回答することが可能になります。
- マルチモーダル学習ライブラリ「Heron」について
チューリングが開発したマルチモーダル学習ライブラリ「Heron」(読み: ヘロン、アオサギの英名)は、画像認識モデルと大規模言語モデルを接続し、各モジュールを追加学習するための学習コード、日本語を含むデータセット、および学習済みのモデル群から構成されます。
Heronのモデル学習の最大の特長は、対話を含むデータセットを用いることにより、自然かつ適切な対話が可能となっている点です。これまでのマルチモーダルモデルでは単純な回答しかできなかった複合的な画像-言語タスクにおいて、より詳細で自然な文章生成が可能となり、前の質問を含む文脈を理解して応答することができます。
![](https://jikayosha.jp/main/wp-content/uploads/2023/09/98132-34-4b97b61b1ae4086d69d9e5f36bd68b12-1478x702-1.webp)
学習用ライブラリは、学習する大規模言語モデルを自由に変換可能であり、既存の言語モデルの性能を活かしつつ、今後開発・公開される新たな大規模言語モデルに対しても容易に対応できる柔軟性を有しています。本格的にマルチモーダルモデルを学習するために系統的に学習できるように工夫されており、ソースコード部分については研究・商用利用が可能なApache License 2.0で公開しました。
今回公開した学習済みのマルチモーダルモデル群は、Llama 2-chat、ELYZA-Llama 2、 Japanese StableLMなどをベースにHeronで追加学習を行い、マルチモーダル化させたものです。
こちらの学習したモデルをWebブラウザ上で試すことができるデモページもあわせて公開しました。
https://huggingface.co/spaces/turing-motors/heron_chat_blip
さらに、注釈テキストやQ&Aからなる約15万枚の画像/テキストの英文データセットに対し、独自に日本語に翻訳した大規模な日本語の画像/テキスト情報のデータセットを作成・公開しました。このような対話形式のマルチモーダル学習向けの大規模な日本語データセットの公開は、世界で初めてとなります。
【学習用ライブラリの公開URL】
https://github.com/turingmotors/heron
【マルチモーダルモデル群の公開URL】
https://huggingface.co/turing-motors
【学習用データセットの公開URL】
https://huggingface.co/datasets/turing-motors/LLaVA-Instruct-150K-JA
- LLMと完全自動運転の関係性
近年、AI技術の進化に伴い、大規模言語モデル(LLM)が注目を集めています。LLMは、大量のテキストデータから学習し、人間のような自然な文章を生成したり、質問に答えたりすることができるAIモデルです。チューリングは、完全自動運転の実現には人間と同等以上にこの世界を理解した自動運転AIが必要であると考え、言語を通じて極めて高いレベルでこの世界を認知・理解している、LLMを含むマルチモーダルモデルの開発を進めています。
<参考リリース>
https://prtimes.jp/main/html/rd/p/000000024.000098132.html
https://prtimes.jp/main/html/rd/p/000000032.000098132.html
- チューリングについて
チューリングは、「We Overtake Tesla」をミッションにかかげ、完全⾃動運転EVの量産を⽬指すスタートアップです。世界で初めて名人を倒した将棋AI「Ponanza」の開発者である⼭本⼀成と、カーネギーメロン⼤学で自動運転を研究し、Ph.D.を取得した⻘⽊俊介によって2021年に共同創業され、AI深層学習技術を⽤いた限定領域に留まらない「完全自動運転」の実現を目指しています。
![](https://jikayosha.jp/main/wp-content/uploads/2023/09/98132-34-5eb5da4ed6ab1573522a7e77d7d38dab-1920x1005-1.webp)
社名:Turing株式会社(読み:チューリング、英語表記:Turing Inc.)
代表者:代表取締役 ⼭本⼀成
設⽴:2021年8⽉
資本⾦:3,000万円(2022年9⽉末現在)
事業:完全自動運転EVの開発・製造
本社:千葉県柏市若柴226番地44中央141街区1
URL:https://www.turing-motors.com
- 採⽤情報
完全⾃動運転システム・EV⾞両を⼀緒につくる仲間を積極的に募集しています。
採⽤ページ:https://www.turing-motors.com/jobs
- 報道機関からのお問い合わせ先
広報担当(田中・山崎):pr@turing-motors.com
人気記事ランキング(全体)
コスパの高さは最高クラス 外壁や玄関の掃除、洗車などで活躍する高圧洗浄機。人力では落とせない頑固な汚れを落とすことができるため、家庭での使用も増えてきている。しかし、高圧洗浄機は価格が比較的高く、なか[…]
→2人暮らしができるレベルのキャンパーとは ベース車両はトヨタのハイエース ベースの車両はトヨタのハイエース。カスタムの幅が広く、アウトドアを中心としたユーザーに、非常に人気の高い車だ。 ハイエースは[…]
8月1日より、全国各地でフロンクスの実車を展示する、先行展示会を開催 追加した情報は、エクステリア、およびインテリアデザインやカラーラインアップに加え、チーフエンジニアやデザイナーのインタビュー動画な[…]
上級を意識した内外装仕立てで、新たなユーザー層の獲得を狙う 「新しいコンパクトSUVの市場を切り拓く」そんな狙いを持って、この秋インドから日本国内への導入が予定されている新型フロンクス。コンパクトカー[…]
Screenshot 標準車とは全く異なるワクワクするスタイリング、ボディカラーは全9色を展開 本日7月25日にスズキ「新型スペーシア ギア」の先行情報が公開された。現行スペーシアの優れた基本性能の高[…]
最新の投稿記事(全体)
耐水&耐荷重もバッチリ 「ハードシェルソーラーセンサーライト」は、駐車場や庭にピッタリな地面に設置できるソーラー充電式ライト。IPX7の防水性能と耐荷重に優れ、耐荷重約1tで車で踏んでも壊れない頑丈な[…]
ベース車両は日産のNV200バネット ベースとなる車両は日産のNV200バネット。 荷室が広くカスタムの自由度が高い。一方で、キャラバンより小ぶりなため、運転しやすく駐車スペースで悩むことも少ない。4[…]
新型LBX MORIZO RR実力チェック 新型オーラNISMO詳細解説 新型フロンクス先行試乗リポート! 今こそ買いたい!注目モデル10選! 人気ミニバン BEST BUY WLTCモード燃費付き […]
ベース車両はトヨタのハイエース ベースの車両はトヨタのハイエース。カスタムの幅が広く、アウトドアを中心としたユーザーに、非常に人気の高い車だ。 ハイエースはなんと言ってもクラス最大級の荷室の広さが魅力[…]
愛車に個性を持たせよう! カーショップコネクトでは、エプロンや被せるような汎用タイプとは違い、クルマのシート形状ごとに型取りを行って、ジャストフィットするシートを販売している。色やデザインを自由に選ぶ[…]