Together 3

開発者向けのフルスタックのオープンソースモデルのクラウドプラットフォーム。より高速な推論と低コストで、クローズドソースの最先端モデルに挑戦します。

開発者サービスオープンソースモデルのクラウドプラットフォーム

https://www.together.ai/

公式サイトへ

詳細レポート

「Together 3」は、Product Express Information Flow による Together AI の現世代プラットフォームの命名であり、2022 年に設立された「AI ネイティブクラウド」企業である Together AI と、そのフルスタックのオープンソースモデル推論およびトレーニングプラットフォームに対応します。その中心的な命題は単純明快です。最先端のオープンソースモデルをより高速かつ安価に実行できるようにし、AI を少数のクローズドソースの巨人の手から解放します。 2026 年 7 月、Togetter AI は 8 億米ドルのシリーズ C 資金調達を完了したばかりで、その評価額は 83 億米ドルに跳ね上がり、年間予約額は 11 億 5,000 万米ドルを超えました。オープンソースモデルの本番レベルのインフラストラクチャにおいて最も代表的な「Neoclouds」の1つとなっています。
Together AI は、Vipul Ved Prakash、Percy Liang、Ce Zhang によって 2022 年に設立されました。 Prakash は、2013 年にソーシャルメディア検索エンジン Topsy を Apple に 2 億米ドル以上で売却した連続起業家です。 Percy Liang はスタンフォード大学のコンピューターサイエンスの教授であり、有名なオープンソース評価ベンチマーク HELM の創設者です。 Ce Zhang は、チューリッヒ連邦工科大学 (ETH) とシカゴ大学の准教授であり、システムと大規模モデルのトレーニングに長年携わってきました。 3人は同社の使命を「インテリジェンスを豊富で手頃な価格にする」と設定し、オープンソースの重み付けモデルが実稼働レベルのAIのデフォルトのオプションになることに賭けている。資金調達のペースは、このトラックの加熱を明らかに反映しています。 2023 年に 1 億 250 万ドルのシリーズ A ラウンドを完了 (Kleiner Perkins が投資を主導し、NVIDIA が参加)。 2025年初頭に3億500万ドルのシリーズBラウンドを完了（ゼネラル・カタリストが投資を主導し、評価額は33億ドル）。 2026年3月、市場は評価額75億ドルで10億ドルを求めていると噂され、最終的に7月1日に8億ドルでクローズした。このラウンドは、83億ドルのポストマネー評価で、サウジアラムコの子会社であるアラムコ・ベンチャーズが主導し、エヌビディア、ビスタ・エクイティ、ゼネラル・カタリスト、エマージェンス、マーチ・キャピタル、ペガトロン、 SentinelOne の S Ventures、Salesforce Ventures など。株式に加えて、新しい投資家は500メガワットを超えるコンピューティング能力を独自に投資することを約束し、今後5年間で約50倍のインフラストラクチャの拡張をサポートします。
Together AI は一般ユーザー向けのチャットツールではなく、開発者に開かれたフルスタックのクラウドプラットフォームであり、実験から量産までの完全なリンクをカバーします。推論レイヤーは、サーバーレスのオンデマンド推論、Batch 非同期バッチ処理、Provisioned Throughput の予約スループットに加え、専用モデルインスタンスと生成メディア (ビデオ/オーディオ/画像) の専用コンテナ推論を提供します。コンピューティングレイヤーは、単一マシン上の 8 枚のカードから数百枚のカードまでのインスタントクラスターをサポートし、パッシブヘルスチェック、ノード修復、Slurm の信頼性向上などの実稼働レベルの機能を提供する、弾力的にスケーラブルな GPU クラスターです。モデルシェーピングレイヤーは、微調整パイプラインの完全なセットであり、LoRA およびフルパラメータ微調整、DPO、RLHF、継続的な事前トレーニング、ロングコンテキスト微調整、およびマルチラウンドダイアログ微調整をサポートし、TorchForge や AutoJudge などの自社開発ツールをサポートします。このプラットフォームの最も本当のセールスポイントは、モデルの幅広さと互換性です。 Llama 4、DeepSeek R1/V3、Qwen3、Mixtral、Gemma、Phi、Kimi K2 シリーズ、GLM-5 シリーズ、Nemotron、MiniMax などをカバーする 200 以上のオープンソースモデルをホストしており、新モデルはリリースから数時間以内にオンラインになることがよくあります。 API は OpenAI SDK と完全に互換性があります。開発者はベース URL とキーを変更するだけでクローズドソースモデルから移行でき、JSON モード、関数呼び出し、ストリーミング出力をサポートします。画像側ではStable DiffusionやFLUXなどを提供するほか、テキスト埋め込みAPIやコードサンドボックスも提供します。基礎的なパフォーマンスは、FlashAttendant-3/4、Togetter Megakernel、togetter.compile、ThunderKittens などの自社開発コアスタックに依存しています。公式によれば、推論が 2 倍高速になり、事前トレーニングが 90% 高速になり、全体のコストが 60% 削減されます。 2026 年に新たに開始されるプロビジョンドスループットは重要なアップグレードです。トークンによって課金される予約推論容量は 99% の SLA を提供し、MiniMax M3 や GLM-5.2 などの最先端のオープンソースモデルをサポートし、クローズドソース API よりも最大 90% 安価であるため、面倒な GPU 時間の計算が不要になると言われています。
AI の収益は、トークンによって請求される API コール (約 30 ～ 40% を占める) と GPU コンピューティング電力リース (約 60 ～ 70% を占める) の 2 つのラインに分かれており、粗利益率は約 45% です。開発者にとって、価格設定は最も重要なポイントです。サーバーレス推論はトークンによって課金されます。Llama 3.3 70B の入力と出力は両方とも 100 万トークンあたり 0.88 米ドル、Llama 4 Scout は 0.18/0.59、Maverick は 0.27/0.85、Qwen3 72B 0.90、DeepSeek V3 0.50、Gemma 3 27B 0.30、全体の比率GPT レベルのクローズドソースモデルは数倍安価です。このプラットフォームでは 71 を超える無料モデルが提供されます。無料版には 1 米ドルの割り当てが含まれており、開始価格は量に基づいて 100 万トークンあたり約 0.10 米ドルです。微調整にはトレーニングトークンごとに料金がかかります。 LoRA SFT の範囲は、モデルのサイズに基づいて、100 万トークンあたり 0.48 米ドルから 2.90 米ドルです。 70B ～ 100B のフルパラメータ微調整には最大約 8 ドルの費用がかかり、単一タスクの最低料金は 4 ドルです。 GPU クラウドは時間単位で請求され、A100 の場合は約 3.50 ドル/時間、H100 の場合は 5.50 ドル/時間、インスタントクラスターの場合はカードあたり 2.20 ～ 5.50 ドル/時間です。バッチ API は 30% ～ 50% の割引、24 時間配信を提供し、単一モデルで 300 億トークンを処理できます。ユーザーからよく評価されるポイントとして「送信トラフィック料金が無料」という点があり、大手クラウドベンダー3社と比べて実質的なコストメリットが挙げられます。
肯定的なコメントは、高速な推論速度、クローズドソースよりも大幅に低いコスト、OpenAI 互換性による低い移行コストの 3 つの側面に集中しています。開発者は一般に、自社開発の推論エンジンと FlashAttendant 最適化のおかげで、Llama、Qwen、Mixtral などのモデルが優れたレイテンシーとスループットパフォーマンスを実現し、OpenAI からの切り替えには数行の設定変更だけで済むことが多いと報告しています。モデルライブラリの「新しいリリースのスピード」もよく言われます。人気のあるオープンソースモデルは、多くの場合、リリース当日に入手可能です。研究コミュニティがそれに対して好印象を抱いているのは、それが実際にエコシステムにフィードバックされているという事実からも来ています。RedPajama オープンデータセットと FlashAttend の一連の研究はすべて、高いブランドの信頼を確立しています。否定的なフィードバックは、安定性とサポートに重点を置いています。特定の新しいモデルの人気のピーク時には、一部のユーザーが現在のスロットリング (HTTP 429) や断続的なタイムアウトに遭遇しました。これは、運用アプリケーションを実行しているチームにとって大きな問題でした。ドキュメントに関しては、基本的な API は明確に記述されていますが、微調整やプライベート GPU クラスターなどの高度な機能に関するドキュメントは、Azure や AWS に比べて完全ではないと考えられています。財務チームと運用保守チームは、請求ボードの詳細が十分でなく、API キーまたはプロジェクトごとにコストを内訳するのが難しいと不満を述べました。フリーファイルには現在の制限が厳しくなり (1 分あたり約 60 回)、ボリュームファイルには約 600 回まで増加し、エンタープライズファイルにはさらに高い制限が設定されています。
業界では、Togetter AI を「Neocloud」トラック (AI のトレーニングと推論のためのコンピューティングパワーのレンタルを提供する新興クラウド) に分類しています。 TechCrunch は、シリーズ C レポートの中でこれを「NVIDIA GPU クラスターをレンタルする新しい AI クラウド」と呼び、年間予約額が 11 億 5,000 万米ドルを超え、業界全体でのオープンソースモデルの使用が 1 年以内に 3 倍になったことを指摘しました。その顧客リストは印象的で、Cursor、Cognition、Decagon、イレブンラボ、Suno などがその中に含まれています。お客様からのフィードバックでは、6 倍から 20 倍のコスト削減効果が得られており、Decagon の移行後は推論コストが 6 倍に低下し、Vercept の推論は 11 倍高速になりました。競争という点では、Togetter AI の直接の競合相手には、Fireworks AI、Groq、Replicate、Modal、および CoreWeave、Lambda、TensorWave (AMD ルート) などのコンピューティングクラウドが含まれます。 Groq はトークンあたりのコストが安くなりますが、モデルカタログが 15 ～ 20 種類しかなく、微調整や GPU クラウドは提供されません。 Together AI は、そのプレミアムをサポートするために「200 以上のモデル + 微調整 + 推論 + GPU クラウド」の機能のフルセットに依存しています。マッキンゼーの調査によると、組織のほぼ 4 分の 3 がオープンソース AI の使用を増やす計画であり、この傾向が Together AI の評価急騰の背後にある基礎的なロジックです。
最も本質的な論争は、ポジショニングから生じます。Togetter AI には消費者指向のチャットインターフェイスがなく、完全に開発者および API 指向です。これは、「そのまま使用」したい個人ユーザーにとっては不向きです。第 2 に、安定性に関する懸念があります。動的電流制限は使用量が増加するにつれて緩和されますが、特定のモデルが突然人気が出るとカスタム電流制限やアクセス制限が依然として表示され、実稼働環境での突然のジッターを完全に回避するのは困難です。モデルの入手可能性はライセンスやパートナーシップによっても変化するため、開発者は自らのリスクで供給の変更に責任を負います。さらに、このプラットフォームには RAG、ベクターライブラリ、アプリケーションフレームワークが組み込まれていないため、すべてを自分で構築する必要があります。中小規模のチームの場合、「サーバーレスは安価で、専用インスタンスは安定している」という暗黙のしきい値があります。つまり、月々の推論ボリュームが約 2,000 米ドル未満の場合、ボリュームベースの方がコスト効率が高く、それを超える場合にのみ、専用インスタンスを使用する価値があります。
Together AI は、オープンソースモデルを使用して運用レベルのアプリケーションを構築するエンジニア、独自のデータに基づいてオープンソースモデルを微調整する必要がある ML チーム、クローズドソースの数分の 1 のコストで GPT-4 のパフォーマンスを達成したいスタートアップ企業の 3 つのタイプの人々に最も適しています。研究者や大学の研究室も、独自の GPU クラスターを構築する必要がなく、ベンチマークテストや実験に喜んで使用します。これは、既製のチャット製品を必要とする一般ユーザー、SLA には非常に敏感だがエンタープライズ契約を購入する気はない軽量チーム、および「最も安価な単一トークン」のみが必要だがモデルの幅に関する要件がないシナリオには適していません (その場合、Groq の方が簡単かもしれません)。新規ユーザーは、まず無料版と OpenAI 互換 SDK を使用して PoC を実行し、モデルのパフォーマンスを確認した後、コストを削減するために必要に応じてバッチまたはプロビジョンドスループットに切り替えることをお勧めします。実稼働負荷では、ピーク電流制限を回避するために、専用のエンドポイントを使用するか、スループットを予約する必要があります。
Together AI の本質は、「オープンソースモデル + 自社開発の推論コア + 弾力性のある GPU クラウド」を実稼働グレードのインフラストラクチャのセットに組み合わせ、コストと自由を利用してクローズドソースの最先端モデルの経済的アカウントに挑戦することです。これは消費者向けのおもちゃではなく、エンジニアが「インテリジェンスを豊富かつ安価にする」ためのシャベルです。オープンソースモデルがクローズドソースとの差を縮め続ける限り、このタイプの Neocloud の窓は閉まりません。

ユーザーレビュー

Barbara.Castillo_2023

—

yyds、オープンソース党の福音。

3g05nz

—

看板の板がゴツゴツしていて鍵を押しても開きません。

Catherine.Reyes

—

無料版の価格は 5 ドルで、オープンソースモデルの評価を長期間プレイするには十分な金額です。小さなプロジェクトは本当に楽しいです。

DEtho

—

ドキュメントには基本的な API が明確に書かれていますが、微調整の面では Azure よりも劣っています。それを理解するまでに 2 つの落とし穴がありました。

汪瑶

—

Together は素晴らしいもので、移行コストはゼロです。

JBrown_66

—

Web チャットインターフェイスや純粋な API はなく、個人使用には適していません。

GAgra

—

モデルライブラリは、Llama、Qwen、DeepSeek、Kimi、GLM など、非常に包括的です。新しいモデルは、多くの場合、発売当日に遊び場で試すことができます。私が最も重視しているのは「クイックアップデート」機能です。パラメータを調整したりモデルを見つけたりするために、どこでもプラットフォームを変更する必要はありません。

FrancesClarkX

—

OpenAIのbase_urlを変更した後、Llama 3ではほぼ同じ効果が得られ、請求額は半分以下になります。

叶怡

—

中国本土と直接接続でき、遅延も許容できるため、多くの海外推論プラットフォームよりもフレンドリーです。私たちの国内チームは、Llama 3.3 70B を使用して抄録を作成しましたが、エージェントとのトラブルもほとんどなく、西側でのエクスペリエンスと同様でした。

Paul_WalkerZ

—

私はカスタマーサービスボットとして、月に 200 ドル以上で GPT-4o を使用していました。 Together の DeepSeek V3 に切り替えた後、価格は同じ金額で 30 ドル強になりました。基本的に品質に差は感じられませんでした。財務部門はついに私を探すのをやめました。

DGreen

—

微調整の経験は良いです。私は自分の数百個のデータを使って小さなラマを訓練したところ、精度は 47% から 65% に向上し、コストはわずか数ドルでした。エンドポイントとしてデプロイすると、API を直接調整できるため、GPU を自分で使用するよりも多くの手間が省けます。

iHendrikQuaedvlieg_2024

—

バッチ API は本当に素晴らしいです。オフラインで数十万のデータにラベルを付けることができ、リアルタイムよりも 30% ～ 50% 安くなります。返答は24時間以内とかなり早いです。これは、多くの非同期アクティビティがあり、GPU にかかる費用を大幅に節約できる、今回のようなシナリオに適しています。

Rachel_Watson9

—

しばらく本番環境で使用していますが、結論としてはまだ無料版を使用しないでください。無料ファイルの現在の制限は非常に厳しいです。同時実行性が高い場合は、直接 429 に達し、キューを支払うことができません。その後、指数関数的バックオフを備えた有料サーバーレスに変更して再試行したところ、基本的には安定しました。本当にボリュームを増やしたい場合は、やはり専用のインスタンスを購入する必要があります。専用インスタンスはシングルテナント GPU 上で実行され、電流制限はなく、レイテンシは安定していますが、単価は高くなります。

MsCarolMorris_pro

—

RAG アプリケーションを構築し、埋め込みに Together インターフェイスを使用しました。検索・想起効果は大手メーカーと比べても遜色ありません。推論から微調整までのセット全体が 1 つのプラットフォーム上で実行されます。 OpenAI との互換性により、古いコードをほとんど変更せずに移行できます。唯一の不満は、請求委員会の詳細が十分ではなく、プロジェクトのコストに基づいて請求書を引き出すには独自のスクリプトを作成する必要があるため、財務上の調整が少し面倒になることです。

Heather.JenkinsJr

—

Groq と比較すると、Groq の単一トークンは安価でレイテンシが低いですが、モデルが数十しかなく、微調整されていません。 Together は、200 を超えるモデルと微調整、および GPU クラウドのワンストップサービスを含む「オールインワン」モデルに焦点を当てています。これは、推論と時折のトレーニングの両方を必要とする私たちのような小規模チームに適しています。値段は高くなりますが安心です。

Jacob_MartinezX

—

実際の安定性テストは問題ありません。サードパーティのモニタリングによると、30 日間の可用性率は 99.2%、平均遅延は 156 ミリ秒であり、これは当社の経験と同様です。特に新しいモデルが普及した場合には、ピーク電流制限が発生することがありますが、再試行ロジックを追加することで克服できます。全体として、vLLM を自分でホストするよりも多くの手間が省け、運用および保守の人員が直接削減されます。

Together 3

詳細レポート

ユーザーレビュー

類似の製品