Magika

Google安全团队开发的AI文件类型检测工具

Google 文書処理

https://securityresearch.google/magika/

公式サイトへ

詳細レポート

Magika は、Google のセキュリティ研究チームが開発した AI 主導のファイルタイプ検出ツールで、ディープラーニングテクノロジーを使用して高精度のファイル識別を実現します。このツールは、ファイル拡張子を知らなくても、ファイルの内容だけでファイルの種類を正確に判断でき、テストセットにおける平均精度は約 99% です。 Google の社内セキュリティインフラストラクチャの一部として、Magika は毎週数百億のファイルサンプルを処理し、Gmail や Google Drive などのコア製品に統合されています。
Google セキュリティ研究チームによって開発された Magika は、Google が社内で使用するファイルタイプ検出インフラストラクチャです。このプロジェクトは 2024 年 2 月に初めて公開され、IEEE/ACM ICSE 2025 カンファレンスで技術論文が発表されました。このツールの中心的な価値は、ファイル拡張子に依存する従来のファイルタイプ検出方法の問題を解決することです。深層学習モデルを使用してファイルの内容からファイルの種類を直接識別し、セキュリティスキャンのためにより信頼性の高い検出機能を提供します。
コア機能には、高精度の検出が含まれます。モデルは、約 1 億サンプル、200 を超えるコンテンツタイプを含むデータセットでトレーニングおよび評価され、テストセットの平均精度は 99% で、バイナリおよびテキスト形式の認識のサポートが行われます。高速推論ももう 1 つのハイライトです。モデルのロード後 (1 回のオーバーヘッド)、ファイルあたりの推論時間は約 5 ミリ秒であり、単一の CPU で実行している場合でも効率的です。また、軽量設計も採用されています。カスタマイズされた最適化モデルのサイズはわずか数 MB であり、システムに追加の負担をかけません。また、推論時間が一定であるという特性もあります。つまり、ファイルサイズに関係なく、ファイルコンテンツの限られたサブセットのみが処理に使用されます。インテリジェントな機能に関しては、適応しきい値システムがコンテンツタイプごとにしきい値を微調整し、特定の予測結果を返すか一般化されたラベルを返すかを決定します。エラー許容度は、さまざまな予測モードを通じて制御できます。アプリケーションシナリオには、Gmail の添付ファイル検出、Google ドライブファイルスキャン、セーフブラウジングセキュリティスキャン、VirusTotal や Abuse.ch などのマルウェア検出プラットフォームへの統合が含まれており、毎週数百億のサンプルを処理します。複数のインターフェイスのサポートを提供します: コマンドラインツール (Rust)、Python API、JavaScript/TypeScript (実験的な npm パッケージ)、Rust API、GoLang API は開発中です。
Magika は Google セキュリティ研究チームのオープンソースプロジェクトであり、無料で使用できます。ツールソフトウェアとして、主に開発者やセキュリティ研究者を対象としています。
Google 内部で使用されているセキュリティツールである Magika は、ファイルタイプ検出の分野で優れた技術的利点を持っています。主なコメントは技術コミュニティからのものです。深層学習による検出方法は、従来の拡張ベースの方法よりも信頼性が高くなります。高速推論機能は、大規模なファイルスキャンシナリオに適しています。オープンソースバージョンは、開発者が自分のプロジェクトに簡単に統合できます。
Magika はセキュリティ研究コミュニティで肯定的な注目を集めています。従来のファイルタイプ検出ツールと比較した場合、その主な技術的利点は、単純なファイル署名の照合ではなく深層学習モデルを使用して、難読化されたファイルまたは破損したファイルを識別することです。 IEEE/ACM ICSE 2025 で発表された技術論文は、その学術的価値をさらに実証しています。
これまでのところ、重大な紛争やリスクは確認されていません。 Google のセキュリティ研究プロジェクトである Magika は、主にファイルのセキュリティ検出機能を向上させるために使用されており、ユーザーデータの収集などのプライバシーの問題は関与しません。
推奨される使用シナリオは次のとおりです。信頼できる悪意のあるファイル検出ツールを必要とするセキュリティ研究者。ファイルタイプ検出機能をアプリケーションに統合する必要がある開発者。バッチスキャンのために大量のファイルを処理する必要があるエンタープライズレベルのユーザー。推奨されないシナリオには次のものがあります。単純なファイル管理が必要な場合 (オペレーティングシステムの組み込み機能で十分です)。予算が限られているプロジェクト（無料の代替案を見つけることができます）。技術者以外のユーザー (統合して使用するには、特定の技術的背景が必要です)。
Magika は、Google セキュリティチームが開発したプロフェッショナルなファイルタイプ検出ツールです。技術的に進歩しており、オープンソースで無料です。そのディープラーニング手法は精度と効率の点で大きな利点があり、ファイルセキュリティに対する高い要件を持つ企業や個人の開発者に適しています。統合されたファイル検出機能が必要な開発者にとって、これは検討する価値のあるオプションです。

ユーザーレビュー

Nic_ole932

—

Google 开源的文件类型检测工具确实强，99% 准确率不是吹的，测试了几个混淆的文件都能正确识别。

史娜磊

—

5毫秒的推理速度太快了，批量处理几千个文件跟玩一样。

ChloeLord

—

已经集成到我们的安全扫描流程中了，效果比之前的工具好太多。

莲花858

—

模型只有几 MB，太轻量了，嵌入式设备也能跑。

JClark_886

—

不需要文件扩展名就能识别，这个特性太实用了，很多恶意软件都会伪装扩展名。

Carolyn.Cruz_2020

—

Python API 很好用，几行代码就集成好了，文档也清晰。

Raymond.Brown_Plus

—

Google 内部每周处理数百亿样本的产品，值得信赖。

EvaLi

—

自适应阈值系统很智能，检测结果可以根据需求配置。

piic9jnu

—

ICSE 2025 发了论文，学术价值也很高。

Judy_Long007

—

Rust 命令行工具很好用，跨平台无压力。

Thomas_Parker_88

—

Web Demo 很方便，不用安装直接就能试用。

OClin

—

和 VirusTotal 集成了，安全生态很强。

BGutierrez_2020

—

支持 200 多种文件类型，覆盖面很广。

KathleenEdwards_77

—

深度学习模型比传统签名匹配强多了，混淆文件也能识别。

Evelyn.Ruiz_66

—

批量处理用 -r 参数递归扫描目录，很方便。

NusretSprangers

—

开源免费，而且 Google 安全团队维护，放心。

MrCameronZhang_2024

—

已经取代了我们之前的 file 命令，性能更好。

AndreaFoster_99

—

检测速度与文件大小无关，只用内容子集，效率很高。

SColeman_Pro

—

Go API 开发中，期待以后能集成到 Go 项目中。

Magika

詳細レポート

ユーザーレビュー

類似の製品