#r "nuget: Microsoft.ML.OnnxRuntimeGenAI.Cuda, 0.15.2"
using System.Collections.Generic;
using System.Diagnostics;
using System.IO;
using System.Linq;
using System.Net.Http;
using System.Runtime.InteropServices;
using Microsoft.ML.OnnxRuntimeGenAI;
// Windows peut résoudre C:\Windows\System32\onnxruntime.dll (ORT 1.17) avant
// la dépendance NuGet 1.28 requise par GenAI 0.15.2. Charger explicitement la
// bonne DLL en premier rend la résolution native déterministe dans le kernel.
string nugetRoot = Environment.GetFolderPath(Environment.SpecialFolder.UserProfile);
string ortNativeDir = Path.Combine(nugetRoot, ".nuget", "packages",
"microsoft.ml.onnxruntime.gpu.windows", "1.28.0", "runtimes", "win-x64", "native");
string ortDll = Path.Combine(ortNativeDir, "onnxruntime.dll");
if (!File.Exists(ortDll))
throw new FileNotFoundException("La dépendance native ORT 1.28 installée par NuGet est introuvable.", ortDll);
NativeLibrary.Load(ortDll);
Console.WriteLine("ORT natif 1.28 préchargé depuis le cache NuGet utilisateur.");
long VramUtiliseeMib()
{
var psi = new ProcessStartInfo("nvidia-smi", "--query-gpu=memory.used --format=csv,noheader,nounits")
{ RedirectStandardOutput = true, UseShellExecute = false, CreateNoWindow = true };
using var p = Process.Start(psi)!;
string sortie = p.StandardOutput.ReadToEnd().Trim();
p.WaitForExit();
return long.Parse(sortie);
}
string modelDir = Environment.GetEnvironmentVariable("ORTGENAI_MODEL_DIR")
?? Path.Combine("models", "qwen3-4b-ortgenai-cuda-int4");
var attendus = new (string Nom, long MinOctets)[] {
("model.onnx", 400_000),
("model.onnx.data", 2_800_000_000),
("genai_config.json", 500),
("config.json", 500),
("tokenizer.json", 11_000_000),
("tokenizer_config.json", 300),
("chat_template.jinja", 1_000),
};
const string UrlBase = "https://huggingface.co/onnx-community/Qwen3-4B-ONNX/resolve/main/onnxruntime/cuda/cuda-int4-kld-block-128";
Directory.CreateDirectory(modelDir);
int manquants = 0;
using (var http = new HttpClient())
{
http.Timeout = TimeSpan.FromMinutes(30);
http.DefaultRequestHeaders.UserAgent.ParseAdd("CoursIA-10f-notebook");
foreach (var (nom, minOctets) in attendus)
{
string chemin = Path.Combine(modelDir, nom);
bool ok = File.Exists(chemin) && new FileInfo(chemin).Length >= minOctets;
if (!ok)
{
manquants++;
Console.WriteLine($"téléchargement : {nom}");
string tmp = chemin + ".tmp";
using var resp = await http.GetAsync($"{UrlBase}/{nom}", HttpCompletionOption.ResponseHeadersRead);
resp.EnsureSuccessStatusCode();
using (var src = await resp.Content.ReadAsStreamAsync())
using (var dst = File.Create(tmp))
{
await src.CopyToAsync(dst);
}
File.Move(tmp, chemin, overwrite: true);
}
}
}
Console.WriteLine(manquants == 0
? $"Modèle complet : {modelDir} ({attendus.Length} fichiers vérifiés)"
: $"Modèle réparé ({manquants} fichier(s) téléchargé(s)) : {modelDir}");
foreach (var (nom, _) in attendus)
Console.WriteLine($" {nom,-24} {new FileInfo(Path.Combine(modelDir, nom)).Length / 1024.0 / 1024.0,9:F1} Mo");
Console.WriteLine($"VRAM au départ : {VramUtiliseeMib()} MiB");Installing Packages
- Microsoft.ML.OnnxRuntimeGenAI.Cuda
ORT natif 1.28 préchargé depuis le cache NuGet utilisateur.
Modèle complet : models\qwen3-4b-ortgenai-cuda-int4 (7 fichiers vérifiés)
model.onnx 0,5 Mo
model.onnx.data 2681,5 Mo
genai_config.json 0,0 Mo
config.json 0,0 Mo
tokenizer.json 10,9 Mo
tokenizer_config.json 0,0 Mo
chat_template.jinja 0,0 Mo
VRAM au départ : 0 MiB