{"id":18994779,"url":"https://github.com/qdraw/theiacore","last_synced_at":"2025-04-16T18:33:04.573Z","repository":{"id":56274120,"uuid":"120906173","full_name":"qdraw/theiacore","owner":"qdraw","description":"How to see sharper with Tensorflow","archived":false,"fork":false,"pushed_at":"2023-08-15T21:40:44.000Z","size":2071,"stargazers_count":4,"open_issues_count":7,"forks_count":1,"subscribers_count":2,"default_branch":"master","last_synced_at":"2024-04-16T03:01:13.100Z","etag":null,"topics":["asp-net-core","tensorflow","tensorflow-tutorials"],"latest_commit_sha":null,"homepage":"","language":"C#","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/qdraw.png","metadata":{"files":{"readme":"readme-nl.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null}},"created_at":"2018-02-09T13:00:37.000Z","updated_at":"2023-05-27T11:04:31.000Z","dependencies_parsed_at":"2022-08-15T15:50:32.355Z","dependency_job_id":null,"html_url":"https://github.com/qdraw/theiacore","commit_stats":null,"previous_names":[],"tags_count":1,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/qdraw%2Ftheiacore","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/qdraw%2Ftheiacore/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/qdraw%2Ftheiacore/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/qdraw%2Ftheiacore/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/qdraw","download_url":"https://codeload.github.com/qdraw/theiacore/tar.gz/refs/heads/master","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":223724793,"owners_count":17192394,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["asp-net-core","tensorflow","tensorflow-tutorials"],"created_at":"2024-11-08T17:27:01.889Z","updated_at":"2024-11-08T17:27:02.590Z","avatar_url":"https://github.com/qdraw.png","language":"C#","funding_links":[],"categories":[],"sub_categories":[],"readme":"## Hoe werkt Tensorflow samen met Microsoft Technologie\nMet Tensorflow en Artificial Intelligence het is mogelijk om afbeeldingen realtime te analyseren. In deze blogpost ga ik objecten detecteren in afbeeldingen met Tensorflow en C#. TensorFlow is een open source library voor wiskundige berekeningen. Door gebruik te maken van TensorFlow, het meest populaire deep learning framework, is het mogelijk om dit framework in te zetten voor verschillende doeleinden. In dit voorbeeld gebruik ik Tensorflow in combinatie met _.NET Core 2_\n![Detecting two cars and a person](https://media.qdraw.nl/log//hoe-werkt-tensorflow-samen-met-microsoft-technologie/1000/001_20180219-demo-object-detection-city_kl1k.jpg)\n_Detecteer twee auto’s en een persoon_\n### Een Artificial Intelligence project\nIn Theiacore gebruik ik twee Visual Studio projecten in één solution. Theiacore wordt gebruikt voor het genereren van webpagina’s. Ik heb gebruik het MVC Framework voor het  genereren van webpagina’s. ObjectDetect wordt gebruikt voor het Artificial Intelligence gedeelte. Voor Tensorflow zijn er bindings (een koppeling tussen twee frameworks) beschikbaar voor verschillende programmeertalen. Python is de meest populaire binding en hiervoor zijn de meeste online voorbeelden beschikbaar. Voor de programmeertaal C# is er [TensorflowSharp](https://github.com/migueldeicaza/TensorFlowSharp), dit is een onofficiële binding die goed werkt voor object detection.\nIn dit voorbeeld focus ik mij op het gebruiken van een Machine learning model voor object herkenning. Dit model is getraind op Microsoft COCO. Deze dataset wordt gebruikt voor het herkennen van objecten in 90 verschillende categorieën.\n### ObjectDetect-project\nIk gebruik het ObjectDetect-project om door middel van Artificial Intelligence data te verzamelen over de afbeeldingen. In de volgende code snippets zal ik toelichten hoe dit werkt.\nLaten we beginnen met een blank canvas. In Tensorflow is dit een leeg `TFGraph()`. In een `TFGraph()` worden er twee dingen opgeslagen. Het eerste item is een structuur en het tweede is de graph zelf. Een graph zijn de learnings van het deeplearing framework. In [Train een tensorflow gezicht object detectie model](https://qdraw.nl/blog/design/train-een-tensorflow-gezicht-object-detectie-model/) leg ik uit hoe je het beste zelf een model kunt trainen en deze kan opslaan als frozen-model. Dit model wordt geladen in de graph. De graph is het geheugen van je computer.\n```cs\npublic static ImageHolder GetJsonFormat(string input) {\nvar list = new List\u003cstring\u003e();\n```\nEen Catalog is een geïndexeerd bestand waarin de namen van de objecten staan uitgeschreven. Het bestand heet: ` mscoco_label_map.pbtxt`\n```cs\n _catalog = CatalogUtil.ReadCatalogItems(_catalogPath);\n string modelFile = _modelPath;\nusing (var graph = new TFGraph()) {\n```\nHet frozen model wordt ingeladen in het geheugen. Ik gebruik `TFGraph()` om de data en de metadata van het model in het geheugen te laden.\n```cs\n var model = File.ReadAllBytes(modelFile);\n graph.Import(new TFBuffer(model));\n```\nStart een nieuwe sessie om de wiskundige berekeningen uit te voeren. In deze sessie worden de objecten herkenend.\n```cs\n using (var session = new TFSession(graph)) {\n```\nDe variabel `input` in een string met een link naar de locatie van de afbeelding. Deze wordt geimporteerd als multidimensionale array, wat ook wel een Tensor wordt genoemd.\n```cs\n var tensor = ImageUtil.CreateTensorFromImageFile(input, TFDataType.UInt8);\n```\nMet de `runner` wordt het mogelijk om het algoritme te tweaken. Zo is het mogelijk om de inputs, outputs en te configureren.\n```cs\n var runner = session.GetRunner();\n runner\n .AddInput(graph[“image_tensor”][0], tensor)\n .Fetch(\n graph[“detection_boxes”][0],\n graph[“detection_scores”][0],\n graph[“detection_classes”][0],\n graph[“num_detections”][0]);\n var output = runner.Run();\nvar boxes = (float[,,])output[0].GetValue(jagged: false);\n var scores = (float[,])output[1].GetValue(jagged: false);\n var classes = (float[,])output[2].GetValue(jagged: false);\n var num = (float[])output[3].GetValue(jagged: false);\n```\nDe `boxes`, `scores` and `classes` zijn arrays en ik gebruik `GetBoxes` om de waardes over de objecten uit deze arrays te krijgen.\n```cs\n var getBoxes = GetBoxes(boxes, scores, classes, input, 0.5);\n return getBoxes;\n }\n }\n}\n```\n### Krijg de complete solution werkend.\nDe broncode van het complete project is publiek beschikbaar, zo kun je exact zien hoe ik het opgelost heb. De volgende stappen ben je nodig om dit project werkend te krijgen.\n![Detecting two cars and a person](https://media.qdraw.nl/log/hoe-werkt-tensorflow-samen-met-microsoft-technologie/embed/002_20180219-demo-object-detection-train.gif)\n_Whoop, whoop, dit is het resultaat_\n### Installation steps\nTensorflow vereist dat je een _x64 runtime_ gebruikt. De .NET Core SDK is standaard x64. Wanneer je een x86 (32-bits) versie gebruikt switch s.v.p. eerst naar een 64-bits versie. Als je van plan bent om Azure webapps te gebruiken, deze zijn bij default 32-bits.\n#### 1. Clone repository\nDe eerste stap om de repository te downloaden vanuit GitHub.\n```sh\n$ git clone \"https://github.com/qdraw/theiacore\"\n```\n#### 2. Download de Pretrained Tensorflow Model en labels\nDe frozen-models zijn niet ingesloten in de Github repository. Download en plaats deze bestanden in de map: `theiacore/ObjectDetect`:\n- [mscoco_label_map.pbtxt](https://github.com/qdraw/theiacore/releases/download/0.1/mscoco_label_map.pbtxt)\n- [mscoco_label_map_nl.pbtxt](https://github.com/qdraw/theiacore/releases/download/0.1/mscoco_label_map_nl.pbtxt)\n- [ssd_mobilenet_v1_coco_2017_11_17.pb](https://github.com/qdraw/theiacore/releases/download/0.1/ssd_mobilenet_v1_coco_2017_11_17.pb)\nEn kopieer deze bestanden naar de map: `theiacore/ObjectDetect`\n#### 3. Download _Reference assemblies_\nDe Libtensorflow is platform afhankelijk en voor het draaien op bijvoorbeeld een Azure is het nodig dat deze assemblies los worden toegevoegd in de map: `theiacore/theiacore`\n__List of Libtensorflow downloadurls based on platform:__\n- _Windows:_\n — [libtensorflow.dll](https://github.com/qdraw/theiacore/releases/download/0.1/libtensorflow.dll)\n- _Mac OS:_\n — [libtensorflow.dylib](https://github.com/qdraw/theiacore/releases/download/0.1/libtensorflow.dylib)\n — [libtensorflow_framework.dylib](https://github.com/qdraw/theiacore/releases/download/0.1/libtensorflow_framework.dylib)\n- _Linux:_\n — [libtensorflow.so](https://github.com/qdraw/theiacore/releases/download/0.1/libtensorflow.so)\n — [libtensorflow_framework.so](https://github.com/qdraw/theiacore/releases/download/0.1/libtensorflow_framework.so)\n#### Azure web apps\nAls je van plan bent om dit project binnen een Azure webapp te gebruiken. Azure webapp draaien .Net Core draait standaard in x86 mode. In de repository is `build-for-azure-x64.sh` te vinden. Draai het buildscript en de truck is om de bestanden `/theiacore/theiacore/theiacore/bin/release/netcoreapp2.0/win-x64/publish` te kopieren naar de `wwwroot` binnen de Azure webapp. Start de webapp en het werkt.\n#### 4. Start Theiacore\n```sh\n$ cd theiacore/theiacore\n$ dotnet run\nNow listening on: http://localhost:63884\n```\n Mocht de wereld van Computer Vision je interesse hebben gewekt, maar weet je nog niet hoe je dit kunt toepassen en heb je de nodige vragen? [Stuur mij dan een mailtje dan kunnen we een kopje koffie drinken.](https://qdraw.nl/contact.html)\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fqdraw%2Ftheiacore","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fqdraw%2Ftheiacore","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fqdraw%2Ftheiacore/lists"}