AWS S3 Storage ile Dosya İşlemleri

Bu yazımızda, AWS’nin storage hizmeti olan Amazon S3 Storage ve .NET SDK’sını kullanarak dosyalarımızı nasıl yöneteceğimizi inceleyeceğiz.

Bir web uygulamasında, sıklıkla dosya yükleme kullanılıyorsa, sunucuda tutulan bu dosyaların saklama, arşivleme ve hatta yükleme işlerinin bir süre sonra baş ağrıtan bir problem haline gelme ihtimali epey yüksektir. Amazon’un S3 Storage hizmeti ya da benzeri ürünler, scalability, arşivleme ve analitik konularında pratik ve kolay uygulanabilir çözümleri güvenli bir yolla kullanıma sunuyor. Bu yüzden, web uygulamalarının deploy edildiği klasörler içinde yazma – okuma işini, S3 bucket’larına devredebiliriz.

AWS Console üzerinden S3 servisine gidiyoruz ve yeni bir bucket oluşturuyoruz. Bucket adımız, AWS üzerindeki tüm bucketlar içinde tekil olmalıdır.

createbucket[0]

AWS, bize bir sonraki kısımda versiyonlama, loglama ve tag kullanıp kullanmayacağımızı soruyor, şimdi her birinin ne işe yaradığına kısaca bakalım;

Versiyonlama

Versiyonlamayı aktif etmek demek,  bucket içinde tuttuğumuz bir objenin farklı versioning_Enabledçeşitlerinin bir versionID ile birlikte tutulması anlamına gelir. Bu özellik ile aynı objenin tekrar yüklenmesi ve silinmesi durumunda ilk haline dönüşü sağlanabilir. Aşağıdaki görselde “h0721u2562x0134v3959” keyName’e sahip bir fotoğrafın ilk haline ulaşacağımız link, version ID ve son değiştirilme tarihi görülmektedir.

createbucket[1]

Loglama

Yüklenen dosyaların daha detaylı bilgilerine erişmek isteniyorsa loglama özelliği ücretsiz bir şekilde aktif edilebilir. (Ancak AWS log dosyalarını başka bir yere taşımak isterseniz data transfer ile bir tutarak ücret kesiyor.)

Bucket Owner Id
79
a59df900b949e55d96a1e698fbacedfd6e09d98eacf8f8d5218e7cd47ef2be
Bucket Name
mybucket
Create Date
[06/Feb/2014:00:00:38 +0000]
Remote IP
192.0.2.3
Requester
79a59df900b949e55d96a1e698fbacedfd6e09d98eacf8f8d5218e7cd47ef2be
Request Id (Amazon tarafından her request için oluşturulur.)
3E57427F3EXAMPLE
File Name
keyname
Operation
REST.GET.VERSIONING –
Key
“GET /mybucket?versioning
HTTP/1.1”

200
Bytes Sent
113
Total Time
7
Error Message
“-”
“S3Console/0.4”

Tag Ekleme

Dosya yükleme esnasında, dosyayla bir ya da daha fazla tag ilişkilendirilerek kategorize edilebilir.

3. adımda kullanıcıların bucket içindeki dosyalara olan erişim kurallarını belirlememiz gerekiyor. Bu kısım varsayılan olarak geçilerek bucket’ı oluşturuyoruz ve içine girip Permissions sekmesindeki Bucket Policy alanına giriyoruz. Burada yer alan Policy Generator aracından faydalanarak erişim kurallarımızı belirleyebiliriz.

createbucket[12].PNG

Burada oluşturduğumuz JSON formatındaki kural setini, Bucket Policy içine kopyalayaıp kaydediyoruz. Artık bucket’ımızı kullanmaya hazırız.

Bu örnekte stream ve path kullanarak fotoğraf yükleme ve silme işlemlerini yapacağız. İlk olarak projemize AWSSDK.S3 paketini yükleyerek başlayabiliriz. Byte dizisi şeklindeki bir fotoğrafı yüklemek istiyorsak, MemoryStream sınıfı ile basit bir şekilde gerçekleştirebiliriz.

public static string UploadImageToAws(string keyName, string bucketName, byte[] imageArray)
        {
            try
            {
                using (var ms = new MemoryStream())
                {
                    client = new AmazonS3Client(ConfigurationManager.AppSettings["AWSAccessKey"],
                    ConfigurationManager.AppSettings["AWSSecretAccessKey"], RegionEndpoint.EUWest1);
                    var tu = new Amazon.S3.Transfer.TransferUtility(client);

                    ms.Write(imageArray, 0, imageArray.Length);
                    ms.Position = 0;
                    var req = new Amazon.S3.Transfer.TransferUtilityUploadRequest();
                    req.BucketName = bucketName;
                    req.Key = keyName;
                    req.InputStream = ms;
                    tu.Upload(req);

                    return "https://s3.amazonaws.com/" + bucketName + "/" + keyName;
                }
            }
            catch (AmazonS3Exception amazonS3Exception)
            {
                Console.WriteLine(amazonS3Exception.Message);
            }
            catch (Exception ex)
            {
                throw (ex);
            }
            return string.Empty;
        }

Mevcut bir fotoğrafı silmek içinse aşağıdaki gibi DeleteObject() metodunu çağırmak yeterli.

public static bool DeleteImageToAws(string keyName, string bucketName)
        {
            using (client = new AmazonS3Client(ConfigurationManager.AppSettings["AWSAccessKey"],
                   ConfigurationManager.AppSettings["AWSSecretAccessKey"], RegionEndpoint.EUWest1))
            {
                DeleteObjectRequest dor = new DeleteObjectRequest() { BucketName = bucketName, Key = keyName };
                client.DeleteObject(dor);
            }

            return true;
        }

 

Reklamlar

C# ve MongoDB ile MapReduce Kullanımı

MapReduce, kısaca Google’ın veri işleme, indexleme gibi işlemlerinin arka planında yer alan algoritmasıdır. Çok sayıda makina barındıran kümelerle oluşturulan dağıtık mimari ile verilerin toplanması ve analiz edilmesi sağlanır.

Dağıtık mimari dediğimiz yapıda tüm veriyi alan ana düğüm (master node), alt düğümlere (worker node) veri toplama işini dağıtır. Toplanan veriler birleştirilerek ana düğüme tekrar gönderilir. Reduce aşamasında ise veri analiz edilir. İlişkisel veritabanları mantığı ile düşünürsek; map, select ifadesini, reduce ise count, having, avg gibi ‘data-aggreagation- işlemlerine karşılık geliyor. NoSQL sistemlerinde bu işlemlerin biraz daha karmaşık olması sebebiyle MapReduce işimizi gerçekten kolaylaştırıyor. MongoDB’nin dökümantasyonundan aldığım aşağıdaki görsel durumu daha açıklayıcı hale getirebilir.

map-reduce

MapReduce yapısının Google’ın bir algoritması olduğunu söylemiştik. C# ile MapReduce yapısını kullanmak istiorsanız MongoDB üzerinde entegre olarak geliyor. MongoDB C# driver ı her versiyonda biraz farklılaşıyor. Aşağıdaki örnekte 1.9.2 sürümünü kullandığımı belirteyim. Siz de projede kullanmak için Package Manager Console üzerinden dahil edebilirsiniz.

PM> Install-Package mongocsharpdriver -Version 1.9.2

Örnek senaryomuzda Products adında basit bir koleksiyon üzerinde bazı işlemler yapacağız. Aşağıdaki sınıfla veritabanından çekeceğimiz veri için model oluşturuyoruz.

class Product
    {
        public string name { get; set; }
        public string category { get; set; }
        public double price { get; set; }
        public DateTime enterTime { get; set; }
    }

Oluşturduğumuz koleksiyon içine ürün eklemek için MongoCollection sınıfından bir liste oluşturup Insert ya da  InsertBatch metodunu kullanabiliriz. InsertBatch() birden fazla verinin eklenmesini sağlar. AddProducts() içinde localhost‘a bağlanmak için gereken işlemlere de yer verdim. Uri‘ye veritabanı isminizi (bu örnekte test) verdikten sonra koleksiyonlarınıza GetCollection() metodu ile ulaşabilirsiniz.

static void AddProducts()
        {
            const string uri = "mongodb://localhost/test";
            var client = new MongoClient(uri);
            var db = client.GetServer().GetDatabase(new MongoUrl(uri).DatabaseName);

            var collection = db.GetCollection<Product>("Products");

            var products = new List<Product>{
                new Product {   name = "potato", 
                                category = "vegetables",
                                price = 5.32, 
                                enterTime = new DateTime(2015, 09, 14) },

                new Product {   name = "eggplant", 
                                category = "vegetables", 
                                price = 3, 
                                enterTime = new DateTime(2015, 09, 14) },
            };

            collection.InsertBatch(products);
        }

Bu kısımdan sonra asıl işlemlere yani map – reduce – finalize fonksiyonlarına geçebiliriz. Bu fonksiyonların MongoDB için Javascript ile yazıldığını hatırlatalım. Verilerin analizini price değeri üzerinden yapmayı seçersek fonksiyonlarımız aşağıdaki gibi şekillenecektir.

string map = @"
               function() {
               var product = this;
               emit(product.category, { count: 1, price: product.price });
                            }";

map işleminde, emit fonksiyonu kendisine gelen parametreleri key - value şeklinde toplamaktadır. Burada key, veriyi neye göre gruplayacağımıza karar verdiğimiz değerken (bu örnekte product) diğer parametre olan value, ürünün fiyatı ve sayısı (1 olmak durumunda) olmaktadır. Farklı düğümler üzerinde topladığımız veriyi ana düğüme aktardıktan sonra reduce fonksiyonuna geçebiliriz.

string reduce = @"        
                            function(key, values) {
                                var result = {count: 0, price: 0 };

                                values.forEach(function(value){               
                                    result.count += value.count;
                                    result.price += value.price;
                                });

                                return result;
                            }";

Map işleminden sonra bir bütün halinde gönderilen veri analiz edilerek tekrar toplanarak result adında tek bir veri haline getiriliyor. Burada her ürünün fiyatları toplanıyor. Buraya kadar yaptığımız işlemleri daha görsel bir örnekle açıklamaya çalışalım.

apple 3.25
orange 5
melon 2
—————

cucumber 2
eggplant 3
potato 5,32
—————

PC 4000
TV 3400

Yukarıda kategorilerine göre (fruits, vegetables, electronics..) key – value şeklinde sıralanmış veriler görüyoruz. Bu veri yapısı aynı zamanda toplanmış verinin reduce işlemine hazır olduğu anlamına geliyor. Reduce işlemi sonrası ise şöyle bir yapı ile karşılaşıyoruz;

reduce

 

 

 

 

Görüldüğü gibi ürünler kategorilerine göre gruplanmış ve fiyatlarının toplamı da alınmış bir şekilde gözüküyor. count, price değerlerinin yanısıra average değeri de gözünüze çarpmış olabilir.

string finalize = @"
                                function(key, value){
      
                                  value.average = value.price / value.count;
                                  return value;

                                }";

 

finalize fonksiyonu isteğe bağlı kullanılan ve reduce işleminden geçen veri üzerinde başka işlemler yapılmak istendiğinde kullanılabilir. Burada her kategorinin fiyat ortalamasını almış oluyoruz. Map, reduce ve finalize fonksiyonlarını yazarak verilerin nasıl toplanacağını ve analiz edeceğini belirtmiş olduk. Ancak neye göre gruplanacağı sorusuna henüz cevap vermedik. Örneğin toplanan fiyat değerinin 100’den büyük olduğu verileri, sadece fruits kategorisindeki verileri ya da giriş tarihi (bu örnekte enterTime) geçen ay ve bugüne kadar olan ürünleri listelemek istediğimizde ne yapacağız?

var mapReduceQuery = Query.GT("price", 100);

var options = new MapReduceOptionsBuilder();
options.SetFinalize(finalize);
options.SetOutput(MapReduceOutput.Inline);
options.SetQuery(mapReduceQuery);
var results = collection.MapReduce(map, reduce, options);


foreach (var result in results.GetResults())
{
    Console.WriteLine(result.ToJson()+"\n");
}

 

mapReduceQuery nesnesi ile çok çeşitli kombinasyonlar yapıp sonuçları değerlendirebilirsiniz. Bu basit uygulama dışında MapReduce işlemlerinin kullanıldığı örneklere Facebook’un kullanıcı davranışı analizlerinde, Amazon’un sunduğu web servis hizmetlerinden Amazon Elastic MapReduceu ve Linkedin, Twitter, Yahoo gibi çok büyük verilerle uğraşan şirketlerin yoğun olarak kullandığını verebiliriz. Daha fazla bilgi için MapReduce algoritmasını kullanan açık kaynak kodlu Hadoop platformunu inceleyebilirsiniz.

Windows 8 ve Windows Server 2012’de ASP.NET 4.5 Kullanımı

Windows’un önceki versiyonlarında Default Web Site altındaki bir uygulamanın framework değerini komut satırından aspnet_regiis.exe ve gerekli parametreleriyle uygun hale getirmek mümkündü. Siz de Windows 8 ve üzeri bir versiyona geçtiyseniz ve örneğin uygulamanız .NET 4.5 kullanıyorsa küçük bir işlem yapmalısınız. Bunun sebebi aspnet_regiis.exe’nin Windows 8 sonrasında install ve uninstall işlemleri için emekliye ayrılması diyebiliriz, en azından .NET 4.5 için. Yapılması gereken, Denetim masasından Windows özellikleri aç veya kapat seçeneğinde bulunan Internet Information Services altındaki ASP.NET 4.5 seçeneğini işaretlemek.

blog

Eğer Windows Server 2012 kullanıyorsanız, Server Manager altında bulunan şu yolu takip edebilirsiniz;
“Web Server (IIS) -> Web Server ->Application Development -> ASP.NET 4.5”.

SQL Server’da Bulunan Stored Procedure ve View İçinde Arama Yapma

Stored procedure, view ve tabloların sayısı arttıkça hangi tablonun nerede kullanıldığını incelemek zorlaşabiliyor. Örneğin bir tablo üzerinde yapılan değişikliği kullanıldığı her noktayı bulmak ve değişikliği işlemek isteyebiliriz. MS SQL Server için konuşursak bunun aşağıdaki gibi bir yolu bulunmaktadır. Tablo adınızı yazdığınızda aşağıdaki sorgu hangi stored procedure’lerde yer aldığını listeler.

SELECT o.name,o.create_date,o.modify_date
FROM sys.sql_modules sm
INNER JOIN sys.objects o ON o.object_id = sm.object_id
WHERE o.type = 'P' AND sm.definition LIKE '%tablo_adi%'
ORDER BY o.name

Aşağıdaki sorgu da view’lerin içinde arama yapmamızı sağlar.

SELECT o.name, o.create_date, o.modify_date
FROM sys.objects o
WHERE o.type IN ('V') AND 
OBJECT_DEFINITION(object_id) LIKE '%tablo_adi%'
ORDER BY o.name

LINQ Sorgularında Left/Right Join İşlemleri

Bu yazıda outer join işlemlerini Linq sorgularıyla nasıl gerçekleştirebileceğimize bakacağız. Inner join işleminde birden fazla tablonun sadece istenen kolonlarının eşleştiği bilgileri getirilmesi sağlanır. Ancak bazı durumlarda tabloların alınacak kesişim kümesini biz belirlemek isteyebiliriz. Bunu iki basit veri tipi ile açıklayalım. Kitap ve SatisTipi adlı iki sınıf olsun.

public class Kitap
    {
        public int KitapNo { get; set; }
        public string KitapAdi { get; set; }
    }
    public class SatisDetay
    {
        public int SatisNo { get; set; }
        public int KitapNo { get; set; }
        public string SatisTipi { get; set; }
    }

 

Örnek verilerimiz de aşağıdaki gibi olsun.

List<Kitap> ktpListe = new List<Kitap>
                {
                    new Kitap{KitapNo=1, KitapAdi="Kaiken"},
                    new Kitap{KitapNo=2, KitapAdi="Satori"},
                    new Kitap{KitapNo=3, KitapAdi="Şibumi"},
                    new Kitap{KitapNo=4, KitapAdi="Kişisel Bir Sorun"},
                    new Kitap{KitapNo=5, KitapAdi="Kappa"}
                };

            List<SatisDetay> stsListe = new List<SatisDetay>
                {
                    new SatisDetay{SatisNo=1, KitapNo=1, SatisTipi="Internet"},
                    new SatisDetay{SatisNo=2, KitapNo=2, SatisTipi="Magaza"},
                    new SatisDetay{SatisNo=3, KitapNo=3, SatisTipi="Internet"},
                    new SatisDetay{SatisNo=4, KitapNo=3, SatisTipi="Internet"}
                };

 

Eğer satışı gerçekleşen kitapların adını listelemek isteseydik inner join işlemini şu şekilde kullanabiliriz.

var kitaplar = (from k in ktpListe
                            join s in stsListe on k.KitapNo equals s.KitapNo
                            select k.KitapAdi
                                    ).Distinct();

 

Ancak satışı gerçekleşmeyen kitapları da aynı liste de görüntülemek isteseydik bu kez left join işlemi yapmamız gerekir. Satışı gerçekleşmeyen kitaplar için satış tipi NULL gelecektir. Burada DefaultIfEmpty() metodu dikkatinizi çekmiştir. a olarak ifade ettiğimiz tablodan b olarak ifade ettiğimiz SatisDetay tablosunda karşılığı boş olan kolonları da getirmesini sağladık.

var kitaplar = (from k in ktpListe
                            join s in stsListe on k.KitapNo equals s.KitapNo
                            into a from b in a.DefaultIfEmpty(new SatisDetay())
                            select k.KitapAdi
                                    ).Distinct();

 

Eğer mevcut tüm satış tiplerini getirmek istersek right join işlemi yapabiliriz.

var satisTipleri = (from s in stsListe
                            join k in ktpListe on s.KitapNo equals k.KitapNo
                            into a from b in a.DefaultIfEmpty(new Kitap())
                            select s.SatisTipi
                                   ).Distinct();

 

 

 

VQ5XP

LINQ Sorgularında If Kontrolü

Bazı durumlarda LINQ sorgularını çalıştırırken if durumu ile kontrol gerekebilir. Örneğimizde DataModel adlı bir model sınıftan LINQ ile OrnekData tablosundan 3 adet bilgi çekelim.

IQueryable<DataModel> q = (from od in OrnekData
                        where od.FirmaId != null
						select new DataModel
                               {
                                CalisanAdi = od.CalisanAdi,
                                Id = od.Id,
                                KullaniciAdi = od.KullaniciAdi.HasValue ? od.KullaniciAdi : null,
                                Sifre = od.Sifre.HasValue ? od.Sifre : 0
                                });

public class DataModel
        {
            public string CalisanAdi { get; set; }
            public int? Sifre { get; set; }
            public string KullaniciAdi { get; set; }
        }

 

Kullanıcının kullanıcı adı ve şifresinin olup olmadığını HasValue özelliğiyle kontrol ettik eğer yoksa null ve 0 değerlerinin kullanılmasını sağladık.

ASP.NET MVC’de Bir View İçinde Birden Çok Model Kullanımı

View’ler içinde model kullanmak istediğimizde bir modele bağlı kalmak istemediğimiz durumlar olabilir. Örneğin aşağıdaki gibi bir tanımlama yaparsak View, en son tanımlanan Model’i geçerli sayar.

@model StuPerformance.Models.Exam
@model StuPerformance.Models.Student

 

Bunun yerine kullanmak istenen Model’lerin bir araya toplandığı bir üst sınıf olarak düşünülebilecek Model sınıfı kullanabiliriz.

Örneğin Class ve Lecture adında iki modelimiz olsun. Buradaki verileri iki adet DropDownList aracılığıyla View içerisinde göstermeye çalışalım. İlk olarak Models klasörümüze bu iki modeli içeren ayrı bir class oluşturuyoruz.

namespace StuPerformance.Models
{
    public partial class ModelLists
    {
        public Class ClassM { get; set; }
        public Lecture LectureM { get; set; }
    }
}

 

ModelLists adını verdiğimiz bu modeli ilgili view içinde tanımlayarak hem Class, hem Lecture modellerini kullanabiliriz.

@model StuPerformance.Models.ModelLists

@using (Html.BeginForm())
{
    @Html.AntiForgeryToken()
<div class="form-group">
    @Html.LabelFor(model => model.StudentExamM, "Class", new { @class = "control-label col-md-2" })
    <div class="col-md-10">
        @Html.DropDownList("ClassId", String.Empty)
        @Html.ValidationMessageFor(model => model.ClassM.ClassId)
    </div>
    </div>
<div class="form-group">
    @Html.LabelFor(model => model.StudentExamM, "Lecture", new { @class = "control-label col-md-2" })
    <div class="col-md-10">
        @Html.DropDownList("LectureID", String.Empty)
        @Html.ValidationMessageFor(model => model.LectureM.LectureID)
    </div>
</div>
} 

 

Burada ilk DropDownList için model.ClassM.ClassId, diğer DropDownList için model.LectureM.LectureID kullanılmıştır.