Not even one

[gb0]

No righteous...Not even one.

https://techcrunch.com/2017/06/19/deep-root-gop-data-leak-upguard/
Терабайт персональных данных избирателей в США валялся в онлайне в почти открытом доступе. Говорят, что ответственная за енто дело конторка – занималась анализом бигдаты по избирателям в интересах республиканской партии США. Не пойму (терабайт данных – это не так и много):

a) Каким боком терабайт – это бигдата
б) нафик их в амазон/public cloud грузить в открытый доступ.

Comments

Легко

[malobukov]

Терабайт - это не сами данные, а результат работы моделей. Данные, на основании которых модели были натренированы, скорее всего на пару порядков больше.

Другое дело что обычно такого рода анализ делается на обезличенных данных, как раз по этой причине.

Ну а Амазон тут не при чём, облажаться с правами доступа везде можно.

Re: Легко

[gb0]

Написано терабайт, и данные из открытых источников. Паспортные, мембершипы всякие. 200М народа, по нескольку десятков килобайт на морду – вот он терабайт искомый. На 2-3 порядка больше – это уже файлы в мегабайты и десятки мегабайт про человека – что ж там эдакого из открытых источников быть может?

Терабайт данных, по моему старообрядческому мнению – держать нужно приватно, и потом – какая нафик бигдата, если искомая дата влазит в оперативную память 1 шт свободно покупаемых стерверов-писюков?

Re: Легко

[malobukov]

Ну это простая математика. Любая модель по определению является упрощением. То есть у неё на входе больше данных, чем на выходе. Тут же мы видим только идентификацию (имя, адрес) и результаты работы моделей (всякие вероятности).

Входными данными может быть, например, граф социальных сетей или кредитная история, причём эти данные вообще могут быть в другом месте, и даже не в одном месте.

Re: Легко

[gb0]

Я просто пытаюсь себе представить бюджеты подобных проектов, и как люди себе 1 (та даже 10 или 100ТБ) места с нужной производительностью позволить не могут – и недопонимаю :(

Все (кроме может быть раздутой инфы про связность в соцсетях) – вроде по преженему помещается в 40-60кб/1ТБ, though.

Re: Легко

[1master]

Амазон непричем, а если бы не поленились vpc сделать такой фигни не случилось бы.

Re: Легко

[gb0]

Вместо амазона – можно подстаить любое другое публичное облако. Ажур там, или гугуль, это непринципиально. Зачем вообще такого рода данные хранить в паблик клауде в открытом виде – ужель это от бедности?

Re: Легко

[ymarkov]

От распиздяйства, небось.

Re: Легко

[gb0]

Жадность/расзвиздяйство – могут объяснить почти что угодно :(

Re: Легко

[1master]

А где ещё то? Своё натуральное хозяйство разводить, как в прошлом веке? Здания то хоть можно арендовать или только собственные с нуля строить, чтобы не зачморили?

Re: Легко

[gb0]

Для эдакого рода задач, если они хоть сколько-нибудь продолжительные, но при этом не предполагают какого-то супер-трафика – определенно на своем барахле. Если у них не было большого объема трафика c паблик нетом – вообще не особо понятно, зачем им S3, если честно. Besides –  таперичи – они конторка-то пойди зашквареная, и damage наверняка больше, чем все, что там когда-либо где-либо было сэкономлено (хотя тазики с терабайтом рама – и так не космос стоят, а сам пресловутый терабайт в пределах 6-10к должен стоить).

Never mind, я, наверное, старомоден слишком. Я где-то считаю, что если данные можно обрабатывать локально – их вполне можно обрабатывать локально, и это даж всяко предпочтительнее.

Хех, wild guesses.

Re: Легко

[1master]

Затем, что положил на S3, подцепил кластер на триста машин и посчитал бигдату за еще пару часов. Облако это не хостинг и не удаленное хранилище, это развесистая пачка офигенно масштабирующихся сервисов.

Re: Легко

[gb0]

Ну, если немного раз и что-то, что не хорошо шардится, и не требует в процессе обсчета плотной коммуникации между означенными 300 машинами – то sure. Эти условия – не всегда справедливы, и потом – кмк в общем случае – проще, чисто вычислительно, иметь дело с 1м (2мя – master/slave) тазиком, чем с 300ми :(

Хех, знать бы что они там считали...

Re: Легко

[1master]

Да всё равно, ну подцепить один-два четырехгоршковых чуда с двумя терабайтами памяти каждый.
Своим есть смысл заморачиваться, когда четырех горшков мало, но там же такой секс начинается, что никакого гамака уже не надо и устаревает оно со скоростью паровоза.
Сценариев, когда аренда не годится на самом деле не так много и основной - это много лет гонять одно и то же. Но в нем проблема в том, что обычно народ промахивается с определением и через два года обнаруживает, что у них в полтора раза больше данных, чем ожидалось и оно ни в память не лезет, ни диск за этим не успевает, а на новый денег дадут не раньше, чем через еще два года.

Re: Легко

[gb0]

Облачные провайдеры 40ядерное (а это всего 2 cокета с xeon e5) чудо с 1-2ТБ рама – likely не дадут, а там где что-то похожее дадут – боюсь, купить себе – будет несколько эм....дешевле.

Amazon X1 с 2TB рама (так чтобы in-memory процесить 1TB данных и считать что угодно не сильно заморачивась, на таких тестят/используют как раз big-time BI) стоит $14 per hour. Сдается мне, что пару месяцев эксплуатации этого чуда – я куплю себе физический сервер c похожими характеристиками (which I will get to keep). Так же мне сдается, что проштрафившиеся герои статейки гоняли свою "дату" несколько дольше. Даже если заключить контракт на 3 года – пара таких "инстансов" станет в 200к денег, за эти самые три года. Sorry, но пару квад-сокет тазиков с 2тб рама – я куплю сильно дешевле 200k.

У облаков есть свои очешуительные comfort zones (много разнесенных тазиков из-за особенностей ворклоадов – как минимум сильно экономят на сетевом оборудовании и профильных инженеграх, и, почти точно – на трафике). High-performance BI, когда тебе нет нужды ни в релокациях по шарику, ни в gb/10gb аплинках в мир с тазика – никак не зона комфорта облаков thus far. Не говоря уже о том, что в данном случае – притуалетный стервер by default будет несколько менее палевной темой, чем cdn, у которого весь инструментарий приватности – несложно угадываемое "хитрое" доменное имя :(

Re: Легко

[1master]

Пара современных квад-сокетов с двумя терабайтами как раз близко к паре сотен и обойдется. Я думаю амазон такой пепелац за год отбивает.

И нет, во-первых, s3 это не cdn, во-вторых, знать url недостаточно, по умолчанию все приватное. Т.е. тут кто-то особо умный настройки поменял.

Re: Легко

[gb0]

>>>Пара современных квад-сокетов с двумя терабайтами как раз близко к паре сотен и обойдется
Аллах с Вами. Cisco (че, не будем дешевить) C460M4 c 4X E7-4850V3 (просто листинги с ебея, состояние new) и 2мя терабайтами рама встанет штук в 20-25-30, вряд ли больше. Шасси умеет 6ТБ, никакой амазон стоко не даст.

Если есть возможность понекрофилить, C260M2 или 460M2 с терабайтом – можно собрать за штук 6-7-8. А если повезет – то штуки за 3:

http://www.ebay.com/itm/Cisco-UCS-C460-M2-High-End-Server-4x-Xeon-E7-4830-2-13ghz-8-Core-1-Terabyte-
RAM-/351960325958?hash=item51f2785f46:g:GgUAAOSw9GhYf43R

200к – это пара откасокетников с космическим размером рама. За что спасибо нужно сказать амазону - это то, что профитмаржины всяких там продаванов деллов, новорусских, IBMом и прочих цисок с тианами и супермикрами, как новых, так и некрофильских/рефурбишнутых – конкретно просели и цены повернулись "к покупателю лицом". А то и правда все – народ в облака уйдет, а эти ребята либо major брэнды не берут, либо берут в специфических конфигурациях и с очешуительными, заоблачными для обычных сяоженей скидками.

А когда настанет окончательный мурокапец – все станет еще интереснее :)

Думаю, что амазон железяку под свои мега-инстансы с 2ТБ рама отбивает где-то за 5-8месяцев. Дальше – чистый профит.