Alex (sashka_merlin) wrote,
Alex
sashka_merlin

Вопрос в зал - программистско-научное

Господа, может вы сталкивались, или ваши знакомые сталкивались:

как бы так быстро и удобно
два файла длиной 2.2 млн строк и шириной 20 колонок (flat file, фиксированный разделитель)

а. отсортировать по колонке номер N
b. скопировать в один файл те ряды, в которых значение в колонке номер N совпадает
c. применить три магические формулы (математика с логарифмами, корнями и прочей не самой калькуляторной фигней) к этому большому файлу. Получить несколько дополнительных колонок
d. Отсортировать его по одной из новых колонок
e. Сохранить целиком или хотя бы кусками.

Внимание EXCEL НЕ ПОДХОДИТ. Оно виснет на файлах такого размера.
БД НЕ ПОДХОДИТ - товарищи ученые - люди бедные, у них нету всей той инфраструктуры, к которой мы айтишники привыкли. Нету сервера с работающим доступом, и, что важно - нету админов все это поддерживающих. А работают они дай-боже - и из дома, и в поезде, и в коммандировке на другом конце земного шара. И перечисленное - задачи МЕЛКИЕ и часто возникающие. И мат обработка может быть разнообразной: приведенное - типичный пример. Если удастся решить эту задачу - 80% идей в нее уложатся.


Это я не для себя. Это для знакомых ученых. Ну не могу я слышать месяцами, что это невозможно сделать. Если я за месяц пойму, что такого в мире нет - сяду и напишу сама... Но я не верю, что нету.
Согласна на неполную функциональность (понимаю, что запросто формул может и не оказаться)

Ау, Покрупс!!!! Ну не может быть, чтобы ты с таким не сталкивался! А у Жабы спросить?

Почитала комменты - спасибо за идеи. Меня преследует мысль, что с того момента, когда я училась в институте ничего сильно не изменилось...
Овцу вот клонировали. Убей бог не пойму как (с помощю палки и веревки?), ибо приведенная выше задача выгладит достаточно тривиальной и популярной, чтобы иметь для ее решения достаточно стабильный и ЮЗЕР ФРЕНДЛИ инструментарий СТО ЛЕТ НАЗАД. Черт побери, почему все автоматизируют бухгалтерии и документооборот?
Впрочем я знаю ответ - потому что там деньги. Грустно. Хочется поменять мир.
Пожалуй начну с себя, таки влезу в этот R ну или напишу с десяток дружественных скриптов как большинство тут рекомендует.
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 28 comments