Office Document Finder - эффективный поиск в документах

Претензия выглядит несколько странно, учитывая что это версия для персонального использования, а у типичного пользователя на диске обычно от силы 5-10 тысяч документов.
250 тысяч не у всякой компании найдется. Кажется должно быть очевидно, что для профессионального использования - профессиональные инструменты. Корпоративная версия построена на основе другой БД.
И да, форма все отправляет.

Простите за занудство, но тому же Архивариусу было пофиг, 5k там документов или 500k )

Сборка обновлена до версии 1.33. С больший вероятностью проблема обработки 60+к файлов должна уйти, также добавлена индексация TXT файлов.

Да форма вроде отправляет. Но заторможенно.
А вот отличие в объёмах файлов и использование другой БД в анонсах версий не отражено. Как понимаю корпоративную демо версию получить не получится. Да и в общем 900 баксов в год дорого. Не такая уж у меня и большая корпорация. Просто документы 20 лет копятся.

Попробуйте на сборке 1.33, возможно пройдет.

Пробую работать с 1.33. Виснет меньше, за текстовые файлы спасибо, но возникает странный эффект: когда опция "OCR" выключена, сканирование обновленной папки проходит быстро, как и ожидается, но вот когда она включена, такое впечатление, что при добавлении пары новых документов распознавание OCR проходит заново для всех документов папки - это по времени сравнимо с первым индексированием! Что это?

Нет, заново распознавать не должно, распознаются только те документы которые индексируются, а те документы которые не были изменены (совпадает дата изменения и размер) не трогаются. Но следует учесть, что в документе распознаются все изображения кроме маленьких, и каждая страница скана это отдельная картинка, то есть 200т страничный документ может распознаваться несколько минут. Каждая картинка занимает у OCR от 0.5 до 3 секунд, и ускорить это никак нельзя, кроме как пустить параллельно, но ценой загрузки процессора. Такая опция планируется, но обычно пользователям комфортно когда индексация идет на фоне и не особенно грузит компьютер. Использовать другую OCR тоже не вариант, т.к. их нормальных примерно как браузерных движков, которых как известно осталось живых ровно два. Причем большинство (Abby, Google) лицензируются с ценой за каждое распознанное изображение.
Кстати, что означает "виснет меньше"? Так она обработала ваш объем документов не зависнув (без OCR) или нет?

Без OCR - да.
Кстати, совет - при поиске в объемных индексах программа просто замирает на несколько секунд. Такое поведение пугает пользователей. Логично было бы сделать строку состояния поиска.

Да, скоро поиск будет фоновым, это не было включено в текущий релиз персональной версии т.к. вызывало некоторые проблемы.
А какое количество документов, если не секрет?

Полный объем у меня около 200 000. Пока дал ей две локации, там в целом 25 000.

Попробуйте старенькую программу "Архивариус". Не виснет, индексация, поиск дублей, поиск в тексте, масса форматов документов.
Очень выручает.

Именно что читал. Поиск "без облака" – одни возможности. Поиск "с облаком" – другие возможности.
Потому и возмутился такой "залипухе" – приведя в пример реально оффлайновые (и реально имеющие мировую репутацию!) решения от реально солидных разработчиков... ?

Ой... Вот тут уж точно не согласен категорически. Ни разу не "смешно", как только речь заходит о реальных задачах.

Если просто текст – да, там и всё остальное более-менее просто (хотя даже там OCR порой дохнут в отдельных моментах). Но если что-то вроде формул, не говоря уж даже обо всяких простейших сносках-примечаниях – всё, "туши свет, кидай гранату", ручная правка всего документа гарантирована... ?

Тогда покупайте, проверим честность. Программа ничего никуда не закачивает (даже при работе через облачный доступ, по факту это просто прокси), и возможности поиска без облака (и без доступа в интернет) _ничем_ не отличаются. Даже из браузера можно искать, в программу встроен локальный web сервер.

Прокси для чего именно тогда? Зачем вообще локальному поиску какой бы то ни было доступ в сеть, если не для передачи нераспознанных документов на основной сервис???

Фишка прикольная (и даже радующая)). Но смысла понять не могу. Зачем вам там локальный сервер? Просто "чтобы был"? Или он тоже как-то завязан на обращения к основному серверу?

Да, еще насчет PDF. В обзоре написано верно. Иногда относительно большие фрагменты текста могут находиться в слитном виде, но часто они бывают разбиты на отдельно позиционированные фрагменты, даже внутри слов. Или, например, вместо пробела следующий фрагмент просто сдвигается вправо.

Непохоже. Я же процитировал разработчика:
"Можете полностью заблокировать программе выход в интернет после регистрации или активации триала, все будет работать."
Вам как еще объяснить?

Локальному поиску НЕ нужен доступ в сеть.
Затем, что это стандартный способ организации работы в локальной сети - все пользователи делают все через интерфейс браузера.

М-да. Тяжелый случай. Мы сейчас о поиске в неразобранных image PDF говорим? Или мне кажется?

Для того, чтобы с другого компьютера или телефона вы могли зайти и увидеть свои документы. При том что постоянного IP адреса у вас нет.
Он и не нужен до того момента, как вы захотите с _другого_ компьютера посмотреть свои документы. Распознавание, кстати, идет локально, интернет для него не нужен.

Чтобы те кому удобнее работать из браузера, могли искать и смотреть свои документы прямо там. Но БЕЗ ВЫХОДА В ИНТЕРНЕТ.
И еще раз
*интернет не нужен для работы программы*
*ничего никуда не передается*
*все документы и индексы всегда остаются на локальном компьютере*
*нет никакого основного сервера, есть только сервер позволяющий при необходимости удаленно зайти к себе*
*облачный доступ это просто дополнительная возможность*

Тут уже разработчик "сказал всё сам"...

Конкретно в данном случае – не надо ничего мне "объяснять". Мы же с вами работаем в совершенно разных сферах, и обладаем знаниями по совершенно разным дисциплинам. И я никогда ничего не пытался "объяснять" вам про вашу сферу профессиональной деятельности. Вот и здесь так же...

Мы сейчас о поиске вообще в любых "закурвленных" (переведённых полностью в вектор) или сканированных (вообще тупо-растровых) PDF – а это действительно "тяжёлый случай" (ибо текстовые PDF прекрасно находит и сама Windows, как уже писал ранее).

Зачем??? Если заявляется поиск локальный???

Искать свои же документы через браузер???

Как???
Ваш инсталлятор – 46 Мб. У меня только одна лишь база русского словаря весит почти в 7 раз больше – 355 Мб (и даже в уже "почищенном" виде весит минимум 65 Мб, и это всё чистый текст). А есть ведь ещё и куча других языков, кроме русского – и их все тоже надо распознать...

Например, вам на работе потребовалось найти документ который находится на домашнем компьютере.

Все верно. Непонятно только зачем в конце три знака вопроса.

Полагаете, что я пишу неправду? Не проще уже скачать и проверить все свои предположения?

Поиск с одного своего устройства на другом внутри локальной сети.

Ну и да, если юзер привык искать что-то через браузер - то при локальном поиске через браузер нужен локальный веб-сервер.

Вы никогда не сталкивались с локальными программами, не имеющими своей программной оболочки и управляемыми через браузер? Примеров могу привести.

...Который может быть просто выключен, или даже просто в спящем режиме – тут опять только облака и принудительное (!) закачивание туда всей пользовательской информации...

Потому, что родной "Виндовозовский" поиск справляется с этим быстрее и оперативнее – и безо всяких сторонних приложений.

Нет, не так. Полагаю, что вы что-то явно умалчиваете. Прошу не принимать это за личную обиду (понимаю, что должность обязывает). Но с точки зрения здравого смысла – всё именно так и выглядит, увы...

Там поиск с совершенно другими параметрами – вообще никаким местом не касающимися Интернета (особенно если вся сеть в целом ещё и грамотно устроена сама по себе)...

Чтобы это проверить, нужно меньше времени, чем вы пишете эти посты. Ставите триал, индексируется своя папка, выдергивается интернет, проверяется поиск и распознавание. ВСЕ. Вместо этого вы ведёте какие то малопонятные теоретические дискуссии, и намекаете, что квалификации собеседников не хватит, в отличие от вас, чтобы сделать такую проверку. Обалдеть.

Поставил, проверил.
Поиск по тексту из отсканированного растрового PDF не нашёлся. "Что я делаю не так"©? Что и требовалось доказать – чудес не бывает. О чём и шла речь (которую вы неверно интерпретировали как якобы "теоретическую")...

Ну вот сейчас квалификации собеседников как раз и не хватило, увы...

Пришлите файл на support(at)officedocumentfinder.com, с указанием поисковых слов, я проверю в чем дело.

Странно, у меня все ищется. Речь о достаточно простых PDF документах (статьи). Конечно, всегда можно создать ситуацию из анекдота про сибирских мужиков и японскую бензопилу. То есть когда я загоняю простой PDF текст (в растре) в распознавалку ODF, он ищется без всякого интернета. Для меня этого достаточно. То, что можно найти такой PDF, который не распознается нормально, с интернетом или без (кстати, после подключения интернета текст нашелся, нет? ) - это я не сомневаюсь ни разу.

Почтой неудобно, но вот ссылка на скачивание – мой самый ненавидимый файл (когда-то не смог отказать родственнику, просившему перевести его в Word, о чём страшно жалел почти неделю))). Поисковая фраза – прямая цитата из документа: "За годы, прошедшие после выхода второго издания учебного пособия по курсовому и дипломному проектированию"...

Формулы-то чёрт с ними (к этому моменту претензий нет, с формулами ни один пакет толком не справляется) – но вот обычный текст в этом древнем скане более чем уверенно распознали упомянутые ранее Acrobat Pro и FineReader (со всеми переносами и прочими нюансами).
В отличие же от них, обсуждаемый ODF молчит как рыба – находятся только лишь текстовые PDF и DOCX в том же каталоге (но это умеет и поиск Windows). Ни один из сканированных документов в папке (а там ещё несколько других сканированных файлов вперемешку с текстовыми) не распознаётся – и, соответственно, вообще ни разу не находится поиском ODF... ?

P.S. Кстати, с отображением текстовых PDF тоже странности – окно просмотра иногда показывает форматирование документа совершенно криво и некорректно. Это уже, разумеется, не настолько критично как отсутствие поиска, но баг весьма странный (ссылка на файл со скриншота)...

Выше привёл конкретный пример, со ссылкой. Можете попробовать самостоятельно. И это вовсе не вариант "японская лесопилка" – в сети полно сканированных документов, особенно если речь про какую-либо техническую и/или старую литературу.
А если PDF не сканированный, а текстовый – он прекрасно индексируется и находится даже простым поиском. То есть, смысл приложения теряется.

И после подключения тоже нет, увы...

Ну значит, вы понимаете, что никакое подключение к интернету для нормальной работы не нужно, а то, что данный конкретный документ не распознан корректно - это совершенно нормальная ситуация. Она возникает со всеми OCR. Я с базовым поиском Windows имел дело достаточно. Он не удовлетворителен от слова никак, начиная от скорости работы и кончая представлением найденных данных. Тот же Архивариус 3000 вообще ничего не распознает, но удобство им пользования по сравнению с поиском Винды - это просто несравнимо.

Нет, это не "совершенно нормальная ситуация" – писал ведь, что документ (ну, как минимум хотя бы текстовая его часть)) прекрасно распознаётся другими OCR...

Если индексация Windows не выключена принудительно (мало ли, всякое бывает) – текстовый PDF находится ровно с такой же скоростью (или даже быстрее). Представление абсолютно полноценное – как в эскизе "Проводника", так и в панели просмотра (прикладываю, как отображается в найденных файлах показанный на прошлом скриншоте текстовый документ). Что уж там вы видите "неудовлетворительного" – я не знаю, честно. Впрочем, конкретно этот момент уже глубоко субъективен, "на вкус и цвет"...

Вы, скорее всего, не имели дело с массивами в много сотен тысяч самых разнородных документов самого разного объема. Поиск Винды хорош для домашнего компа с умеренным количеством файлов.

Разумеется. Как и обсуждаемый ODF (который в целом работает по тем же принципам, только с собственным индексом). Для озвученных же вами масштабов "сотни тысяч документов", если подобные задачи у вас действительно настолько регулярны – желательны уже и более "взрослые" DMS-решения (да и железо явно не помешало бы уровнем хоть немножко повыше домашнего компа, даже для нелюбимого вами виндового поиска))...

Архивариус 3000 до некоторого предела прекрасно работал на самом обычном железе на таком архиве и не жужжал. Просто я не очень люблю работать с discontinied программами, вот и ищу замену. Упомянутый ODF позиционируется именно как решение нужного уровня (не домашний комп, но и не корпорация с миллионами документов и сотнями сотрудников. Для уровня лаборатории ИМХО в самый раз. Но боюсь, мне тоже не подойдет - похоже, он не работает с ТХТ файлами, а это не годится.

Да, и такое возможно – если архив "статичный" (документы просто лежат и обновляются не особо часто). Самое сложное и дикое – первый проход, сбор индекса.
Но если это всё каким-то образом постоянно меняется-обновляется, то тогда уже мрачновато выглядит такой архив. Впрочем, я не знаю точно ваших задач и требований к софту, поэтому тут у каждого "своя болячка" (порой случается, что проще потерять пару дней и набросать на коленке что-то своё, чем месяцами искать готовое решение)).

Кстати, тоже обратил внимание на этот странный "игнор" формата...

Бугага. Я себе представляю перегон в "доксы" текстовых файлов размером так в один-два гига (это последовательности нуклеиновых кислот)... Архивариус с ними справлялся (другой вопрос, что это не его квалификация, но индексировал и не жужжал).

Проблема с данным файлом была не в распознавании, а в поддержке определенного варианта некоторого формата изображений. В версии 1.33 он распознается и индексируется, хотя и не быстро, учитывая что там более 200т страниц. Несколько страниц из него сейчас не отображаются (но индексируются) но это будет скоро поправлено.

Такие текстовые файлы и в 1.33 ODF не покажет, т.к. он заточен на документы и показ форматированного текста, в т.ч. через браузер, что означает конвертацию всех форматов в HTML/CSS. А гигабайтный HTML не откроет ни один браузер.
Поддержку таких файлов реализовать можно, но это требует отображения строго в программе в специальном контроле который не будет грузить их целиком. Учитывая весьма редкую востребованность, пока целесообразности в этом не вижу. А обычные TXT сейчас отображаются и индексируются нормально.

Спасибо за ответ! Попробую новую версию.

Тады действительно "ой", согласен (хотя можно было бы и сразу предупредить о таком нестандартном кейсе вместо "бугага"))...

Спасибо. Как будет время, то попробую и отпишусь о результате.

Нет, там не "несколько страниц". Там почти все страницы. Даже в новой версии.

Шастал по ответам – и обнаружил, что случайно пропустил этот комментарий (который внезапно оказался ключевым)...

Ваш процитированный комментарий говорит лишь о полном непонимании лично вами сути вопроса в целом.
Отсканированный документ, предназначенный для чтения людьми – в принципе не может иметь никаких "неправильных фрагментов". Это тупо картинка, распознать её – именно ваша задача (как в других реально работающих OCR, которые на порядки более достойно справились с представленным документом).
Если же документ (даже "удачно" для вас)) текстовый – правильный перевод его в другой формат тоже ваша проблема, не наша. Или уж тогда прямым текстом пишите у себя на сайте о том, что документы (и сканированные в растр, и даже текстовые) ваш софт распознаёт очень плохо. Так будет хотя бы честнее.

Более того, эта ваша фраза о "неправильных фрагментах" – говорит либо о том, что вообще вся программа залипуха чистой воды; либо о том, что ваши же программеры (чей ответ вы процитировали, видимо)) вас люто обманывают. Я не знаю, что там у вас, "по итогам расследования" выберете сам.

В общем, простите уж, но – "фтопку" этот ваш OFD...

P.S. Упрёк не лично вам, упрёк вашим разработчикам. Вы к ним не относитесь, это я уже понял по ответам. Поэтому лично к вам – "мир-дружба-жвачка". Я ж не злодей какой, я ж понимаю, что это это просто работа такая. ?

Кура доллара в том же 2000 году был на уровне 28 рублей, так что 2400 рублей это 85 долларов

А, так вы на курс рубля жалуетесь. Я думал на цену.

Безотносительно к курсу рубля, 2400 в год - это перебор. Топовые игрушки на стиме дешевле стоят без подписок. Впрочем, вы, разумеется, полностью свободны в вопросах ценообразования, и уж точно не мне вам указывать)

Я в играх не очень разбираюсь, но слышал что они в основном зарабатывают на внутригровых покупках, так что сами игры могут быть и бесплатными.
Кроме того, цена грубо определяется как сумма затрат на разработку делить на размер потенциальной аудитории, и понятно что у игр она на несколько порядков выше.

Спасибо, не знал про такой.

Для мозиллы есть такое?

Понятия не имею.

Примеры закрытия сервисов были в зоне не основных для экостистемы и не генерирующие прибыль, а тут коммерческие системы за которыми будущее и существенная часть настоящего.

Так рынок для продукта думаю еще есть, но он очень быстро сужается.

Сейчас такое время, что завтра бешеный принтер издаст указ о хранении документов граждан РФ только на серверах РФ, и РКН быстренько заблокирует все до чего дотянется.

Вот если бы была еще возможность установить программу на сервер, чтобы она проиндексировала, например, папки на NAS и была бы возможность для всех дать ссылку на этот сервер для поиска для любого сотрудника. А то поиск в браузере работает, я так понял, только для пользователя, где эта программа же и установлена?

Так для этого как раз есть корпоративная серверная версия. Она работает как сервис, позволяет настраивать группы (роли) пользователей и права доступа на документы из отдельных папок для этих ролей. Администрирование идет полностью из браузера.
officedocumentfinder.ru

А ваш софт может в fb2 искать из коробки?

Пока только epub, но fb2 очень простой формат. Если будут запросы от пользователей, будет добавлен.

Только что вспомнил. А обычный txt индексируется? Если нет, то увы, это мимо меня.

А как сделать, если у меня смешанные англо-русские или англо-французские документы?
PS Очень удобно, когда разрабы отвечают прямо в комментах обзора. За это мы Экслера ценим!

Система распознавания позволяет указать два языка, основной и дополнительный. Сейчас один язык выбирается в настройках, второй всегда идет английский. Но если будут запросы, можно добавить выбор обоих языков.

Плюсую, как профессиональный искатель в пдф файлах.

Я его пробовал, но даже на смешных объемах порядка сотен тысяч документов он обламывается.

R I P обоям (обоем?)

Рекорд Надоям

Тоже его вспомнил. Хороший был продукт.

Цена на персональную версию сделана максимально низкой. Когда будет подключен прием платежей в РФ, будет еще ниже (на 20%) т.к. сейчас государство забирает НДС.
В подписку входит обновление до новых версий, что стимулирует развивать продукт, а при еще более низкой цене и разовом платеже есть большой шанс повторить судьбу Архивариуса. В итоге не останется вообще вариантов чем пользоваться.

Чтобы слить личные данные, конечно же

Можете полностью заблокировать программе выход в интернет после регистрации или активации триала, все будет работать.

Да, с сетевыми дисками - без проблем: все показывает, добавляет, индексирует и ищет.

Да, ее можно подключить в поиске по Альт-Ф7, и тогда ее результаты выдаются в Тотал. Очень удобно, я ее отдельно и не использую больше.

Копернику бывало плохо при поиске в русскоязычных документах на машине с нерусской локалью. Часть находил, часть не находил, часть отображал кракозябрами..
Гуглодесктоп в PDF искал только по первым, не помню уже, 150 килобайтам файла.
Пока лучшее что нашел для себя - X1 Search.

а можно инструкцию поподробнее? Как подключить?