Несомненно, Палантиры никогда не были чем-то общеизвестным и общедоступным, даже в Нуменоре. В Средиземье они хранились под стражей на вершинах могучих башен, доступ к ним имели только короли, правители и доверенные хранители, ими никогда не пользовались открыто, и народу их не показывали. Но во времена королей палантиры не были чем-то зловещим. Пользоваться ими было вполне безопасно, и любой из королей или из тех, кому было поручено следить за Камнями, без колебаний сообщил бы, что известия о действиях или мнениях правителей соседних стран и областей получены им через Камни.
Когда окончились дни королей и пал Минас-Итиль, Камнями, по-видимому, перестали пользоваться, так как в летописях о них более не упоминается. После того, как Арведуи - Последний Король погиб в кораблекрушении в 1975 г.,  на севере не осталось ни одного Камня, который мог бы отозваться южными Камням. В 2002 г. был потерян итильский Камень. Оставались только анорский Камень в Минас-Тирите и Камень Ортханка.
Камнями перестали пользоваться и они были почти забыты. Тому было две причины. Во-первых, была неизвестна судьба итильского Камня; можно было предположить, что защитники Минас-Итиля уничтожили его, прежде чем крепость была захвачена и разграблена;  на не исключено было, что он попал в руки Саурона, и мудрецы могли принять это в расчет. Похоже, что об этом действительно подумали, и было решено, что с помощью одного Камня Саурон не сможет причинить большого вреда Гондору, если не вступит в контакт с другим Камнем.  Можно полагать, что именно поэтому анорский Камень, о котором молчат все летописи наместников вплоть до самой Войны Кольца, хранился в глубокой тайне; доступ к нему имели только правители-наместники, и никто из них, кажется, не пользовался им, кроме Денетора II.
Во-вторых, Гондор пришел в упадок, и почти все знатные люди королевства утратили интерес к истории и продолжали изучать только свои генеалогии, имена своих предков и родичей. Когда прервался род королей, в Гондоре наступило "средневековье": науки забывались, искусства увядали, ремесла становились все примитивнее. Послания пересылались с гонцами, срочные вести передавались сигнальными огнями, Камни Анора и Ортханка хранились как древние реликвии и были известны лишь немногим, а история Семи Камней древности была напрочь забыта; стихи о них еще помнили, но никто их не понимал; легенда о них превратились в сказки о древних королях, которые владели эльфийской магией и повелевали быстрокрылыми духами, собиравшими для них вести и переносившими послания.
Видимо, об ортханкском Камне наместники почти забыли: он был бесполезен для них, и ему ничто не угрожало в этой неприступной башне. Быть может, на него и не распространялись сомнения, связанные с итильским Камнем, но он находился в области, которой Гондор интересовался все меньше и меньше. Каленардон всегда был малонаселенной провинцией, а Черная смерть 1636 г. окончательно опустошила его. Оставшееся в живых население нуменорского происхождения постепенно перебралось в Итилиэн и поближе к Андуину. Изенгард оставался личным владением наместников, но и Ортханк стоял пустым; в конце концов его заперли, а ключи отправили в Минас-Тирит. Если наместник Берен и вспомнил о Камне, передавая их Саруману, то он, вероятно, подумал, что более надежного хранителя, чем сам глава Совета, противостоящего Саурону, ему не найти.
Несомненно, Саруман во время своих исследований  основательно изучил все сведения о Камнях, которые не могли не привлечь его внимания, и убедился, что ортханкский Камень и поныне пребывает в башне. Ключи от Ортханка он получил в 2759 г., официально как хранитель Башни и наместник Правителя Гондора. В то время ортханкский Камень вряд ли мог заинтересовать Белый Совет. Только Саруман, которому удалось расположить к себе наместников, успело достаточно изучить летописи Гондора, чтобы оценить значение палантиров и придумать, как можно использовать оставшиеся; но своим соратникам он об этом ничего не говорил. Из-за своей зависти и ненависти к Гэндальфу он прекратил сотрудничать с Советом, который в последний раз собирался в 2953 г. Саруман превратил Изенгард в свою собственность (хотя и не заявлял об этом открыто) и перестал считаться в правителями Гондора. Разумеется, Совет не мог одобрить этого; но Саруман был независимым посланником и имел право бороться с Сауроном на свой страх и риск, если хотел.
В принципе, в Совете знали о Камнях и об их первоначальном расположении; но они не представлялись чем-то насущно важным: это была часть истории дунаданских королевств, удивительная и прекрасная, но теперь большинство Камней были утрачены, а оставшиеся почти бесполезны. Не следует забывать, что первоначально Камни были "безобидными", то есть не служили злу. Это Саурон сделал из них зловещие орудия обмана и подавления воли.
Возможно, Совет, предупрежденный Гэндальфом, и начал сомневаться в намерениях Сарумана относительно Колец, но даже Гэндальф не знал, что он стал союзником (или прислужником) Саурона. Это Гэндальф обнаружил только в июле 3018 г. Но, несмотря на то, что за последние годы Гэндальф расширил свои познания в истории Гондора, изучая его архивы, и передал их Совету, и он и весь Совет прежде всего интересовались Кольцом, а значение Камней так и не было ощенено. Очевидно, во времена Войны Кольца никто из Совета не вспомнил, что судьба итильского Камня остается неизвестной, и не задумался, что может произойти с тем, кто заглянет в один из оставшихся Камней, если итильский Камень действительно находится в руках Саурона. (Эта оплошность простительна даже таким умам, как Элронд, Галадриэль и Гэндальф, если принять во внимание, какие заботы их одолевали). Только происшествие с Перегрином на Дол Баране вдруг открыло, что "связь" между Изенгардом и Барад-дуром (а о том, что связь была, догадались, когда стало известно, что во время нападения на Хранителей на Парт Гален солдаты Изенгарда действовали заодно с Сауроновыми) поддерживалась через Камень Ортханка - и другой палантир.
Рассказывая Перегрину о палантирах ("Две твердыни", III, 11), Гэндальф хотел только дать хоббиту понять, с какой серьезной, древней и могущественной вещью тот связался. Он не стал раскрывать весь ход своих умозаключений, а только объяснил, как Саурону удалось овладеть Камнями, так что даже могущественным стало опасно иметь с ними дело. Но одновременно Гэндальф не переставал всерьез размышлять о Камнях и о том, какой свет проливает происшествие на Дол Баране на многое, что он давно замечал, а понять не мог: например, о необыкновенной осведомленности Денетора обо всех происшествиях в дальних краях и о его преждевременной старости, которая впервые проявилась, когда Денетору было немногим более шестидесяти, хотя он принадлежал к роду долгожителей. Должно быть, Гэндальф так спешил в Минас-Тирит не только потому, что время торопило и надвигалась война, но еще и потому, что боялся, что Денетор тоже пользовался палантиром, анорским Камнем, и хотел проверить, не может ли случиться, что он не выдержит жестокого испытания безнадежной войны и покорится Мордору, подобно Саруману. Эти сомнения Гэндальфа на счет Денетора во многом объясняют обращение Гэндальфа с Денетором после приезда в Минас-Тирит и в последующие дни.
Следовательно, Гэндальф начал всерьез принимать в расчет палантир Минас-Тирита только после происшествия с Перегрином на Дол Баране. Хотя, разумеется, он и раньше знал или догадывался о его существовании. О жизни Гэндальфа до конца Бдительного мира (2460) и основания Белого Совета известно мало, и он начал специально заниматься Гондором лишь после того, как Бильбо нашел Кольцо (2941), а Саурон открыто вернулся в Мордор (2951).  Гэндальф (как и Саруман) искал прежде всего сведений о Кольце Исилдура, но можно предположить, что из архивов Минас-Тирита он почерпнул немало сведений о гондорских палантирах, хотя и не сумел оценить их значение так же быстро, как Саруман, который, в противоположность Гэндальфу, всегда больше интересовался всякими машинами и ухищрениями, дающими власть над людьми, чем самими людьми. Однако Гэндальф, возможно, уже тогда знал о происхождении и свойствах Камней больше Сарумана, потому что тщательно изучал все, что касалось истории древнего королевства Арнор и северных земель, и был в дружбе с Элрондом.
Анорский Камень хранился в тайне; о его судьбе после падения Минас-Итиля не упоминается ни в одном из анналов Наместников. Было известно, что ни Ортханк, ни Белая Башня Минас-Тирита ни разу не бывали во вражеских руках, что позволяло предположить, что Камни находятся там, где были с самого начала; но не было полной уверенности, что Правители оставили их на месте, а не "схоронили"  в какой-нибудь тайной сокровищнице, быть может, даже не в крепости, а в каком-нибудь секретном убежище в горах, подобном Дунхарроу.
В романе Гэндальф должен был сказать, что он думает, что Денетор не трогал палантир, пока у него с годами не поубавилось мудрости.  Он не мог говорить об этом как об установленном факте, потому что ответ на вопрос, когда и почему Денетор решился воспользоваться Камнем, так и остался в области догадок. Что бы ни думал Гэндальф по этому поводу, то, что известно о Денеторе, позволяет предположить, что он стал заглядывать в анорский Камень за много лет до 3019 года, и даже раньше, чем Саруман отважился или счел нужным воспользоваться Камнем Ортханка. Денетор унаследовал пост Наместника в 2984г., когда ему было пятьдесят четыре года; это был властный человек, очень мудрый, и для своего времени весьма ученый; он обладал могучей волей, верил в свои силы и ничего не боялся. Люди впервые обратили внимание на его "мрачность" в 2988 г., когда умерла его жена Финдуилас, но вероятнее всего, он обратился к Камню тотчас же, как получил власть: он долго изучал предания о палантирах и их использовании в секретных архивах Наместников, доступных только Правителю и его наследнику. Возможно, он уже в последние годы правления Эктелиона II, своего отца, жаждал воспользоваться Камнем, потому что в Гондоре опять наступили беспокойные времена, а его личное положение в государстве было ослаблено славой "Торонгиля"  и расположением, которое выказывал ему Эктелион. Так что по крайней мере одним из мотивов действий Денетора была зависть к Торонгилю и нелюбовь к Гэндальфу, которого его отец привечал, следуя советам Торонгиля: Денетор хотел превзойти этих "узурпаторов" осведомленностью и, по возможности, следить за ними, когда их не было в городе.
Следует различать борьбу Денетора с Сауроном, которая сломила его, и то усилие, которое всегда приходилось совершать, имея дело с Камнем.  Это усилие Денетор считал посильным для себя, и небезосновательно; а с Сауроном он, скорее всего, не сталкивался в течение многих лет и, вероятнее всего, даже не брал в расчет возможность такой встречи. О пользовании палантирами и различии между "видением" с помощью одного Камня и передачей мыслей с помощью двух сообщающихся Камней см. ниже. Научившись обращаться с Камнем, Денетор мог узнавать многое о том, что происходит в мире, с помощью арнорского Камня, и даже когда Саурон заметил это, Денетор мог продолжать самостоятельные наблюдения, пока у него хватало сил управлять Камнем по своей воле и противостоять Саурону, который все время пытался "подчинить" себе анорский Камень. Не следует забывать, что Камни были лишь малой частью замыслов и интриг Саурона: он пользовался ими, чтобы обманывать двоих из своих противников и оказывать на них влияние, но при всем желании не мог бы не сводить глаз с итильского Камня. Подчиненным он таких вещей не доверял; да и не было среди его прислужников никого, кто мог бы померяться умом и волей с Саруманом или хотя бы с Денетором.
Денетору помогало еще и то, что Камни легче повиновались тем, кто пользовался ими по праву: во-первых, законным "наследникам Элендиля" (например, Арагорну), а во-вторых, тем, кто подобно Денетору, унаследовал право на них, чем Саруману или Саурону. Недаром и последствия были разные. Саруман покорился Саурону и начал воевать на его стороне или, по крайней мере, перестал бороться с ним. Денетор же остался неколебимым врагом Саурона, но поверил, что его победа неизбежна, и впал в отчаяние. Разумеется, прежде всего так вышло потому, что Денетор был человек могучей воли и оставался самим собой до тех пор, пока его не сразил последний удар: смертельная (по-видимому) рана единственного сына. Он был горд, но ни в коем случае не себялюбив; он любил Гондор и свой народ и считал, что сама судьба предназначила ему управлять этой страной в это страшное время. Но дело еще и в том, что анорский Камень принадлежал ему ПО ПРАВУ, и ничто не препятствовало ему пользоваться ми (кроме благоразумия). Он, должно быть, догадывался, что итильский Камень оказался в руках Врага, но не боялся встречи с ним, полагаясь на свои силы. И нельзя сказать, что эта уверенность оказалась совершенно беспочвенной. Саурону не удалось подчинить его своей воле, он мог влиять на Денетора, только отводя ему глаза. Вероятно, сперва Денетор не обращал свой взгляд в сторону Мордора и довольствовался "дальним обзором" через Камень; отсюда его удивительная осведомленность о событиях в дальних краях. Вступал ли он в контакт с Камнем Ортханка и Саруманом, нигде не говорится; вероятно, вступал, и с немалой пользой для себя. Саурон не мог вмешаться в их беседы: "подслушивать" мог только тот, кто смотрел в главный Камень Осгилиата. Когда два Камня "выходили на связь", третьему они не отзывались.
Должно быть, короли и наместники сохранили в Гондоре немало сведений о палантирах и передавали их своим наследникам, хотя Камнями более не пользовались. Камни были дарованы Элендилю и являлись неотъемлемой собственностью его наследников, единственных людей, которые имели на них право; но это не значит, что с ними мог иметь дело только один из "наследников". По закону, Камнями мог пользоваться любой, кому они были поручены "наследником Анариона" или "наследником Исилдура", т.е. законным королем Гондора или Арнора. На самом деле ими в основном и пользовались такие доверенные лица. У каждого Камня был хранитель, в обязанности которого входило "смотреть в Камень" в определенные часы, или по приказу, или при необходимости. Позднее, когда в Гондоре возросло значение должности наместника и она стала пожизненной, так что у короля был как бы постоянный "дублер", Камни, по-видимому, почти полностью перешли в руки наместников, и с тех пор предания об их свойствах и использовании хранились и передавались в их роду. Поскольку должность Наместника стала наследственной с 1998 г.,  право пользоваться Камнями и передавать это право другим Денетор унаследовал по закону и оно принадлежало ему в полной мере.
Однако по поводу того, о чем рассказано во "Властелине Колец", следует заметить, что, помимо и сверх такой доверенности, даже полученной по наследству, любой "наследник Элендиля" (т.е. его признанный потомок, по праву рождения владеющий престолом или княжеской властью в одном из нуменорских королевств) ИМЕЛ ПРАВО пользоваться любым палантиром. Так, Арагорн предъявил права на ортханкский Камень потому, что этот палантир в данное время не имел владельца или хранителя, а также потому, что он с юридической точки зрения был законным королем Гондора и Арнора и мог, буде пожелает, с полным правом потребовать обратно все то, что было передано и пожаловано его предшественникам.
"Наука о Камнях" ныне забыта, и может быть восстановлена лишь частично, по догадкам и по сохранившимся записям. Камни представляли собой идеальные сферы. Когда они были в бездействии, казалось, что они сделаны из непрозрачного черного стекла или хрусталя, но очень прочного. Меньшие Камни были около фута в диаметре, а большие, например, камни Осгилиата или Амон Сул, были так велики, что их нельзя было поднять в одиночку. Первоначально они помещались на специальных подставках, невысоких круглых столах с чашей или углублением посередине, и их можно было вращать руками. Они были очень тяжелые, но абсолютно гладкие, и их нельзя было разбить, уронив или сбросив со стола. Их вообще нельзя было уничтожить никакими средствами, доступными людям в те времена, хотя некоторые считали, что сильный жар, например, пламя Ородруина, может расплавить их, и что именно это произошло с итильским Камнем при падении Барад-дура.
У них были постоянные "полюса", хотя никакими знаками они обозначены не были, и на своих подставках они устанавливались "вертикально", так что линия, соединяющая полюса, была направлена к центру Земли, и нижний полюс находился внизу. "Видящая" поверхность Камня была расположена вдоль "экватора". Она воспринимала изображение и передавала его наблюдателю, находящемуся на противоположной стороне, так что тот, кто хотел посмотреть на запад, должен был встать к востоку от Камня, а если он хотел потом взглянуть на север, он должен был перейти налево, к югу. Но второстепенные Камни, например, ортханкский, итильский, анорский и, вероятно, Камень Аннуминаса, имели фиксированное направление, так что, к примеру, западная сторона смотрела только на запад, а в другом направлении ничего не показывала. Если Камень смещался, его возвращали в прежнее положение методом проб, вращая его в разные стороны. Но если Камень был снят с подставки, найти нужное положение было не так-то просто. Так что это была "чистая случайность", как называют это люди (сказал бы Гэндальф), что Перегрин, возясь с Камнем, нашел, по-видимому, более или менее "верное" положение и, сидя к западу от Камня, посмотрел сквозь него на восток в нужном направлении. Главные Камни не были фиксированными, их можно было вращать как угодно, и они могли "видеть" в любом направлении.
Поодиночке палантиры только "смотрели" - звук они не передавали. Пока ими не управляла чья-нибудь воля, изображения в них были (или казались) случайными. С высоты они видели вдаль на большое расстояние, но изображение было расплывчатым и искаженным, и передний план смешивался с тем, что было позади. Кроме того, обзору могла воспрепятствовать темнота или "затемнение" (см. ниже). Палантиры свободно видели сквозь физические препятствия, но не видели того, что находится в темноте: они видели то, что находится за горой или за каким-то неосвещенным пространством, но внутри они видели только то, на что падал хоть какой-то свет. Сами они ничего не освещали. От их Наблюдения можно было укрыться с помощью так называемого "затемнения", благодаря которому отдельные предметы или места виделись в Камне только как пятна тени или густого тумана. Как это делали (те, кто знал о Камнях и подозревал, что за ним наблюдают) - остается одной из утерянных загадок палантиров.
Наблюдатель мог усилием воли сделать изображение четким в какой-то точке, лежащей в том направлении, куда смотрел Камень.  Неуправляемые изображения были очень маленькими, особенно во второстепенных Камнях, но они казались больше, если встать на некотором расстоянии от палантира (лучше всего футах в трех). Но если наблюдатель был опытен и обладал сильной волей, он мог приблизить и увеличить отдаленные предметы, сделать их более четкими и удалить "задний план". Например, человек в палантире виделся крошечной фигуркой, размером в полдюйма, и его трудно было разглядеть на фоне ландшафта или в толпе; но усилием воли изображение можно было сделать четким и увеличить до фута, так что он был виден отчетливо, как на картинке, и наблюдатель мог узнать его в лицо. С помощью большего усилия можно было даже проявить отдельные детали, интересующие наблюдателя: к примеру, можно было посмотреть, нет ли у него на руке кольца.
Но такие усилия воли требовали большого напряжения. Поэтому к ним прибегали только тогда, когда нужно было срочно получить какую-то информацию, и наблюдателю было известно, что именно требуется рассмотреть. Когда Денетор, озабоченный событиями, происходящими в Рохане, сидел у анорского Камня и размышлял, не следует ли немедленно приказать зажечь сигнальные огни и послать "стрелу", он мог обратить взгляд на северо-запад, к Рохану, в сторону Эдораса и Изенских бродов. В это время там можно было увидеть движущиеся группы людей. Он мог приглядеться к одной из этих групп, разглядеть, что это Всадники, и, наконец, обнаружить кого-то знакомого: например, Гэндальфа, который ехал с подкреплениями к Хельмову ущелью и вдруг повернул коня и ускакал на север.
С помощью палантиров нельзя было проникать в мысли людей, не знающих или не желающих этого: передача мыслей зависела от воли обоих собеседников, и мысль (воспринимаемая как речь)  могла быть передана только с помощью двух сообщающихся Камней.