首先，你需要冷静地思考你和老板之间的关系以及你离开单位的原因。如果你认为离开单位是正确的决定，那么你可以礼貌地谢绝老板的邀请并说明自己的理由。
但是，如果你认为回去工作是一个更有前途或更值得的选择，那么你可以考虑重新加入团队。在这种情况下，你应该优先考虑你的职业发展和长期利益，并确保你和老板之间有清晰的沟通和协议。同时，你也应该小心处理与小人之间的关系，避免陷入被拉拢的局面。
更详细的回复
人际交往是人们在现实生活中经常需要面对的问题。在职场中，我们可能会遇到各种各样的人物和情况。有些时候，我们会感到困惑，不知道应该如何处理这些复杂的关系。例如，当你感觉老板被小人拉拢过去了，但是当你离开单位后，老板又暗示你回去，还暗示一些别的事情，你应该怎么办呢？
首先，让我们来看看这个情况的具体表现。如果你感觉老板被小人拉拢过去了，那么很可能是因为你觉得老板最近的行为方式发生了变化。你可能会觉得老板开始偏向某些人或者团队，而忽略了你或者你所在的团队。这种情况经常出现在公司内部竞争激烈的环境中。小人往往会使用各种手段来获取更多的优势，包括拉拢领导、制造谣言等等。
然而，即使你确信老板被小人拉拢过去了，也不要轻易就下结论。首先，你需要搜集更多的证据。你可以观察老板的行为方式、言辞以及态度，来判断他是否真的被小人所影响。此外，你还可以观察其他同事的行为，看看他们是否也有类似的感受。如果你能够确定自己的观点是正确的，那么接下来就需要考虑如何应对这个问题了。
在处理这种情况时，重要的是要保持冷静和理智。不要轻易发表过激的言论或者采取过激的行动。相反，你应该先找机会与老板谈一谈。你可以询问老板对于某些问题的看法，例如公司的战略、团队的目标等等。通过这些对话，你可以了解到老板的立场和态度，同时也可以传递自己的信息。重要的是，你要让老板知道你对于公司的发展和团队的进展非常关注，并且愿意为此做出贡献。这样一来，老板就会更加重视你的存在，并且不会被小人所影响。
此外，你还可以在办公室中继续表现出色。尽量多为团队做出贡献，参与到各种项目中。通过自己的实际表现，你可以证明自己的价值，进而获得更多的信任和支持。这样一来，即使老板被小人所拉拢，也不会轻易放弃你这个重要的人才。
最后，如果你真的觉得自己无法在公司中继续发展，那么也可以考虑离开。但是，在做出决定之前，你需要仔细权衡各种利弊。你需要考虑到自己的职业规划、个人生活等等因素，并且确定自己的下一步行动。在这个过程中，你可以寻求朋友或者家人的意见和建议，以帮助自己做出正确的决定。
总之，处理人际关系是一项非常复杂和长期的任务。在职场中，你可能会遇到各种各样的人物和情况。